Od 1767 r. pobierał nauki w domu pod kierunkiem pastora Thomasa Martina, absolwenta uniwersytetu Princeton.<br>W 1769 r., kiedy Madison miał 18 lat, ojciec posłał go na studia do College of New Jersey w Princeton. Obecnie uczelnia ta nazywa się Princeton University. Było to wydarzenie niezwykłe, dzieci bowiem plantatorów z Wirginii studiowały albo za granicą, albo w College'u William and Mary w Williamsburgu. Nie było natomiast w zwyczaju wysyłanie dzieci na studia do innych kolonii. Rodzice Madisona zdobyli się na ten krok, ponieważ atmosfera w College'u William and Mary podówczas nie była dobra. Prześladowano baptystów i władze uczelni opowiedziały się za