został zapisany do szkoły prowadzonej przez Szkota Donalda Robertsona. Robertson mówił po angielsku z akcentem szkockim i James żartował, że w szkole nauczył się szkockiego francuskiego. Od 1767 r. pobierał nauki w domu pod kierunkiem pastora Thomasa Martina, absolwenta uniwersytetu Princeton.<br>W 1769 r., kiedy Madison miał 18 lat, ojciec posłał go na studia do College of New Jersey w Princeton. Obecnie uczelnia ta nazywa się Princeton University. Było to wydarzenie niezwykłe, dzieci bowiem plantatorów z Wirginii studiowały albo za granicą, albo w College'u William and Mary w Williamsburgu. Nie było natomiast w zwyczaju wysyłanie dzieci na studia do innych kolonii