kolonistów. Do końca życia był głęboko uprzedzony do Indian. Również do końca życia był przeciwnikiem niewolnictwa.<br>Kiedy James miał 11 lat, został zapisany do szkoły prowadzonej przez Szkota Donalda Robertsona. Robertson mówił po angielsku z akcentem szkockim i James żartował, że w szkole nauczył się szkockiego francuskiego. Od 1767 r. pobierał nauki w domu pod kierunkiem pastora Thomasa Martina, absolwenta uniwersytetu Princeton.<br>W 1769 r., kiedy Madison miał 18 lat, ojciec posłał go na studia do College of New Jersey w Princeton. Obecnie uczelnia ta nazywa się Princeton University. Było to wydarzenie niezwykłe, dzieci bowiem plantatorów z Wirginii studiowały albo za granicą