12 dzieci państwa Madisonów.<br>Wychował się w rodzinnej posiadłości Montpelier. Matka była jego pierwszą nauczycielką. Nauczyła go czytać i pisać. Ojciec wprowadzał go w tajniki życia publicznego. James wychowywał się na plantacji, bawił się z dziećmi niewolników. Jako dziecko nasłuchał się od rodziców strasznych historii o Indianach, o ich agresywności, dzikich obyczajach, okrutnym stosunku do "pobożnych, porządnych białych" kolonistów. Do końca życia był głęboko uprzedzony do Indian. Również do końca życia był przeciwnikiem niewolnictwa.<br>Kiedy James miał 11 lat, został zapisany do szkoły prowadzonej przez Szkota Donalda Robertsona. Robertson mówił po angielsku z akcentem szkockim i James żartował, że w szkole