jego byli pochodzenia angielskiego.<br>Ojciec Jamesa Madisona, James Madison senior (1723-1801), był niewielkim właścicielem ziemskim, zaangażowanym w sprawy publiczne. Był sędzią pokoju oraz członkiem lokalnej rady parafialnej. Matka, Eleonora (1731-1829), zmarła w wieku 98 lat.<br>James Madison był najstarszym z 12 dzieci państwa Madisonów.<br>Wychował się w rodzinnej posiadłości Montpelier. Matka była jego pierwszą nauczycielką. Nauczyła go czytać i pisać. Ojciec wprowadzał go w tajniki życia publicznego. James wychowywał się na plantacji, bawił się z dziećmi niewolników. Jako dziecko nasłuchał się od rodziców strasznych historii o Indianach, o ich agresywności, dzikich obyczajach, okrutnym stosunku do "pobożnych, porządnych białych" kolonistów