2 listopada 1795 r. w Mecklemburgu County w stanie Karolina Północna. Był pierwszym z dziesięciorga dzieci Samuela i Jane Polk. Ojciec przyszłego prezydenta był dobrze prosperującym farmerem-plantatorem, pochodzenia szkocko-irlandzkiego. Samuel Polk, w przeciwieństwie do swej żony wielce religijnej prezbiterianki, pod względem religijnym był indyferentnym. W dniu chrztu Jamesa wdał się w ostry spór z pastorem, który uznał, że sakrament chrztu nie został skonsumowany. W rezultacie Polk przyjął chrzest dopiero 53 lata później, będąc już na łożu śmierci.<br>Matka, mająca wpływ na wychowanie syna, wychowała go w duchu religijnym. Polk jako chłopiec, młodzieniec i dojrzały mężczyzna był chorowity. Ciągle podupadał