został członkiem wpływowej komisji sposobów i środków w Izbie Reprezentantów. Wraz z Jacksonem zwalczał działalność Banku Stanów Zjednoczonych. Trzy lata później, 7 grudnia 1835 r., Polk został spikerem Izby Reprezentantów. Zajmował to stanowisko do 3 marca 1839 r. Wielokrotnie był przedmiotem ostrych ataków. Nazywano go sługą i lokajem Jacksona. Przeciwnikom Jacksona łatwiej było atakować Polka niż prezydenta. Henry A. Wise, konserwatywny polityk z Wirginii, kilkakrotnie usiłował wyzwać Polka na pojedynek. Wyzywał go od przeklętych tyranów, obrażał osobiście, ale Polk nie dał się sprowokować. Mówiono, że dla przeciwników Jacksona Polk jest wygodnym chłopcem do bicia.<br>Jako przewodniczący Izby Reprezentantów podejmował decyzje klarowne