W 1824 r. wygrał wybory do Izby Reprezentantów i nie oddał tego mandatu aż do 1839 r.<br>Młody, zwycięski kongresman udał się do odległego Waszyngtonu na koniu. John Quincy Adams nie był zachwycony Polkiem. Uważał go za człowieka pozbawionego poczucia humoru, mało oczytanego, nie potrafiącego poprawnie mówić po angielsku, ale pewnego siebie i pracowitego.<br>Polk był członkiem Izby Reprezentantów w okresie, gdy w Białym Domu zasiadał John Quincy Adams. Adams został prezydentem, mimo że w głosowaniu powszechnym najwięcej głosów otrzymał Andrew Jackson. Sprowokowało to dyskusję w Stanach Zjednoczonych nad zmianą systemu wyborczego. System wyborów pośrednich znalazł się na cenzurowanym. Domagano się zmniejszenia