Jako kandydat tej partii Johnson został wybrany na radnego miasta w 1828 r. i w 1829 r., a następnie w 1830 r. został burmistrzem Greenville. Stanowisko to pełnił przez kolejne trzy jednoroczne kadencje (do 1833 r.). Ku zdziwieniu miejscowych arystokratów Johnson nie przestał pracować jako krawiec w czasie, gdy pełnił funkcje radnego i burmistrza. Jako burmistrz zwoływał nawet posiedzenia rady miejskiej w swoim warsztacie krawieckim. Nazywano go wiejskim Demostenesem.<br>5 października 1835 r. mianował się kandydatem do stanowej legislatury w Tennessee, jako demokrata, i przez dwie kadencje był jej członkiem. Miał wówczas 27 lat. Bossowie partyjni demokratów w Tennessee początkowo przyjęli