Johnson nierzadko był obiektem ostrych ataków zarówno ze strony kierownictwa Partii Demokratycznej, jak i ze strony wigów. Kiedy Jefferson Davis, późniejszy prezydent konfederacji, na forum Izby Reprezentantów krytykował Johnsona za jego sprzeciw wobec wydatkowania środków budżetowych na rozbudowę akademii wojskowej w West Point i ironicznie wyraził powątpiewanie, czy kowal lub krawiec jest w stanie ocenić potrzeby kraju, Johnson nie pozostawił tego bez odpowiedzi. Wstał ze swego miejsca i z dumą oświadczył, że utorował sobie drogę do Izby Reprezentantów przez "pot ociekający z czoła. Sir, chcę panu powiedzieć, że nie zapomniałem, że jestem człowiekiem pracy. Jestem dumny z tego. Nie zapomniałem również