1866 r., Johnson wygłosił przemówienie, w którym stwierdził, że radykałowie są wrogami Unii w tym samym stopniu co secesjoniści. W prasie republikańskiej zawrzało. Gazety pisały, że widocznie prezydent był pijany, kiedy wygłaszał takie poglądy. Oskarżano prezydenta, że ma kochankę, wymyślano różne inne absurdalne zarzuty, byle tylko obrzucić go błotem. Określenia: renegat, zdrajca, demagog, pijaczyna należały do łagodniejszych epitetów kierowanych pod jego adresem.<br>Johnson nie wahał się wetować ustaw, które uważał za sprzeczne z konstytucją. Radykalni republikanie nazywali go Pan Veto (Sir Veto), południowi demokraci uważali go za zdrajcę i nazywali go Judasz Johnson.<br>Kiedy Johnson na początku 1867 r. zgłosił kolejne