po drugim członkowie gabinetu Johnsona podawali się do dymisji. Radykalni republikanie opóźniali powrót kongresmanów i senatorów z Południa do Kongresu. Prasa, sympatyzująca z radykalnym skrzydłem republikanów, nazywała .Johnsona bezczelnym pijanym brutalem. Rozpuszczano plotki, że Johnson był zamieszany w zabójstwo Lincolna, że posiada cały harem ladacznic i potajemnie spiskuje z konfederatami. Senator Thaddeus Stevens posunął się nawet tak daleko, że oświadczył wprost, iż Johnson jest "cudzoziemcem, obywatelem obcego stanu... i nie może być uznany za legalnego prezydenta".<br>W sierpniu 1866 r. prezydent wraz z grupą przyjaciół udał się do Chicago, aby złożyć kamień węgielny pod budowę pomnika senatora Stephena A. Douglasa. Wygłosił