stracił życie, ratując tonącego. Andrew miał wtedy zaledwie 3 lata. Matka jego, Mary McDonough Johnson, została wdową z dwojgiem dzieci. Dzieciństwo Andrew miał niełatwe. Rodzina była biedna, do tego bez ojca. Kiedy miał 10 lat, matka oddała go do pomocy krawcowi nazwiskiem James J. Shelby. Andrew uczył się fachu. W warsztacie krawieckim pana Shelby był taki zwyczaj, że w czasie pracy czeladnikom ktoś czytał książkę. Andrew tak lubił słuchać lektury książek, że marzył o tym, aby nauczyć się czytać.<br>Mając 16 lat wybił szybę w oknie domu pewnej kobiety. W obawie przed karą uciekł z miasta do Laurens w Karolinie Południowej