w bardzo biednej rodzinie. Ojciec jego, Jacob Johnson, imał się różnych zajęć. Był policjantem miejskim, kościelnym, portierem w banku. Miał 33 lata, kiedy w 1812 roku stracił życie, ratując tonącego. Andrew miał wtedy zaledwie 3 lata. Matka jego, Mary McDonough Johnson, została wdową z dwojgiem dzieci. Dzieciństwo Andrew miał niełatwe. Rodzina była biedna, do tego bez ojca. Kiedy miał 10 lat, matka oddała go do pomocy krawcowi nazwiskiem James J. Shelby. Andrew uczył się fachu. W warsztacie krawieckim pana Shelby był taki zwyczaj, że w czasie pracy czeladnikom ktoś czytał książkę. Andrew tak lubił słuchać lektury książek, że marzył o tym