Jeśli wykrzyknik zamyka zdanie, to należy się po nim spodziewać wielkiej litery, tak samo jak po kropce. Jeśli natomiast wykrzyknik (znak) stoi po wykrzykniku (wyrazie), i nie zamyka zdania, to prawdopodobnie następna litera będzie mała (chyba żeby akurat następne słowo było nazwą własną albo skrótowcem), por. „Z sosny słychać dzięcioła stuk./ A tutaj ryby bryzg! spod nóg” (Konstanty Ildefons Gałczyński, Kronika olsztyńska).
Więcej informacji można znaleźć w zasadach pisowni oraz w poradnikach interpunkcyjnych.