Interpunkcja polska nie przewiduje zasadniczo stawiania przecinka po przywołanych w pytaniu inicjalnych składnikach zdania, które pełnią funkcję metatekstową, por. np.

Majątek był zdewastowany. Ponadto obciążony hipotecznie na znaczną sumę.
Trochę męczy mnie katar. Ale poza tym czuję się całkiem dobrze.
Było zimno. A w dodatku padał deszcz.

W wypadku wyrażeń po pierwsze, po drugie itp. interpunkcja jest niejednolita – można je oddzielać przecinkiem, ale nie jest to konieczne. Użycie przecinka uzasadnia się zazwyczaj przestankiem oddechowym, który jest odbiciem chwili namysłu bądź wahania, por. np.

Po pierwsze nie było amunicji. Po wtóre zapadł już zmrok.
Po pierwsze, nie było amunicji. Po wtóre, zapadł już zmrok.