Etymologia słów szmata i szmat jest niepewna (por. W. Boryś, Słownik etymologiczny języka polskiego, Kraków 2005, s. 604), jednak pewne jest to, że mają one wspólne pochodzenie, a właściwie były kiedyś wariantami rodzajowymi (czyli stanowiły jeden wyraz mający różne formy rodzajowe, tak jak dziś np. klusek i kluska czy rodzynek i rodzynka).

Początkowo miały znaczenie ‘duża część jakiejś płaskiej powierzchni’, które przysługuje dziś wyłącznie nazwie szmat (oczywiście, współcześnie ma ona bardzo ograniczoną łączliwość; mówimy głównie: szmat drogi, szmat ziemi). Ze znaczenie tego wyodrębniło się z czasem inne – ‘kawałek tkaniny’ – ono „przypadło” rzeczownikowi szmata, który później uległ degradacji (dziś szmata to zniszczona tkanina).