Genezę tego powiedzenia objaśnia Leksykon polskich powiedzeń historycznych (M. Wilamowski, K. Wnęk, L. Zyblikiewicz). Czytamy tu:

Zdanie ukute od należącego do Ludwika Michała Paca pałacu zbudowanego w stylu gotyckim w latach 1822-1823 w Dowspudzie na Suwalszczyźnie. W celu wykończenia pałacu w stylu angielskiego późnego gotyku Pac sprowadził z Włoch specjalistów, m.in. Henryka Marconiego. Pałac wyposażony był w 6 wież, 60 gotyckich szczytów, umieszczono w nim różne pomniki i malowidła oraz mauzoleum rodzinne. Jedni mówili o tym budynku z podziwem, inni z przekąsem.

Przytoczywszy obszerne informacje o generale Pacu – senatorze w czasie powstania listopadowego, uczestniku bitwy pod Ostrołęką, po powstaniu stronnika obozu księcia Adama Czartoryskiego na emigracji – autorzy leksykonu kończą artykuł stwierdzeniem:

Najprawdopodobniej powiedzonko jest jednak starsze i dotyczy pałacu w Jeźnie koło Kowna oraz innego Paca. Zostało tylko przywołane ponownie do życia i spopularyzowane przez działalność Ludwika Michała Paca.

Dziś, mówiąc „Wart Pac pałaca…”, zazwyczaj dajemy do zrozumienia, że jakieś dwie osoby lub instytucje oceniamy jednakowo krytycznie. Okoliczność ta może dziwić, zważywszy, że generał Pac nie zapisał się negatywnie w historii Polski. Początkowo zresztą powiedzenie to nie miało wydźwięku krytycznego, por. u Mickiewicza w Panu Tadeuszu:

Równa ich była rączość, równa była praca;
Godzien jest pałac Paca, godzien Pac pałaca (…)

Ów negatywny wydźwięk wziął się prawdopodobnie stąd, że wiele powiedzeń opartych na słowach wart i niewart służy krytyce, a nie pochwale, np. coś jest diabła warte, śmiechu warte, funta kłaków niewarte.