Jana Dziewanowskiego, kasztelana chełmińskiego, sam zaś ów dworek stał się na pewien czas mieszkaniem ks. Jana Wicherta, kanonika inflanckiego. <br>W r. 1796, po zajęciu Warszawy, Prusacy skonfiskowali Grochów, którego kolejnym właścicielem miał się stać (według Al. Karwowskiego, późniejszego dzierżawcy budynku) Stanisław Odrowąż Pieniążek. Po nim następuje długi szereg raczej mniej ciekawych właścicieli pałacyku, jak Leniecka, Tarasiewicz (1818), Rudzcy (1827), Zandbangowie (1843) i Osterloff (1854).<br>W tym to mniej więcej czasie na polach Grochowa, w Olszynce leżącej nieopodal dworku, rozegrała się 25 lutego 1831 r. jedna z najbardziej krwawych bitew tego okresu. Czy rzeczywiście w dworze tym mieścił się wtedy sztab Chłopickiego