Raczyńskiemu odebrano nieruchomość. Ruiny barokowej budowli przyznano Akademii Sztuk Pięknych. W 1959 r. pałac odbudowano. Zanim jednak to nastąpiło, przebywający za granicą Raczyński, uważany za <q>"wroga ustroju"</> z racji swoich przedwojennych funkcji i koneksji, złożył wniosek o przyznanie mu prawa własności czasowej do odebranej nieruchomości. Po 13 latach Prezydium Rady Narodowej odmówiło. Powód? Plan miejscowego zagospodarowania przewidywał w tym miejscu obiekty użyteczności publicznej. Odwołanie do ministra gospodarki komunalnej nie przyniosło pożądanych efektów. Ten utrzymał w mocy decyzję PRN i dodał, że <q>"część nieruchomości została przeznaczona pod nowe inwestycje dla ambasady Francji, a więc dalsze korzystanie z tego gruntu przez byłego właściciela