1939 r. na pałac spadły niemieckie bomby. Spłonął. W czasie powstania warszawskiego ten sam los spotkał przypałacowe oficyny. Po wojnie, na mocy dekretu warszawskiego, Raczyńskiemu odebrano nieruchomość. Ruiny barokowej budowli przyznano Akademii Sztuk Pięknych. W 1959 r. pałac odbudowano. Zanim jednak to nastąpiło, przebywający za granicą Raczyński, uważany za <q>"wroga ustroju"</> z racji swoich przedwojennych funkcji i koneksji, złożył wniosek o przyznanie mu prawa własności czasowej do odebranej nieruchomości. Po 13 latach Prezydium Rady Narodowej odmówiło. Powód? Plan miejscowego zagospodarowania przewidywał w tym miejscu obiekty użyteczności publicznej. Odwołanie do ministra gospodarki komunalnej nie przyniosło pożądanych efektów. Ten utrzymał w mocy decyzję