Ca. 1580. ble en bygning reist på deler av ruinene av bispeborgen fra 1200-tallet. Den ble oppført for borgermester Mule. Bygningen ble sterkt skadet i brann i 1624, men ble oppført igjen for borgermester Nils Toller. Dagens bygningen ble oppført for Karen Hausmanni 1725. I kjelleren er bispegårdens hvelvede middelaldermurer bevart, og i nordfløyens østre del ble bispekapellet gjenreist i 1950.
Barokkhagen er istandsatt etter mønster fra 1779. Anlegget, som i dag er museum, tilhører Oslo kommune.
Følgende er angitt som fredet i henhold til bystyrevedtak 8. november 1962, saknr. 261 "Fredning og bevaring av gamle bygninger etc. i Oslo": Teglsteinsbygning med to fløybygninger og "Bispekapellet", middelaldersk gjenreist naturstensbygning. Bystyrevedtaket stadfestet lista over bygninger m.v. i Oslo "som er fredet, samt over verdier av denne art som bør søkes bevart".