Den fredete bygningen har to fløyer i vinkel mot Rådhusgata og Kirkegata.
Bygården ble oppført på slutten av 1640-tallet av myntmester Peter Grüner. Gården ble i familiens eie over hundre år, dels med utleie. Fra 1679-99 leide general og stattholder Ulrik Frederik Gyldenløve her, etter å ha bodd på Akershus slott. Ca. 1689-99 var det også postkontor i gården. Etter Gyldenløves tid ble gården endret. Bygningen ble skadet av en kanonild fra Akershus festning under Karl den XIIs beleiring 1716. Etter dette ble det høye saltaket med trappegavler i renessansestil erstattet av et lavere valmtak. Ett av de to karakteristiske karnapputbyggene på hovedfasaden ble også fjernet. I 1740 ble sidebygning med kjøkken og tjenerstuer revet og arealet kjøpt av naboene. Kjøpmann og legatstifter Mathias Calmeyer kjøpte gården i 1770-åra, derav navnet Calmeyergården. I 1890 overtok Wilhelm Dybwad. I 1912 ble taket bygget om og en vinkelformet murbygning i fire etasjer ble oppført i gårdsrommet, dels som bananlager for grosserer Chr. Mathiesen. I 1. etasje har det vært bevertningssted siden 1836.