Hovedbygningen ble antakelig oppført i årene 1662-65. Den er bygget som et lukket anlegg i to etasjer med hovedfløy mot sør og to sidefløyer som mot nord forbindes av en noe lavere mur. Midt i muren står en staselig barokkportal med familiene Rosenkrantz og Mowatts våpenskjold og innskriften ”Milius Mori In Libertate Quam vivere In Servitute 1665”. Toppstykket med våpenskjoldene har innskriften ”WB. Ludwich Rosenkrantz Fr: Karren Movath”. En noe enklere portal innrammer den korresponderende hovedinngangen midt på sørfløyens borggårdsfasade. Den har innskriften ”Wer Gott vertrawet hat wol Gebauwet. Anno 1662”. Bygningen er oppført av bruddstein med klebersteins innfatninger, bortsett fra portalene som er av sandstein. En del av steinen skal ifølge tradisjonen være hentet fra det middelalderske gårdskapellet på Mel, og skotske murere skal ha stått for arbeidet. Dette gjelder ikke sandsteinsportalene som må ha vært hugget av danske eller nordtyske håndverkere og eksportert til Rosendal i ferdig stand (årb. 1973 s. 26 f.). Murverket står pusset og hvitkalket men med synlige innfatningsstein i hjørnene. Etasjeskillene er utvendig markert med dekorative murankere. Innvendige skillevegger er av tre og utmurt bindingsverk. Bygningens første etasje har tofags vinduer som i vestfløyen har beholdt sine blysprosser, mens annen etasje har firrams vinduer med kryssposter og tresprosser. Vinduene er ikke innpasset i noe helhetlig aksesystem. Taket har idag utsvaiet valm og er tekket med blåglasserte panner. Alle fløyene har små, flate lysarker med vinduer inn til loft. Østfløyen har en spissgavlet vindeark mot borggården. Av et maleri fra ca. 1705 fremgår at bygningen også den gang hadde valmtak, men uten svai og med knappere utstikk enn senere. Det var tekket med røde panner. (Fra manus til ”Fredete hus og anlegg i Hordaland”, av Ola Øgar Svendsen)