Hovedbygningen var laftet i en og en halv etasje og oppført på en gråstensmur med kjeller under. Den ble kledd med liggende panel og malt. Taket var opprinnelig tekket med tegltaksten. Stilistisk er bygning en typisk representant for de mindre embetsgårder på Vestlandet fra første del av 1800-tallet. Både i detaljer og som helhet er den en god representant for senempiren med tidstypiske senempire-vinduer og dører. Fra nord kan bygningen se ut som et typisk midtgangshus med inngang gjennom et bislag midt på langveggen, men døren fra bislaget går direkte inn i kjøkkenet. Planløsningen fraviker derfor fra et tradisjonelt midtgangshus ved at midtgangen mangler. Mot syd er hoveddøren plassert mot det vestlige hjørne med inngang til gang med trapp (originaltrappen er bevart) opp til loftsetasjen som opprinnelig besto av et stort åpent rom med to kammer mot de to kortveggene mot vest og øst. I tillegg til denne gangen lå de to store stuene mot syd. Mot nord lå to kammer mellom kjøkkenet og mot vest ytterligere to mindre rom (ved siden av gangen).
På slutten av 1920-tallet ble bygningen påbygget mot øst og fikk ytterligere to rom i første etasje og ett stort rom i loftetasjen. Tilbygget ble oppført på støpt ringmur i grovt bindingsverk panelt med samme type bord som resten av bygningen. Også vinduene ble utformet som de gamle. Mot nord ble teglstenen erstattet med lappheller. Interiøret ble modernisert, værelser ble både slått sammen og oppdelt, og det ble tatt en del større døråpninger. Også senere ble det gjort en del endringer. Bygningen ble så istandsatt og mer eller mindre tilbakeført på 1990-tallet under ledelse av arkitekt Elin Thorsnes etter planer godkjent av Riksantikvaren. De gamle, opprinnelige dørbladene ble gjenfunnet, istandsatt og gjeninnsatt.
Historikk:
Marcus Gerhard Hoff-Rosenkrone lot Fruehuset bygge for presteenken Karen (Katia)Unger. Ektemannen var sogneprest i Kvinnherad frem til sin død i 1854. Prestegården Malmanger ligger like ved Baroniet. Datteren Kathinka var Marcus Gerhards store kjærlighet, men døde 18 år gammel. Marcus Gerhard forble ugift, men fortsatte å ha et nært forhold til familien Unger. Bygningen er ikke nevnt i branntaksten fra 1856, men i taksten fra 1868. Ved istandsettingen på 1990-tallet ble det funnet en avis fra 1859 som tettemateriale mellom tømmeret. Bygningen er derfor temmelig sikkert ferdigstilt ca. 1860. Presteenken bodde her med sine tre døtre Pauline, Bolette og Nana. Sønnen Johann Einar var reist til Christiania for å studere teologi. (Han skulle senere vende tilbake som prest i Kvinnherad ? som sin far). Pauline og Bolette forble ugifte, mens Nana giftet seg med forfatteren Hans E. Kinck.
I dag er de fleste rom i huset innredet til overnatting i sesongen.