Uthuset er ikke nevnt i taksten fra 1868 og er trolig satt opp noe senere på 1800-tallet. Det er oppført i bindingsverk og panelt med liggende bord av noe mindre bredde enn hovedhusets. Mens hovedhuset etter tradisjonen er malt hvitt, er uthuset like tradisjonelt malt rødt. Uthuset er i senere tid blitt bygd tett inntil hovedhuset.
Historikk:
Marcus Gerhard Hoff-Rosenkrone lot Fruehuset bygge for presteenken Karen (Katia)Unger. Presteenken bodde i Fruehuset med sine tre døtre Pauline, Bolette og Nana. Ektemannen var sogneprest i Kvinnherad frem til sin død i 1854. Prestegården Malmanger ligger like ved Baroniet. Datteren Kathinka var Marcus Gerhards store kjærlighet, men døde 18 år gammel. Marcus Gerhard forble ugift, men fortsatte å ha et nært forhold til familien Unger. Fruehuset er så vidt vi vet ferdigstilt ca. 1860. Uthuset er ikke nevnt i taksten fra 1868 og trolig satt opp noe senere på 1800-tallet.
I dag er en den nordlige delen innredet til overnatting i sesongen, mens uthuset nærmest Fruehuset er et uisolert lager.