Hagehuset, også kalt "Gartnerboligen", er plassert i og omfatter det opprinnelige sydvestre parterret i renessansehagen. På Hans Sagers maleri fra 1705 som viser hele baroniet i et slags skrått fugleperspektiv er det plassert et lysthus her som ser ut til å være i to etasjer i hvitkalket mur (eventuelt en høy etasje på sokkeletasje). Sokkeletasjen/kjelleren i nåværende hus kan stamme fra dette huset. Over kjelleren er det i dag en enetasjes bygning som i manns minne er benyttet som gartnerbolig.
Over kjelleren er det i dag en enetasjes, laftet og bordkledd bygning. Eksteriøret stil og detaljer har empirepreg og må være fra første halvdel av 1800-tallet. Den liggende bordkledningen er profilert og vinduene har mange likhetspunkter med avlsgårdens vinduer (fra 1840-årene).
I interiøret er det listverk med umiskjennelig 1700-talspreg og disse rokokkodetaljene tilsier at bygningen må være bygd på 1700-tallets annen halvdel og sterkt ombygd på første halvdel av 1800-tallet.