Andøen ble opprinnelig bygd som lystgård i 1813-14 for Johan Henrik van Kervel. Fra 1824 var gården familens helårsbolig. Det ble reist driftsbygninger og anlagt en flott park med spaserganger, plener og bugnende blomsterhager. Komponisten og fiolinvituosen Ole Bull eide gården 1850-1854, men bodder her bare i korte perioder.