Prestegården ligger ca 2km sørøst for middelalderkirken og har som denne trolig røtter tilbake til reformatorisk tid. Tre av de nåværende bygningene i anlegget ble oppført mens Wisløff var sogneprest på slutten av 1800-tallet. Wisløff anla også den parkmessige hagen som var berømt i samtiden.