Spydeberg prestegård har sammen med kirken røtter tilbake til middelalderen. Prestegården er først og fremst kjent fra professor Wilses reise og ble sterkt utbygget og forskjønnet under hans periode som sogneprest i Spydeberg. Prestegården spilte også en viktig rolle under krigen mot Sverige i 1814. Selv om anlegget i stor grad er endret siden den gang utgjør dagens hovedbygning første etasje av den som sto her i Wilses tid og som ble brukt i 1814. Rester fra Wilses berømte hageanlegg lar seg også spore i dagens anlegg.