Hole prestegård ligger rett nord for kirka. Sammen danner de en fysisk enhet som er godt synlig i det bølgende jordbrukslandskapet med dyrket mark rundt.
Prestegården utgjør et helhetlig gårdsanlegg med et rektangulært tun, der hovedbygningen danner sørveggen i anlegget. Hovedbygningen antas å være bygd tidlig på 1800-tallet, men deler av den kan også være eldre. Da bygningen ble ombygd i 1880-årene fikk den omtrent det preget den har i dag. Hovedbygningen er en 1½-etasjes laftet tømmerbygning, som er utvendig panelt.
I tillegg til hovedbygningen er også forpakterboligen og stabburet fredet. Forpakterboligen slik den fremstår i dag er bygd i 1915, men deler av bygningen kan være eldre. Stabburet er en 1800-talls tømmerbygning i tre etasjer med panel på tre av veggene.