Sauherad prestegård ligger rett nordvest for middelalderkirken, og er nærmeste nabo til denne. Prestegårdens tradisjoner går tilbake til middelalderen.
De fire fredete bygningene (hovedbygningen med sidefløy, drengestua, prestens stabbur og forpakterens stabbur) er viktige elementer i det store åpne prestegårdstunet.
Hovedbygningen ble oppført i 1658, men bærer preg av senere ombygninger. Den er en to-etasjes laftet tømmerbygning, utvendig kledd med stående panel. Mot tunet har bygningen tilbygget en sidefløy i én etasje fra 1921.
Den langstrakte drengestua i én etasje med bryggerhus og redskapshus har en kjerne fra før 1800. Både prestens og forpakteres stabbur er fra 1800-tallet.