Det gamle prestegårdstunet ligger ca. 250 meter øst for Rollag stavkirke og er derfor en viktig del av kirkens nærmeste omgivelser. Som kirkestedet har også prestegården tradisjoner tilbake til middelalderen.
Prestegårdstunet består av en rekke bygninger, hvorav seks er fredet: hovedbygningen, bispestua, storeburet, vesleburet, kornburet og garasjen (tidligere korntørke).