Kviteseid gamle prestegård ligger på en flate mellom Kviteseid gamle kirke i vest og Kviteseidvannet i øst, sør for Kviteseidbyen. Tunet består av syv fredede bygninger som danner en firkant. Hovedbygningen og forpakterboligen ligger i sørøst og sørvest, uthusene i nordøst og nordvest.