Ramnes prestegård ligger ca. halvannen kilometer sørvest for middelalderkirken og har trolig som denne tradisjoner tilbake til førreformatorisk tid.
Dagens prestegårdsbebyggelse er gruppert omkring et stort åpent tun med den fredete hovedbygningen i nord. Hovedbygningen er en én-etasjes laftet tømmerbygning med saltak. Den nordre delen ble bygd i 1742. I 1825-26 ble den flyttet noen alen mot øst, samtidig med at en ny, høyere grunnmur ble oppført og søndre del tilbygd.