Dagens kirke bygd 1657 står på (gnr. 31) Prestegården hvis opprinnelige navn er Svarstad (NG 368). Den erstattet en kirke som trolig ble reist etter en brann i 1392, og samtlige kirker ser ut til å være bygd på samme sted (Brendalsmo 1990:55). Nåværende kirke, påbegynt i 1657, står trolig rett nord for og inntill tuften etter middelalderkirken. Kirkegårdsgraveren har ved flere anledninger observert større steiner i dette området av kirkegården, og under stien nærmest kirkens sørvegg sågar steiner han mener er rester av en syllmur.