Kirken ligger på den høyeste delen av en morenerygg, nord for Jarlsberg Hovedgård - i middelalderen kalt Sem og Sem kongsgård. Terrenget faller noe mot øst og nordøst. Kirkegårdens eldre utbredelse er dokumentert på kart 1671 og 1811. Kirkegården ble nedlagt i 1844. Stamhuset har brukt kirkegården ved enkelte anledninger. Registreringen bygger på foreliggende kart og observasjoner fra tidligere befaringer.