Avgrensingen av kirkegården bygger på rapport og og kartskisse fra Håvard Dahl Bratreins registrering i 1967, Riksantikvarens arkiv.
Eldste omtale av en kirke på (gnr. 46) Karlsøy prestegård er i 1589. Den var da anneks under Tromsø kirke, og en residerende kapellan skulle herfra betjene kirkene på Kvitnes og Vannvåg i tillegg (Kalsøø kircke, Thr.R. 91). Den eldre kirkens kirkegård strakte seg ned til riksveien i sør og like vest til Klokkarelva (på bnr. 1). Nåværende kirkegård ligger noen kilometer mot nordøst, inne på øya. Med stor grad av sannsynlighet sto middelalderkirken innenfor den eldre kirkens kirkegårdsområde (Helland 1899:311, Wolff 1942:21f, Bratrein 1990:111ff, Trædal 2008:399ff m/ref.).