Lokaliseringen av kirkestedet er uavklart. Bakgrunn for grov lokalisering er dette: Kvem kirke er ikke nevnt på 1570-tallet (St. 184f), hvilket betyr at det da ikke lå landskyld til den og at den ikke ble betraktet som anneks. Dette antydes også i et brev 1477 (dog muligens falskt eller omskrevet tidlig på 1600-tallet), der Kvems nabogård Smedby ble sagt å ligge i Hoff sogn (Smædhaby liigghiandhe j Hooff sookn, DN X:250). På 1590-tallet var kirken trolig likevel i bruk da den ikke nevnes som øde, men det er sannsynlig at det ikke ble holdt regulær tjeneste der (JN 290). I 1604 og 1723 utgjorde Kvem 6 helgårder og 1 halvgård, og en av gårdene kaltes i 1578 Kircke-Huem (NG 60). Kirken stod muligens på (71/2) Kvem østre II, eller der det er merket på ØK med ¿Ruin¿ på (75/1) Kvem. Et stort gravfelt må ha strukket seg langs gårdstunene på nordsiden, og kirken ser ut til å være reist i dette. Kirken: 1591-98 (Huems kircke, JN 290)