Dagens kirke står på (gnr. 90=2090) Vestby og ble bygd i 1872. Den foregående kirken ble reist i 1617 til erstatning for en middelaldersk kirke. Disse stod få hundre meter lenger nord langs elva på (89=2089) Kvelde (Brendalsmo 1990:55). I 1398 ble prestbolet ført som prestbolæt a Berg alt og med skyldstørrelse (RB 46), rimligvis et bruk steint og reint av kirkestedsgården. Berg er et tapt navn (NG 363), trolig lå den under Kvelde. På 1570-tallet lå en tilsvarende stor bygselpart i Quelde til mensa ved Hedrum hovedkirke (St. 60), trolig identisk med det tidligere prestbolet. I opphavsgården Kvelde da kirken ble reist må, foruten Vestby og Kvelde, iregnes (dagens gnr. 86-88) Norkveld nordre, mellom og søndre, (90) Vestby og (91. 92) Sundby vestre og østre (jfr. NG 353). Utfra størrelsen bør denne opphavsgården kunne karakteriseres som en storenhet. 1433 skulle biskopen under visitas ha a Qwæld j nat (DN VI:448).