Prestegarden består i dag av hovudbygningen, ei borgstue, ein låve og eit naust i Nordvågen. Den gamle prestegardsbygningen, som seinare vart kalla Willamsborg, ligg vakkert til ved kyrkja på høydedraget mellom Nordvågen og Sørvågen på Veøya. Mot vest ligg kyrkjegarden, medan det er eit hageanlegg mot vest. Etter tradisjonen skal prestebustaden tidlegare ha ligge noko lengre vest (sjå 43137-9).
Det er ikkje nemnt prestebol til kyrkja før i 1661 (s. 49), men prestegarden var svært sentral i nyare tid. Det skal ha vore nærmare tjue bygningar her. Ein del av desse tilhøyrte «allmuen», ein del tilhøyrte presteembetet, og ein del tilhøyrte presten som privatperson. Bygningane omfatta hovudbygningen, borgstua (stod tidlegare saman med eit vedskur mellom hovudbygningen av gamleløa), gamleløa med kornløe og stall, nyløa med fjøs, tørkeskjå og fleire mindre hus under Skjåberget (stabbur, eldhus, grisehus, hønsehus og to privet), naust i Nordvågen, tiendestabbur og sjøbu i Sørvågen, og smie ved Smieattlegå.