Ullensvang prestegård ligger på en moreneflate like ved fjorden og like nedenfor middelalderkirken. Gården er nevnt første gang i 1309 og har vært prestegård kontinuerlig, bortsett fra et avbrudd fra 1606 til 1645 da presten bodde i Kinsarvik. En ny toetasjes hovedbygning ble bygget i presten Asches tid (1757-71). Denne bygningen ble tatt av en storm i 1806. Presten Nils Hertzberg lot bygge en ny, lav hovedbygning på bare en etasje med en midtbygning som lå parallelt med fjorden og to flankerende, øst/vest-vendte fløyer. Denne bygningen ble revet i 1865 og erstattet av den nåværende hovedbygning som ble bygget av sogneprest Hans H. Irgens (1863-79). Foruten hovedbygningen er borgstuen og et stabbur, begge trolig fra tidlig på 1800-tallet, samt et naust fredet.