I området ligger også garnisonskirka fra 1756. I utgangspunktet skulle kirka ha ligget midt på plassen eller torget, men ble av brannhensyn lagt på utsiden.
I det samme området ligger barakkeområdet, utenfor vollmurene og vest for kvadraturen. Samlet inneholdt den militære delen av Fredriksvern 11 barakker som ble bygget som forlegning for mannskap, offiserer og håndverkere. Det ble oppført åtte barakker mellom 1751 og 1754. Disse inneholdt 16 leiligheter for offiserer og 102 leiligheter for menige. Barakkene ble oppført i tømmer og panelt. Senere kom to barakker til, også disse panelte tømmerbygg, og en barakke oppført i mur. Barakkene lå rundt en stor åpen plass, hvor det først sto en vaktstue og senere en vannpost.
I 1867 ble fire barakker revet, og under brannen i 1883 brant steinbarakken og en trebarakke.
Mellom Brunlaporten i vest og de militære barakkene lå små hus bebodd av folk som arbeidet for marinen (før marinen flyttet sin stasjon til Horten i 1851). Fjerdingen er betegnelsen på den bebyggelsen som ligger nærmest kirka. Området lå på Fredrikverns grunn, og bebyggelsen ble hovedsakelig oppført i første halvdel av 1800-tallet av folk som arbeidet for marinen. Det antatt eldste huset, fra 1730-årene, ble revet i 1952.
Syd, vest og nord for bebyggelsen utenfor verftet ble det bygget en trepalisade. Utenfor palisaden lå Øvre Fjerdingen eller Fantefjerdingen. Området ble regnet å tilhøre Stavern frem til 1835, men her mente man at området tilhørte Brunlanes kommune som imidlertid ikke vedkjente seg eierskapet. Området ble dermed et ingenmannsland uten jurisdiksjon, uten skatter og uten politioppsyn. Men fra 1848 ble Fantefjerdingen lagt inn under Fredriksvern.
Brannregulering 1883
Storbrannen i 1883 utslettet all bebyggelse i det gamle Stavern unntatt Tollboden og en del av de militære barakkebygningene. Etter brannen ble byen planlagt med rutenettmønster. Nesten all bebyggelse i sentrum er oppført i samsvar med 1880-tallets arkitekturidealer. Den består hovedsakelig av trehus i halvannen etasje med arker. Bare noen få bygninger er i to etasjer. Dette gir bebyggelsen et enhetlig preg og skala.
Dagens tilstand
Lite er i grunnen endret siden gjenoppbyggingen etter den store bybrannen i 1883. Noen bygninger er revet og noen bygninger brant i 1885 og 1922, men dette fikk små konsekvenser for helheten. For øvrig er det bare bebyggelsen i Fjerdingen som viser hvordan byen så ut før storbrannen i 1883.
Størst endring har skjedd på bebyggelsens fasader. Generelt hadde bebyggelsen i Stavern høvlet, stående panel og to-rams vinduer med 2 eller 3 glassruter i høyden. Vanlig var fireroms hus med midtstilt pipe og fire vinduer på langfasaden. Senere (rett før og rett etter 2. verdenskrig) ble mange vinduer byttet ut med tredelte vinduer. Den neste endringsperioden var på 1970-tallet da Husmorvinduene kom for fullt.
Selv om fasadene har gjennomgått store endringer fra det opprinnelige, er det byens enhetlige preg i skala og volum som er fremtredende og som gir byen et lunt, menneskevennlig bymiljø.
Av de militære barakkene er det i dag igjen fem, to av dem er i bruk som gamlehjem og de tre andre brukes til offentlige kontorer. Garnisonskirka fra 1756, samt den store plassen foran denne er fremdeles intakt.