Yttersø fremstår i dag som en lystgård fra 1.halvdel av 1800-tallet og består av hovedbygning, sidebygning og et hageanlegg. Hovedbygningen har store rokokkovinduer, og vindusstørrelsen er større i andreetasje-nivå ettersom ballsalen ligger i andre etasje. Inngangspartiet rundt hoveddøren har stilelementer i louis seize-stil. Hovedbygningen har også høyt valmtak med avrundet avslutning nederst, noe som også viser inspirasjon fra sen 1700-talls arkitektur, selvom bygningen er oppført på begynnelsen av 1800-tallet. Den er oppført for Johan Fredrik Sartz (1763 - 1839), prost i Larvik. Yttersø-eiendommen var en del av grevskapet som i 1817 ble kjøpt av et interesseselskap, en av dem var Sartz. I 1820 skilte han Yttersø ut som egen eiendom. Yttersø ble fredet som bygning i 1923.
Yttersø ligger mellom vestsiden av Lågen, kun 100 m fra Nummedalslågen, og østsiden av hovedveien, Elveveien. Sør for bygningen ligger hagen. På bygningens nordside ligger gårdstunet med en gammel sidebygning mot vest. Yttersø har en viss åpenhet rundt seg, men området forøvrig er preget av industribygninger.