Stoltenberggården ligger i tett bebyggelse i Son sentrum med hovedfasaden vendt mot havna. Gården er sammenbygget med Woldegården og ligger også i umiddelbar nærhet til den fredete Thornegården og Spinnerigården. Foran bygningens hovedfasade går Storgata. I bakgården er det et gammelt bryggerhus som er sammenbygget med hovedbygningen, et gammelt uthus og to nyere uthus. Det er i nyere tid bygget opp terrasser i flere nivåer knyttet til restaurantvirksomheten i Stoltenberggården.