Sons utvikling som handelssted kan spores helt tilbake til 1154, men den første sikre referansen ble gjort i Diplomatarium Islandicum fra 1342, der Sonakaupangen nevnes. Arkeologiske undersøkelser og skriftlige kilder forteller om Sons betydning som handelssted fra middelalderen og framover og at den første bebyggelsen kom ifølge både arkeologiske og skriftlige kilder i første halvdel av 1600-tallet. Arkeologiske funn som er bevart under torget er rekonstruert i dagens torg og stedets historie er godt formidlet på forskjellig vis.
Son vokste fram som havn for utskipingen av trelast. Mellom 1500- til 1800-tallet var det betydelig eksport til de nordeuropeiske landene, hvor særlig handelen med Holland var viktig. Etter at Son ble ladested under Oslo og eget tollsted fra 1604 økte innbyggertallet. Skipsfarten førte til etablering av båtbyggerier og verft og i andre halvdel av 1800-tallet ble iseksport en betydelig næring. Son fikk dampskipforbindelse i 1855, og ble fra da av en populær turistdestinasjon, blant annet på bakgrunn av rikelige bademuligheter langs byens strender.
I Son sentrum finnes flere handelsgårder som vitner om stedets historie som ladested og sjøfartsby. I løpet av 1600-, 1700 og 1800-tallet slo flere handelsfamilier og redere seg ned her. Handelen med Holland ga en rekke utenlandske impulser til stedet, blant annet i form av hollandsk tegl og takstein til bygningene. Disse husene som ligger på torget er monumentale både i størrelses og stilart, og med materiale som blant annet bindingsverk. Torget er en såkalt "rettet" plass, ved at det åpner seg mot sjøen. Kulturmiljøet preges forøvrig av gjennomgående små, enetasjes hus med saltak fra 1700, 1800 og 1900-tallet, bygget for småkårsfolk på små tomter med tilknytning til sjøfart og fiske. Bebyggelsen er selvgrodd og det naturlige terrenget med fjellknauser og vegetasjon er godt bevart. Det finnes også spor etter kombinasjonsbruk, fiske og husdyrhold, der enkelte av uthusene fremdeles er bevart.
Faglige råd for forvaltning
Generelle råd
De etterfølgende faglige rådene skal bidra til å ivareta kulturhistoriske og arkitektoniske verdier i forvaltningen av kulturmiljøet. Verneverdiene forutsettes ivaretatt av kommunen i deres plan- og byggesaksbehandling. Dette gjelder både hensyn til viktige enkeltbygg, kulturminner, grøntområder og kulturlag innenfor kulturmiljøet samt landskapsrelaterte og strukturelle sammenhenger.
Kommunen kan bruke rådene som bestemmelser i kommune-, område- eller detaljplaner. I det tilfelle kan det være hensiktsmessig at anbefalingen «bør» erstattes av «skal». Dette vil gjøre rådene juridisk bindende, og bidra til å sikre en god forvaltning av kulturmiljøverdiene.
Landskapsnivå
•Utbygging og utfylling av sjø- og havneområder som visuelt og funksjonelt skiller den historiske byen fra sjøen bør unngås.
• Gateløp som er åpne mot sjøen bør ikke lukkes igjen.
• Høydedraget med vegetasjon bør bevares. Det bør ikke foretas planering, graving eller fylling.
• Innen området bør terreng og vegetasjon bevares og eksisterende naturtyper bør ivaretas.
• Innenfor området bør eksisterende stedegen vegetasjon ivaretas.
• Tak bør vurderes som del av byens taklandskap og behandles som en del av tiltakets samlede arkitektoniske uttrykk. Ved eventuelle nybygg og ombygginger bør tekniske anlegg, som heisoppbygg og ventilasjonsanlegg m.m., integreres i den arkitektoniske utformingen.
• Ethvert tiltak innenfor kulturmiljøet bør ha gode visuelle kvaliteter både i seg selv, i forhold til tiltakets funksjon, og dets bygde og naturlige omgivelser og plassering.
Områdenivå
• Ved brann eller annen uopprettelig skade bør ny bebyggelse gjenoppbygges som rekonstruksjoner på dokumentert grunnlag.
• I tilstøtende randområder bør nye tiltak ikke redusere opplevelses- eller bruksverdien knyttet til det historiske bymiljøet.
• Utfylling av tomtearealer anses som uheldig tiltak som svekker lesbarheten og opplevelsen av det historiske bebyggelsesmønsteret.
• I området bør historiske bygningshøyder og gesimshøyder være førende for eventuelle nybygg. Den historiske bebyggelsens karakteristiske volum med skala og proporsjoner, samt plassering av bygninger bør videreføres ved nye tiltak.
• Eksisterende bebyggelsesmønster bør opprettholdes.
• Eiendoms- og tomtestruktur bør gi føringer for den prinsipielle bebyggelsesstrukturen. Der den historiske tomtestrukturen slås sammen er det viktig at den uttrykker seg i fasadenes inndeling og rytme.
• Gater og smug bør ikke bygges igjen da dette vil forringe områdets historiske karakter og lesbarhet.
• Bebyggelsesmønsteret, torgene, og gatestrukturen er en viktig del av områdets historie og bør bevares og videreføres.
Objektnivå
• Ved vedlikehold og utbedring bør kulturhistoriske og arkitektoniske verdier som knytter seg til de historiske byggenes detaljer bevares, derav material- og fargebruk, dør- og vindusutforming og øvrige bygningsdetaljer. Originale bygningsdeler bør bevares, dersom disse er tapt bør de rekonstrueres etter historiske forbilder.
• Riving av trehus bør unngås.
• Riving av murhus bør unngås.
• Stedegen byggeskikk og håndverkstradisjon bør opprettholdes og videreføres ved eventuelle nye tiltak, herunder endringer, til-, på- og nybygg. Ved eventuell oppføring av tilbygg bør tilpasses eksisterende bebyggelse og underordnes denne.
• Der det er gjennomført uheldige tiltak som har svekket kulturmiljøets egenart bør det gjennomføres byreparasjon i form av tilbakeføring og gjenoppbygging som viderefører den lokale byggeskikken.
• Den historiske fargepaletten bør videreføres, eventuelt tilbakeføres på dokumentert grunnlag.
Elementnivå
• Eksisterende gatebelegg, gatemøblering og elementer som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring bør skje ved bruk av tradisjonelle materialer og teknikker.
• Nytt gatebelegg, gatemøblering og elementer som innføres i området bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Tekniske innretninger, herunder også varmepumper, skilt og reklame, bør gis en diskret utforming og ha en plassering, materialbruk og fargevalg som harmonerer med områdets karakter.
• Eksisterende gatebelegg, trapper, forstøtningsmurer, utomhus- og hageanlegg, gangveier, terrasseringer, trapper, murer og andre konstruksjoner som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring bør skje ved bruk av tradisjonelle materialer og teknikker.
• Hageareal og verdifulle trær bør bevares.