Åsgårdstrand er et selvgrodd tettsted med smale gater og en idyllisk, hvitmalt bebyggelse i grønne omgivelser. Gatene har blitt anlagt der det har vært behov for dem, og de har truffet hverandre tilsynelatende tilfeldig. Det har ført til plassdannelser med noe tilfeldig preg.
Fra Tønsberg gikk veien til Åsgårdstrand via Eik, gata kalles Stangs gate inne i bebyggelsen. Ved Thaulows plass treffer den Bakkegata og fortsetter frem til torvet. Fra Horten tar veien ned til Åsgårdstrand av fra hovedveien ved Kjær og fører ned til torvet. I tettbebyggelsen heter veien Grevens gate. Ved torvet går den sammen med Bakkegata. Langs torgets nordside fører H. C. Nielsens gate ned til havna og videre mot Tønsberg via Slagenstangen. Parallelt med H. C. Nielsens gate og nord for denne går Havnegate fra Munchs gate ned til havna mellom Kiøsterudgården og det tidligere Grand hotell.
Deler av bebyggelsen, slik vi ser den i dag, oppsto rundt år 1800 i Louis XVI stil, men i enklere former. Husene har enkle fasader i hvitmalt trepanel, men detaljene røper stiltilhørigheten. Hoveddører prydet med tannsnitt, girlander og meanderbånd er rammet inn med riflete pilaster og kapiteler med akantusblad. Vindu over døren gir dagslys til entreen. Fra midten av 1800-tallet kom sveitserstilen til å endre noen av bygningene gjennom nye detaljer i på- og ombygginger.
Fra sjøen var bybildet preget av de tre ”søstergårdene”: Grand hotell, Kiøsterudgården og Skovdahls hus, med sine store ubrutte takflater og pipe på mønet. Gamle Grand hotell som var sentrum i sommertrafikken brant i mai 1930. Også kaptein Solbergs gård, bak Kiøsterudgården, hører til de store tregårdene i sentrum, men er som rådhus betydelig ombygget. I dag er det bare Kiøsterudgården, bygget i 1780-årene, som klarest viser det originale fasadeuttrykket. Huset er naturlig nok mest kjent fordi det er motiv i et av Edvard Munchs mest berømte bilder.