Kulturmiljøet i Tønsberg sentrum er rikt og mangfoldig. Det er spor etter bosetting fra forhistorisk tid og middelalderen som tingstedet på Haugar, Kongsgården, Olavskirken og Borgruinene og kulturlandskapet på slottsfjellet.
Kongsgårdsanlegget og borgen på berget lå lengst nord i byen. Lengst syd i byen lå Olavsklosteret. Hovedgaten Strete strakte seg fra kongsgården til dette klosteret som en midtakse gjennom byens sentrum. Kirkene Lavrans, Maria og Peter ble bygget i utkanten av bebyggelsen på øversiden av Strete. Forbindelsen mellom langgatene og bryggene ble opprettholdt av allmenninger og veiter. Olavsklosteret og Gråbrødrenes kloster avsluttet bebyggelsen mot syd og øst. I nordøst lå smiebodene og gården Myra som randbebyggelse øst for Peterskirken.
Middelalderbyen hadde trolig en befolkning på ca. 1000 innbyggere. Bymarken – Takmarken omfattet største delen av Tønsberg-halvøya, en del av Teie og Kjelle, samt store arealer av Byfjorden
Gatenettet i byen domineres av tre gater som går parallelt med strandlinja; Øvre Langgate, Storgata (tidligere Store Langgate) og Nedre Langgate. På tvers av disse langgatene går smalere gater fra havna og innover i bebyggelsen. Mønstret var vanlig i middelalderen. Vi finner det bl.a. igjen i Bergen med sine streter og veiter. Til Nedre Langgate lå i middelalderen sjøbodene og bryggene.
Byens fasade mot sjøen besto av en tett rekke med sjøboder, noe større mellomrom mellom disse nord i byen. I oktober 1858 ble byen rammet av et stort jordskred nord i byen som tok med seg sjøboder og våningshus. Nye skred fulgte, det første allerede noen dager etter det første – det siste i februar året etter da deler av Nordbygata forsvant. Jordskredet endret kystlinja slik at det dannet seg en bukt, og nord for denne en lang smal odde. Ytterst på denne odden ble det 1867 bygd et badehus for strøm-, hav- og dampbad. Stort sett ble havnas gamle uttrykk beholdt til rundt 1880.
Sentrums bystruktur er fremdeles middelaldersk. Etter lov om bygningsvesenet av 1845 fikk byen sin reguleringskommisjon i 1847, som så bestemte grensene for sin virksomhet. Det første som ble bestemt var de ulike gatenes fremtidige bredder, men kommisjonen bemerket at fullstendig regulering bare kunne finne sted når større strekninger eller kvartaler skulle ombygges. Og da byen ikke ble utsatt for en større bybrann, som nok ville ha endret gatemønsteret; ligger fremdeles middelalderens gatestruktur i bunnen av dagens gatenett, riktignok med en del endringer.
Etter 1814 var det, bortsett fra Mariakirken, knapt synlige spor av byens middelalderbygninger. På grunn av at kirka lå halvveis ut på dagens torv og var omgitt av kirkegård, var det bare en smal stripe mellom Øvre Langgate og Langgata (dagens Storgate) som var torv. Etter en brann i 1822 ble det planlagt å sløyfe kirkegården og legge arealet ut til torv. Det skjedde i 1833. Mariakirken ble revet i 1864.
Den lange tvisten om rivningen av kirka førte til at det tok lengre tid å fullføre byggingen av rådhuset og fengselet på torvet. Bygningene sto ferdig i 1867. Mellom rådhuset og Storgata ble det oppført en basarbygning i 2 etasjer. På den andre siden av rådhuset (mot Øvre Langgate) ble brannstasjonen oppført og sto ferdig i 1885.
Tønsbergs middelalderspor er fremdeles synlig, og gir mangfold til bybildet. Byen har ingen bevarte bygninger fra middelalderen, men har mange ruiner; Ruinparken etter Tunsberghus på Slottsfjellet, restene av Olavsklosteret (synlig inne i byens nye bibliotek) og ruinene av Nordens største rundkirke i en bakgård til Storgata.