Middelalderbyen Tunsberg vokste frem på 1000-tallet på grunnen til en jernaldergård. En hustuft, områder med pløyespor og graver fra vikingtid er funnet under middelalderens by. Restene av middelalderbyen under sentrale deler av dagens Tønsberg er et sammenhengende, automatisk fredet kulturminne.
Byområdet ligger i skråningen ned mot Byfjorden mellom Slottsfjellet i nord og Olavsklosteret i sør. I øst begrenses byområdet av Haugar med sine store gravhauger fra jernalderen. Til byen regnes også Oslobispens gård på Teie på Nøtterøysiden av Kanalen.
Vannivået i middelalderen var flere meter høyere enn i dag og sammen med utfyllinger vokste havnen og byområdet ut i etapper langs med strandlinjen. Med sin beskyttede havn var Tunsberg helt fra begynnelsen innrettet mot handel og sjøfart. Byfjorden var også samlingsplass for leidangen. Gjengrundingen av sundet mot Nøtterøy, skipspassasjen ut mot sør, ble avhjulpet i løpet av Håkon Håkonssons regjeringstid. En kanal ble gravet gjennom sundet – et unikt tiltak i norsk middelalder.
Byens fremvekst og utvikling var også avhengig av dens rolle innenfor kongelig administrasjon, religion, forsvar og retts¬hånd¬hevelse. Kirkelige og kongelige byggverk satte sitt preg på bymiljøet. Tingstedet på Haugar, der Haugating ble holdt, lå på en bakkekam bak byen. I nord ruvede “Berget” der borgen Tunsberghus ble oppført.
Inne i bebyggelsen dominerte kirkene. Tunsberg hadde tre sognekirker; Lavranskirken, Mariakirken og Peterskirken, to klostre; St. Olavsklosteret og fransiskanerklosteret og to hospitaler. Lengst i nord, under Slottsfjellet lå også en kongsgård og på andre siden kanalen lå bispegården på Teie. Av alle disse murbygninger kan i dag kun sees deler av ruinene av Tunsberghus, Kongsgården og Olavsklosteret.
Den alminnelige bebyggelsen i Tunsberg var hovedsakelig en- og to-etasjers laftehus. Bygårdene lå på lange tomter med gavlene mot vannet, langs med havnelinjen og de to parallelle langgatene. Restene av denne bebyggelsen ligger nå lag på lag, tett innpakket i ulike typer avfall og jordmasser som har samlet seg opp eller blitt påført gjennom tidene. Dette blir kalt “kulturlag” og forekommer i Tønsberg i tykkelser opp til over 5 meter. Jevn fuktighet og fravær av oksygen gjør at gjenstander av tre, lær, tekstil og bein kan bevares i disse lag.
Middelalderbyen ble ødelagt ved en brann i 1536.
Restene av middelalderbyen trues i dag av gravearbeider i forbindelse med forandringer i infrastrukturen og ved husbygging. En langsiktig trussel er senkningen av grunnvannsnivået. Dype grøfter og store byggegroper senker grunnvannet slik at kulturlagene tørker ut og restene av trehus og gjenstander blir ødelagt.