Tollerodden har sin historie knyttet til tollvesen, skipsfart og handel. Da Larvik ble kjøpstad, i 1671, ble tollervirksomheten på Tollerodden viktig. På begynnelsen av 1700-tallet, da de viktigste bystrukturene var etablert, var Tollerodden kjernepunktet i byen.
Med utgangspunkt fra Tollerodden ble det etablert bebyggelse mot sjøen og inn mot Bøkkerberget, med Prinsens gate som forbindelse mellom havneområdet og byen lenger inne. Et langstrakt torv markerte avslutninga på Prinsens gate. Siste bit i denne strukturen var Kongeveien ned fra Bøkeskogen og inn bak torvet, for så å fortsette videre sydover mot Farriselva (dagens Kongegata). Krysningspunktet med elva var nært utløpet, og så fortsatte veien gjennom Langestrand mot Eidet.
I 1671 ble Laurvig grevskap opprettet. Herregården, bygget for stattholder og greve Fredrik Gyldenløvesto ferdig i 1677. I dag er anlegget administrasjonssete for Larviksmuseene. Larvik Hospital ble bygget 1657-60 og byen fikk sin kirke i 1677. På Tollerodden ligger også den Gamle Tollbod, byens første murbygning fra 1730, i dag museum over båtbyggeren Colin Archer og vitenskapsmann og forsker Tor Heyerdal. Her ligger også Colin Archers hus hvor han bodde og anla skipsverft nord for huset inn mot havnebassenget.
I 1820 overtok kommunen herregården etter at grevskapet i 1805 først kom under kronen og i 1817 ble oppkjøpt av lokale interesser. Derved fikk kommunen hånd om store arealer som ville dekke behovet for tomter til offentlige formål i lang tid fremover.
Tollerodden er i dag park og badeområde med mange interessante bygninger. I interesseområdet inngår også strandområdet under Bøkkerfjellet og bebyggelsen langs Storgata. I kvartalet øst for Bøkkerbakken finner vi terrasserte haver i bakkant av bebyggelsen langs Storgata.