På høsten 1881 kom jernbanen til Sandefjord. Stasjonen ble lagt på ”presteraet” utenfor byen, ja så langt på utsiden at innbyggerne klaget. Året etter bygde derfor jernbanestyret Stasjonsveien, senere Jernbanealleen, uten utgift for byen.
Sandefjord har opplevd bybranner i 1882, 1900, 1915 og 1922. I 1882 opplevde Sandefjord sin første bybrann, da bebyggelsen rundt Øvre Torv ble flammenes rov. Byen besto på den tiden bare av trehus. Etter brannen ble byens første murbygning oppført i Storgata, denne ble for øvrig ødelagt i bybrannen i 1915.
Den største bybrannen fant sted i 1900 da byens sentrale forretningsstrøk ble berørt, og 51 hus ble lagt i aske. Blant de nedbrente bygg var middelskolen og byens kirke. Denne brannen førte til at byen for første gang fikk en gjennomarbeidet overordnet reguleringsplan.
Fredrik Næser fra Løten ble ansatt som midlertidig reguleringssjef. Bare Storgata, Skippergata og Bjerggata hadde overlevd brannen. Lite var igjen av trebyen i sentrum, og i reguleringen ble det innført murtvang av hensyn til brannsikkerhet. Bebyggelsen ble høyere enn den tidligere hadde vært, med to til tre etasjer høyde. Gatenettet ble lagt om til tilnærmet rutenettmønster med rektangulære kvartaler og Kongens gate som sentral forretningsgate. Nye gater kom til og nye gatenavn erstattet de gamle.
Reguleringen var offentlig, men utformingen var overlatt til det private initiativ. Det førte til at en mengde utenbys arkitekter og murmestere fant arbeid i byen, og bebyggelsen ble reist raskt. Den nye bebyggelsen fikk hovedsakelig historismens uttrykk, meno Jugendstilen satte også sitt preg på byen. Kun kirken og brannstasjon ble oppført av de offentlige. Byens nye kirke i mur ble innviet i 1903.
Nye branner fulgte i 1915 (begge sider av Storgata) og i 1922 (øst for Torvet). Den første brannen førte til at Kongens gate kunne rettes ut. For øvrig er sentrumsområdet bevart i en relativt helhetlig stil, hvor de ulike bygningene har lik byggehøyde og volum.