På begynnelsen av 1700-tallet startet utfyllingen mellom holmene i Arendal slik at blant annet Pollen ble landfast på denne tiden. Byen bestod av holmer omringet av kanaler frem til bybrannene som herjet på 1860-tallet. Der torget ligger i dag lå det en bukt som ble kalt Pollen. Derfra gikk det en kanal gjennom det som i dag er Havnegata og ned til dagens Pollen, som da ble kalt for Havnen.
I Havnen hadde mange av handelshusene pakkbodene sine. Der var det også tollbod og markedsplass. Torghandelen foregikk der Kirkegaten ligger i dag. Bryggene ut langs Langbryggen spilte også en viktig rolle i handelen. Her ble både fisk og landbruksprodukter distribuert til og fra båtene. Pollen var derfor et viktig knutepunkt som bandt sammen byen og distriktet.
Bybrannen i 1863 og 1868 resulterte i at det ble innført murtvang i 1868. Bygningsloven av 1845 foreskrev at bebyggelsen i byene skulle struktureres i kvartaler. Denne loven var i seg selv et viktig brannverntiltak. I tillegg førte byens økonomiske vekst med seg behovet for større byareal. Dette medførte at sentrum ble utvidet og gitt en kvartalsstruktur. Kanalene ble fylt igjen og byen ble i løpet av få år gjenreist i mur etter datidens stilideal i nyrenessanse. Arendal fikk etter dette et nytt bybilde som frem til da hadde vært preget av trehusbebyggelse. Dagens torg ble etablert og ble byens kommersielle sentrum.
Ved enden av Langbryggen kommer vi til Neset som ligger strategisk til med utsikt mot innseilingen til byen. Mot slutten av 1600-tallet bestemte kjøpmenn i Arendal seg for å bygge kanonbatterier for å danne et forsvarssystem mot inntrengere fra havet. På denne tiden var Arendal ladested under Kristiansand, og en viktig sjøfartsby. Danmark-Norge og Sverige var flere ganger i krig i løpet av 1600-1700-tallet, og kystbyene i Norge kunne bli utsatt for angrep. I 1700 startet Den store nordiske krig, og i 1704 ble kanonbatteriet Øvre Batteri satt opp på det strategiske punktet på Neset. Under unionene med Sverige forfalt batteriet. Men under 2. verdenskrig fikk neset igjen vist frem sin strategiske betydning, ved at den tyske marinen la til her og beleiret batteriet. Batteriet er i dag Arendals eldste forsvarsanlegg.
Langbryggen i øst og Kirkegata mot nord avgrenser havnebassenget, vannspeil og kaiområde danner et viktig byrom i Arendal. Den lineært strukturerte murbebyggelsen er i nord ordnet i kvartaler og langs langbryggen i en snorrett linje. Denne murgårdsbebyggelsen med sin jevne, sammenhengende høyde og rytmiske gjentagende inndeling er viktig for opplevelsen av byrommets skala i Pollen og virker samlende på byrommet som åpner seg mot sjøen i syd. De opprinnelige murgårdene oppført på slutten av 1800-tallet har særlig stor verdi for den historiske identiteten i byrommet.
Byen Arendal vokste frem som følge av stedets og distriktets naturlige forutsetninger, en god havn med kort avstand til kystleden, skogene i distriktene omkring og Nidelva som naturlig transportvei for tømmeret, samt rike jernmalmleier. Til å begynne med var næringsgrunnlaget eksport av trelast og import av korn. Etter hvert kom skipsfart, sagbruksdrift og generell varehandel. Fra 1574 ble det i en periode drevet jernverk i Barbu øst for byen. Området er rikt på jernmalm-gruver som ble drevet helt frem til 1970-tallet.
Byen ble opprinnelig bygget på syv holmer og ble omtalt som "Nordens Venedig". På slutten av 1600-tallet begynte man å fylle igjen de naturlige sundene, men disse var mange og brede. Bygningene ble liggende på holmer, dels på fyllinger/tømmerflåter med kanaler og smale gangveier og bruer mellom. Blant annet var det kanaler gjennom dagens Havnegate fra sør og Malmbrygga/Strandgate fra vest inn til Indre Poll, hvor Torvet ligger i dag. I 1933 fylles kanalen mellom Tyholmen og sentrum og i 1949 fylles Kittelsbukt igjen for å betjene biltrafikk, ny innfartsvei og parkering. Denne byformen og utviklingshistorien er spesiell i norsk sammenheng.
Arendal har opplevd fire bybranner, i 1798, 1840, 1863 og 1868. De to siste brannene førte til at byen totalt endret utseende. Etter brannen i 1863 ble brannområdet regulert etter rutenettmodellen med rette gater og firkantede kvartaler. Det nødvendiggjorde store sprengnings- og utfyllingsarbeider. Den sprengte massen ble sammen med brannrestene brukt til utfyllinger av terreng og kanaler, blant annet til dannelsen av dagens torv. Arbeidene i den nye bydelen var godt i gang da brannen i 1868 startet. Reguleringsplanen ble nå utvidet til også å omfatte branntomtarealene, og byen fikk den byplan som vi kjenner i dag. Arkitekter og håndverkere fra Norge, Skandinavia og Tyskland deltok i gjenoppbyggingsarbeidene.
Faglige råd for forvaltning
Generelle råd
De etterfølgende faglige rådene skal bidra til å ivareta kulturhistoriske og arkitektoniske verdier i forvaltningen av kulturmiljøet. Verneverdiene forutsettes ivaretatt av kommunen i deres plan- og byggesaksbehandling. Dette gjelder både hensyn til viktige enkeltbygg, kulturminner, grøntområder og kulturlag innenfor kulturmiljøet samt landskapsrelaterte og strukturelle sammenhenger.
Kommunen kan bruke rådene som bestemmelser i kommune-, område- eller detaljplaner. I det tilfelle kan det være hensiktsmessig at anbefalingen «bør» erstattes av «skal». Dette vil gjøre rådene juridisk bindende, og bidra til å sikre en god forvaltning av kulturmiljøverdiene.
Landskapsnivå
•Utbygging og utfylling av sjø- og havneområder som visuelt og funksjonelt skiller den historiske byen fra sjøen bør unngås.
• Karakteriserende elementer som kaifronter og eventuelle rester av kanaler bør ivaretas.
• Gateløp som er åpne mot sjøen bør ikke lukkes igjen.
• Tak bør vurderes som del av byens taklandskap og behandles som en del av tiltakets samlede arkitektoniske uttrykk. Ved eventuelle nybygg og ombygginger bør tekniske anlegg, som heisoppbygg og ventilasjonsanlegg m.m., integreres i den arkitektoniske utformingen.
• Ethvert tiltak innenfor kulturmiljøet bør ha gode visuelle kvaliteter både i seg selv, i forhold til tiltakets funksjon, og dets bygde og naturlige omgivelser og plassering.
Kulturmiljønivå
• Ved brann eller annen uopprettelig skade bør ny bebyggelse gjenoppbygges som rekonstruksjoner på dokumentert grunnlag.
• I tilstøtende randområder bør nye tiltak ikke redusere opplevelses- eller bruksverdien knyttet til det historiske bymiljøet.
• I området bør historiske bygningshøyder og gesimshøyder være førende for eventuelle nybygg. Den historiske bebyggelsens karakteristiske volum med skala og proporsjoner, samt plassering av bygninger bør videreføres ved nye tiltak.
• Eksisterende bebyggelsesmønster bør opprettholdes.
• Gater og smug bør ikke bygges igjen da dette vil forringe områdets historiske karakter og lesbarhet.
• Bebyggelsesmønsteret, torgene, og gatestrukturen er en viktig del av områdets historie og bør bevares og videreføres.
Objektnivå
• Ved vedlikehold og utbedring bør kulturhistoriske og arkitektoniske verdier som knytter seg til de historiske byggenes detaljer bevares, derav material- og fargebruk, dør- og vindusutforming og øvrige bygningsdetaljer. Originale bygningsdeler bør bevares, dersom disse er tapt bør de rekonstrueres etter historiske forbilder.
• Stedegen byggeskikk og håndverkstradisjon bør opprettholdes og videreføres ved eventuelle nye tiltak, herunder endringer, til-, på- og nybygg. Ved eventuell oppføring av tilbygg bør det tilpasses eksisterende bebyggelse og underordnes denne.
• Den historiske fargepaletten bør videreføres, eventuelt tilbakeføres på dokumentert grunnlag.
Elementnivå
• Eksisterende gatebelegg, gatemøblering og elementer som er karakteristiske for området bør bevares eller tilbakeføres.
• Nytt gatebelegg, gatemøblering og elementer som innføres i området bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Tekniske innretninger, herunder også skilt og reklame, bør gis en diskret utforming og ha en plassering, materialbruk og fargevalg som harmonerer med områdets karakter.
• Eksisterende logoer og skilt av kulturhistorisk betydning bør sikres. Nye skilt bør utformes med utgangspunkt i områdets historie.
• Karakteriserende elementer som kaifronter og eventuelle rester av kanaler bør ivaretas.
• Eksisterende gatebelegg, trapper, forstøtningsmurer, utomhus-/ hageanlegg, gangveier, terrasseringer, trapper, murer og andre konstruksjoner som er karakteristiske for området bør bevares eller tilbakeføres.
• Hageareal og verdifulle trær bør bevares.