Tyholmen var omkranset av vann på alle kanter og ble derfor ikke rammet av noen av bybrannene på 17- og 1800-tallet og den gamle trehusbebyggelsen er stort sett bevart. Nede ved sjøen bygget rike handelsmenn sine boliger og pakkboder. Både de store husene, enten de ligger som blikkfang mot sjøen eller i de mer selvgrodde gatestrukturene lenger inne, viser et tverrsnitt av bebyggelse og sosiale strukturer i en småby på 17-og 1800-tallet. Helt øverst på Tyholmen kneiser Den høyere skole, tegnet av Wilhelm von Hanno i 1881. Arendal kirke har helt fra 1670 ligget i samme område. Den første Y-formete kirken ble i 1832 revet for å gi plass til en åttekantet kirke som sto ferdig fire år senere. Nåværende nygotiske Trefoldighetskirke ble oppført i 1885-88 i tegl, tegnet av Chr. Fürst. Kirken har 1200 sitteplasser. Tårnet er over 80 m høyt. Begge bygningene er spesielt markante på Tyholmen og i Arendals bysilhuett.
Byen Arendal vokste frem som følge av stedets og distriktets naturlige forutsetninger, en god havn med kort avstand til kystleden, skogene i distriktene omkring og Nidelva som naturlig transportvei for tømmeret, samt rike jernmalmleier. Til å begynne med var næringsgrunnlaget eksport av trelast og import av korn. Etter hvert kom skipsfart, sagbruksdrift og generell varehandel. Fra 1574 ble det i en periode drevet jernverk i Barbu øst for byen. Området er rikt på jernmalm-gruver som ble drevet helt frem til 1970-tallet.
Byen ble opprinnelig bygget på syv holmer og ble omtalt som "Nordens Venedig". På slutten av 1600-tallet begynte man å fylle igjen de naturlige sundene, men disse var mange og brede. Bygningene ble liggende på holmer, dels på fyllinger/tømmerflåter med kanaler og smale gangveier og bruer mellom. Blant annet var det kanaler gjennom dagens Havnegate fra sør og Malmbrygga/Strandgate fra vest inn til Indre Poll, hvor Torvet ligger i dag. I 1933 fylles kanalen mellom Tyholmen og sentrum og i 1949 fylles Kittelsbukt igjen for å betjene biltrafikk, ny innfartsvei og parkering. Denne byformen og utviklingshistorien er spesiell i norsk sammenheng.
Bygninger for de store handelshusene lå side om side med store pakkboder, oppført i 3-4 lave etasjer. Mange av de velstående kjøpmenn og redere utstyrte sine bygninger med valmtak, med malt ytre panel og staselige portaler i de rådende stilarter. I områdene bakenfor lå mindre bolighus for skippere, høkere og håndverkere, ofte i 1 ½ -2 etasje, omkranset av små hager. Arbeidere ved sagbruk og florer bodde i små hus eller til leie helt i utkanten eller utenfor bygrensa.
Arendal har opplevd fire bybranner, i 1798, 1840, 1863 og 1868. Det var de sentrale områdene som brant, store bygårder i tre med pakkboder, men også mindre bygninger. Noen steder ble rammet av brann flere ganger. Tyholmen og enkelthus omgitt av kanaler ble spart. Men bygningene var forsikret og da dette skjedde i byens velstandsperiode ble alle husene gjenoppført. Etter den siste brannen ble det innført murtvang i midtbyen.
De to siste brannene førte til at byen totalt endret utseende. Etter brannen i 1863 ble brannområdet regulert etter rutenettmodellen med rette gater og firkantede kvartaler. Det nødvendiggjorde store sprengnings- og utfyllingsarbeider. Den sprengte massen ble sammen med brannrestene brukt til utfyllinger av terreng og kanaler, blant annet til dannelsen av dagens torv. Arbeidene i den nye bydelen var godt i gang da brannen i 1868 startet. Reguleringsplanen ble nå utvidet til også å omfatte branntomtarealene, og byen fikk den byplan som vi kjenner i dag. Arkitekter og håndverkere fra Norge, Skandinavia og Tyskland deltok i gjenoppbyggingsarbeidene.
Faglige råd for forvaltning
Generelle råd
De etterfølgende faglige rådene skal bidra til å ivareta kulturhistoriske og arkitektoniske verdier i forvaltningen av kulturmiljøet. Verneverdiene forutsettes ivaretatt av kommunen i deres plan- og byggesaksbehandling. Dette gjelder både hensyn til viktige enkeltbygg, kulturminner, grøntområder og kulturlag innenfor kulturmiljøet samt landskapsrelaterte og strukturelle sammenhenger.
Kommunen kan bruke rådene som bestemmelser i kommune-, område- eller detaljplaner. I det tilfelle kan det være hensiktsmessig at anbefalingen «bør» erstattes av «skal». Dette vil gjøre rådene juridisk bindende, og bidra til å sikre en god forvaltning av kulturmiljøverdiene.
Landskapsnivå
•Utbygging og utfylling av sjø- og havneområder bør unngås.
• Karakteriserende elementer som kaifronter og eventuelle rester av kanaler bør ivaretas.
• Gateløp som er åpne mot sjøen bør ikke lukkes igjen.
• Landemerker som er karakteriserende for bysilhuetten, som Den høyere skole og Arendal kirke, bør ivaretas.
• Innen området bør terreng og vegetasjon bevares ivaretas.
• Tak bør vurderes som del av byens taklandskap og behandles som en del av tiltakets samlede arkitektoniske uttrykk. Ved eventuelle nybygg og ombygginger bør tekniske anlegg, som heisoppbygg og ventilasjonsanlegg m.m., integreres i den arkitektoniske utformingen.
• Ethvert tiltak innenfor kulturmiljøet bør ha gode visuelle kvaliteter både i seg selv, i forhold til tiltakets funksjon, og dets bygde og naturlige omgivelser og plassering.
Kulturmiljønivå
• I tilstøtende randområder bør nye tiltak ikke redusere opplevelses- eller bruksverdien knyttet til det historiske bymiljøet.
• I området bør historiske bygningshøyder og gesimshøyder være førende for eventuelle nybygg. Den historiske bebyggelsens karakteristiske volum med skala og proporsjoner, samt plassering av bygninger bør videreføres ved nye tiltak.
• Gater og smug bør ikke bygges igjen da dette vil forringe områdets historiske karakter og lesbarhet.
• Bebyggelsesmønsteret, plasser, og gatestrukturen er en viktig del av områdets historie og bør bevares og videreføres.
Objektnivå
• Ved vedlikehold og utbedring bør kulturhistoriske og arkitektoniske verdier som knytter seg til de historiske byggenes detaljer bevares, derav material- og fargebruk, dør- og vindusutforming og øvrige bygningsdetaljer. Originale bygningsdeler bør bevares, dersom disse er tapt bør de rekonstrueres etter historiske forbilder.
• Stedegen byggeskikk og håndverkstradisjon bør opprettholdes og videreføres ved eventuelle nye tiltak, herunder endringer, til-, på- og nybygg. Ved eventuell oppføring av tilbygg bør det tilpasses eksisterende bebyggelse og underordnes denne.
• Den historiske fargepaletten bør videreføres, eventuelt tilbakeføres på dokumentert grunnlag.
Elementnivå
• Eksisterende gatebelegg, gatemøblering og elementer som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring bør skje ved bruk av tradisjonelle materialer og teknikker.
• Nytt gatebelegg, gatemøblering og elementer som innføres i området bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Tekniske innretninger, herunder også skilt og reklame, bør gis en diskret utforming og ha en plassering, materialbruk og fargevalg som harmonerer med områdets karakter.
• Eksisterende logoer og skilt av kulturhistorisk betydning bør sikres. Nye skilt bør utformes med utgangspunkt i områdets historie.
• Karakteriserende elementer som kaifronter og eventuelle rester av kanaler bør ivaretas.
• Eksisterende gatebelegg, trapper, forstøtningsmurer, utomhus-/ hageanlegg, gangveier, terrasseringer, trapper, murer og andre konstruksjoner som er karakteristiske for området bør bevares eller tilbakeføres.
• Hageareal og verdifulle trær bør bevares.