Risør ble lenge kalt Øster-Riisøer, og lå ytterst mot skipsleia og hadde en strategisk god beliggenhet. Stedet ble nevnt som strandsted i 1607. Allerede i 1630 fikk byen egen toller og ble ladested under Skien. I 1723 ble Risør kjøpstad og senere bykommune i 1837.
På 1600- og 1700-tallet vokste bebyggelsen rundt Indre havn. De store patrisierhusene ble bygget på Solsiden, mens den øvrige bebyggelsen kom på vestsiden av havna langs Strandgata og på Tangen. Området Tangen og Kamperhaugen hadde mindre hus for småkjøpmenn, håndverkere og sjøfolk. Rundt kirka, som ble oppført i 1647, ble det bygget en del store bygninger mot slutten av 1700-tallet.
Trelasthandelen hadde stor betydning for byen. Rundt 1830 lå det 30 større og mindre sagbruk i distriktet innenfor. Eksporten tredoblet seg rundt 1850 og lå årlig mellom 100 og 150 skipslaster frem mot 1. verdenskrig. Byen hadde i 1865 93 skip med et mannskap på 962. Med skipsfarten fulgte naturlig også skipsbyggingsindustri. I distriktet ble det registrert hele 52 skips- og båtbyggerier. Toppen ble nådd i 1875 da man hadde hele 20 skip under bygging.
Risør opplevde sin første bybrann i 1716, og 70 bygninger brant da ned til grunnen. Den neste kom i 1861, og tre fjerdedeler av bebyggelsen (248 bygninger) gikk tapt. Byen hadde på dette tidspunktet en selvgrodd struktur med smale gater (2-4 meter brede) og hus av tre. Området rundt kirka, noen hus på Kamperhaugen og på Tangen ble berget.
Da man i 1845 hadde fått en bygningslov som omfattet alle kjøpsteder og ladesteder, ble det utarbeidet en ny reguleringsplan for byen som innebar ny gatestruktur, nytt bebyggelsesmønster og nye eiendomsgrenser. Den gamle hovedinnfartsåren til byen over Tjenna ble flyttet til en ny og utvidet Krags gate, torvet ble flyttet ned til havna og byens gater ble rettet ut og gjort betydelig bredere. Gjenoppbyggingen etter brannen i 1861 skjedde raskt og i tråd med den nye bygningsloven. Ingen bygninger kunne etter loven være i mer enn to etasjer. De nye bygningene ble bygget i sen-empire stil med hel- eller halvvalmet tak.
Etter at byen ble gjenoppbygget har det skjedd svært lite nybygging. De bygningene som ble oppført på ledige tomter i 1870-1880-årene fikk sveitserstilens preg med lange takutstikk, høye krysspostvinduer og rike dekorasjoner. Da Risør stagnerte økonomisk på begynnelsen av det 20. århundre ble det også bygget lite nytt. Etterkrigstidens boligutbygging ble lagt til heiene utenfor sentrum, og sentrum har dermed beholdt sin identitet og sitt preg fra 1800-tallet.
Tangen, Kamperhaug og området rundt kirken gir oss et innblikk i den uregulerte, selvgrodde byen med bebyggelse fra 1600-, 1700- og første halvdel av 1800-tallet.
Faglige råd for forvaltning
Generelle råd
De etterfølgende faglige rådene skal bidra til å ivareta kulturhistoriske og arkitektoniske verdier i forvaltningen av kulturmiljøet. Verneverdiene forutsettes ivaretatt av kommunen i deres plan- og byggesaksbehandling. Dette gjelder både hensyn til viktige enkeltbygg, kulturminner, grøntområder og kulturlag innenfor kulturmiljøet samt landskapsrelaterte og strukturelle sammenhenger.
Kommunen kan bruke rådene som bestemmelser i kommune-, område- eller detaljplaner. I det tilfelle kan det være hensiktsmessig at anbefalingen «bør» erstattes av «skal». Dette vil gjøre rådene juridisk bindende, og bidra til å sikre en god forvaltning av kulturmiljøverdiene.
Landskapsnivå
•Utbygging og utfylling av sjø- og havneområder som visuelt og funksjonelt skiller den historiske byen fra sjøen bør unngås.
• Gateløp som er åpne mot sjøen bør ikke lukkes igjen.
• Høydedrag med vegetasjon bør bevares. Det bør ikke foretas planering, graving eller fylling.
• Innen området skal terreng og vegetasjon bevares, og eksisterende naturtyper skal ivaretas.
• Tak bør vurderes som del av byens taklandskap og behandles som en del av tiltakets samlede arkitektoniske uttrykk. Ved eventuelle nybygg og ombygginger bør tekniske anlegg, som heisoppbygg og ventilasjonsanlegg m.m., integreres i den arkitektoniske utformingen.
• Landemerker som er karakteriserende for bysilhuetten bør ivaretas.
• Ethvert tiltak innenfor kulturmiljøet børha gode visuelle kvaliteter både i seg selv, i forhold til tiltakets funksjon, og dets bygde og naturlige omgivelser og plassering.
Kulturmiljønivå
• Ved brann eller annen uopprettelig skade bør ny bebyggelse gjenoppbygges som rekonstruksjoner på dokumentert grunnlag.
• I tilstøtende randområder bør nye tiltak ikke redusere opplevelses- eller bruksverdien knyttet til det historiske bymiljøet.
• Utfylling av tomtearealer anses som uheldig tiltak som svekker lesbarheten og opplevelsen av det historiske bebyggelsesmønsteret.
• I området bør historiske bygningshøyder og gesimshøyder være førende for eventuelle nybygg. Den historiske bebyggelsens karakteristiske volum med skala og proporsjoner, samt plassering av bygninger skal videreføres ved nye tiltak.
• Eksisterende bebyggelsesmønster bør opprettholdes.
• Eiendoms- og tomtestruktur bør gi føringer for den prinsipielle bebyggelsesstrukturen. Der den historiske tomtestrukturen slås sammen er det viktig at den uttrykker seg i fasadenes inndeling og rytme.
• Gater og smug bør ikke bygges igjen da dette vil forringe områdets historiske karakter og lesbarhet.
• Bebyggelsesmønsteret, torgene, og gatestrukturen er en viktig del av områdets historie og bør bevares og videreføres.
Objektnivå
• Ved brann eller annen uopprettelig skade bør bygninger gjenoppbygges som rekonstruksjon på dokumentert grunnlag.
• Ved vedlikehold og utbedring bør kulturhistoriske og arkitektoniske verdier som knytter seg til de historiske byggenes detaljer bevares, derav material- og fargebruk, dør- og vindusutforming og øvrige bygningsdetaljer. Originale bygningsdeler bør bevares, dersom disse er tapt skal de rekonstrueres etter historiske forbilder.
• Stedegen byggeskikk og håndverkstradisjon bør opprettholdes og videreføres ved eventuelle nye tiltak, herunder endringer, til-, på- og nybygg. Ved eventuell oppføring av tilbygg bør tilpasses eksisterende bebyggelse og underordnes denne.
• Der det er gjennomført uheldige tiltak som har svekket kulturmiljøets egenart bør det gjennomføres byreparasjon i form av tilbakeføring og gjenoppbygging som viderefører den lokale byggeskikken.
• Den historiske fargepaletten bør videreføres, eventuelt tilbakeføres på dokumentert grunnlag.
• Fortetting/nybygg innenfor området frarådes.
Elementnivå
• Eksisterende gatebelegg, gatemøblering og elementer som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring skal skje ved bruk av tradisjonelle materialer og teknikker.
• Nytt gatebelegg, gatemøblering og elementer som innføres i området bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Tekniske innretninger, herunder også skilt og reklame, bør gis en diskret utforming og ha en plassering, materialbruk og fargevalg som harmonerer med områdets karakter.
• Eksisterende logoer og skilt av kulturhistorisk betydning bør sikres. Nye skilt skal utformes med utgangspunkt i områdets historie.
• Karakteriserende elementer som kaifronter bør ivaretas.
• Eksisterende gatebelegg, trapper, forstøtningsmurer, utomhus-/ hageanlegg, gangveier, terrasseringer, trapper, murer og andre konstruksjoner som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring bør skje ved bruk av tradisjonelle materialer og teknikker.
• Hageareal og verdifulle trær bør bevares.