Mandal er en av de eldste Sørlandsbyene, og allerede på 1300-tallet fikk stedet handelsrettigheter for laks av Erik av Pommern. Mandalselva ble regnet som den rikeste lakseelven i Norge, og området var i tillegg rikt på skog.
Da Kristian IV i 1641 anla Kristiansand var det bare tre ladesteder på Sørlandskysten. All eksport og import skulle gå over Kristiansand, bortsett fra trelasteksport fra de tre ladestedene Risør, Arendal og Mandal. Risør og Arendal fikk begge kjøpstadsrettigheter i 1723, mens Mandal måtte fortsette å basere sitt næringsgrunnlag på lessing og lossing av trelast, i tillegg til danske og innenlandske kornvarer. Etter at ladestedet fikk kommunalt selvstyre og eget formannskap ble det sendt forespørsel om kjøpstadsrettigheter i 1841, 1880 og 1881 uten hell.
Byen vokste sakte frem til midt på 1850-tallet og hadde da et innbyggertall på 2719. Bare ti år senere var tallet økt til 3842. En stor grunn til befolkningsveksten var anleggelsen av parafinfabrikk på Risøbank i 1861. Da man begynte å utvinne petroleum fra olje i stedet for kull, falt bunnen ut av byens industrieventyr. Arbeidsledigheten økte, og resultatet ble utvandring til Amerika.
På 1870-tallet tok skipsfarten seg opp igjen, men bare i noen år, for heller ikke Mandal klarte overgangen fra seil til damp, og skipsverftene klarte heller ikke overgangen fra trebåter til skip av jern og stål. Laksen, trelasten og de hvite seil var en saga blott. Utvandringen til Amerika fortsatte, og folketallet sank. Byens grenser som var fastsatt i 1846, utgjorde mindre enn 1,0 km². Flere ganger ble bygrensene forsøkt utvidet uten hell. I 1921 ble byen endelig kjøpstad og fikk utvidet sitt areal med drøyt 1,5 km².
Kulturmiljøet har en variert gatestruktur. I de eldste delene av sentrum er det kronglete gater med middelaldersk preg, bydelene Sanden og Støkkan har gater etter klassiske 1700-tallsprinsipper, mens Øvrebyen ble bygget etter bybrannen i 1810 og preges av brede gateløp. Bydelen Malmø øst for broen har beholdt sin selvgrodde struktur.
Store Elvegate var fra gammelt av hovedpulsåren i byen. Bebyggelsen var i hovedsak knyttet til denne gata og elvas løp. Heiene bak byen danner markante rygger i landskapet og avgrenser og definerer rommet hvor bebyggelsen kan finne plass. Den første bebyggelsen lå inn mot heiene og hadde hovedgata foran seg. Senere kom det bebyggelse også mot elva.
Trehusbebyggelsen fra 1700- og 1800-tallet er god bevart og består i hovedsak av ulike varianter av Mandalshuset, som er en hustype av tømmer eller reisverk, oppført i 1-2 etasjer, med saltak og ofte med liggende kledning. Bebyggelsen har også innslag av hus i sveitserstil.
Faglige råd for forvaltning
Generelle råd
De etterfølgende faglige rådene skal bidra til å ivareta kulturhistoriske og arkitektoniske verdier i forvaltningen av kulturmiljøet. Verneverdiene forutsettes ivaretatt av kommunen i deres plan- og byggesaksbehandling. Dette gjelder både hensyn til viktige enkeltbygg, kulturminner, grøntområder og kulturlag innenfor kulturmiljøet samt landskapsrelaterte og strukturelle sammenhenger.
Kommunen kan bruke rådene som bestemmelser i kommune-, område- eller detaljplaner. I det tilfelle kan det være hensiktsmessig at anbefalingen «bør» erstattes av «skal». Dette vil gjøre rådene juridisk bindende, og bidra til å sikre en god forvaltning av kulturmiljøverdiene.
Landskapsnivå
•Utbygging og utfylling av elv- og havneområder som visuelt og funksjonelt skiller den historiske byen fra elven bør unngås.
• Innenfor området bør eksisterende stedegen vegetasjon ivaretas.
• Tak bør vurderes som del av byens taklandskap og behandles som en del av tiltakets samlede arkitektoniske uttrykk. Ved eventuelle nybygg og ombygginger skal tekniske anlegg, som heisoppbygg og ventilasjonsanlegg m.m., integreres i den arkitektoniske utformingen.
• Ethvert tiltak innenfor kulturmiljøet bør ha gode visuelle kvaliteter både i seg selv, i forhold til tiltakets funksjon, og dets bygde og naturlige omgivelser og plassering.
Kulturmiljønivå
• Ved brann eller annen uopprettelig skade bør ny bebyggelse gjenoppbygges som rekonstruksjoner på dokumentert grunnlag.
• I tilstøtende randområder bør nye tiltak ikke redusere opplevelses- eller bruksverdien knyttet til det historiske bymiljøet.
• Utfylling av tomtearealer anses som uheldig tiltak som svekker lesbarheten og opplevelsen av det historiske bebyggelsesmønsteret.
• I området bør historiske bygningshøyder og gesimshøyder være førende for eventuelle nybygg. Den historiske bebyggelsens karakteristiske volum med skala og proporsjoner, samt plassering av bygninger bør videreføres ved nye tiltak.
• Eiendoms- og tomtestruktur bør gi føringer for den prinsipielle bebyggelsesstrukturen. Der den historiske tomtestrukturen slås sammen er det viktig at den uttrykker seg i fasadenes inndeling og rytme.
• Gater og smug bør ikke bygges igjen da dette vil forringe områdets historiske karakter og lesbarhet.
• Bebyggelsesmønsteret, torgene, og gatestrukturen er en viktig del av områdets historie og bør bevares og videreføres.
Objektnivå
• Ved vedlikehold og utbedring bør kulturhistoriske og arkitektoniske verdier som knytter seg til de historiske byggenes detaljer bevares, derav material- og fargebruk, dør- og vindusutforming og øvrige bygningsdetaljer.
• Riving av trehus bør unngås.
• Stedegen byggeskikk og håndverkstradisjon bør opprettholdes og videreføres ved eventuelle nye tiltak, herunder endringer, til-, på- og nybygg. Ved eventuell oppføring av tilbygg skal tilpasses eksisterende bebyggelse og underordnes denne.
• Der det er gjennomført uheldige tiltak som har svekket kulturmiljøets egenart bør det gjennomføres byreparasjon i form av tilbakeføring og gjenoppbygging som viderefører den lokale byggeskikken.
• Den historiske fargepaletten bør videreføres, eventuelt tilbakeføres på dokumentert grunnlag.
• Fortetting/nybygg innenfor området frarådes.
Elementnivå
• Eksisterende gatebelegg, gatemøblering og elementer som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring bør skje ved bruk av tradisjonelle materialer og teknikker.
• Nye elementer som gatemøblering, benker, belysningsarmatur, installasjoner, fontener og andre konstruksjoner bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Nytt gatebelegg, gatemøblering og elementer som innføres i området bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Tekniske innretninger, herunder også skilt og reklame, bør gis en diskret utforming og ha en plassering, materialbruk og fargevalg som harmonerer med områdets karakter.
• Eksisterende logoer og skilt av kulturhistorisk betydning bør sikres. Nye skilt bør utformes med utgangspunkt i områdets historie.
• Hageareal og verdifulle trær bør bevares.