På 1500-tallet utviklet Flekkefjord seg som utskipingshavn for tømmereksport til Holland, og stedet fikk status som ladested under Kristiansand i 1660.
På 1700-tallet ble Flekkefjord den viktigste eksporthavnen for sild på Sørlandet. Samtidig begynte hollenderne å hente gråstein til sine diker, brygger og gater. Befolkningstallet økte jevnt utover århundret, blant annet av håndverkere fra regionene rundt, som bygde hus og små verksteder bak handelshusene langs elva. Ved siden av skipsfart og skipsbygging, var sildefisket og garverivirksomhet de viktigste næringsveiene for byen på 1800-tallet.
Flekkefjord er omgitt av vann på tre kanter og en bratt fjellside på den fjerde. Byen er selvgrodd, men er likevel strukturert og inndelt i kvartaler. Mange av gatene er trange og klart bygget for hest og kjerretransport. Kulturmiljøet domineres av empirestilen, og har i likhet med andre Sørlandsbyer blitt hvitmalt i senere tid.
Bygningsmiljøet Hollenderbyen utgjør en betydelig del av Flekkefjord sentrum, og er en viktig del av byen arkitekturhistorie. Bydelen vokste frem på 1600- og 1700-tallet da handelen med Holland blomstret. Opprinnelig var hovedadkomsten til bydelen fra sjøen. Nærmest Elva lå kjøpmennenes sjøboder, mens våningshusene lå ut mot gata. Lengre inn holdt kjøpmenn og håndverkere til.
Bebyggelsen i Hollenderbyen består i dag hovedsakelig av bygninger fra 1700- og 1800-tallet. Gatestrukturen er i liten grad endret og bydelen preges av trange gater og god bevarte småhus, nedreskifertak og med innslag av noen få bevarte sjøboder.
Faglige råd for forvaltningen
Generelle råd
De etterfølgende faglige rådene skal bidra til å ivareta kulturhistoriske og arkitektoniske verdier i forvaltningen av kulturmiljøet. Verneverdiene forutsettes ivaretatt av kommunen i deres plan- og byggesaksbehandling. Dette gjelder både hensyn til viktige enkeltbygg, kulturminner, grøntområder og kulturlag innenfor kulturmiljøet samt landskapsrelaterte og strukturelle sammenhenger.
Kommunen kan bruke rådene som bestemmelser i kommune-, område- eller detaljplaner. I det tilfelle kan det være hensiktsmessig at anbefalingen «bør» erstattes av «skal». Dette vil gjøre rådene juridisk bindende, og bidra til å sikre en god forvaltning av kulturmiljøverdiene.
Landskapsnivå
•Utbygging og utfylling av sjø- og havneområder som visuelt og funksjonelt skiller den historiske byen fra sjøen bør unngås.
• Gateløp som er åpne mot sjøen bør ikke lukkes igjen.
• Innenfor området bør eksisterende stedegen vegetasjon ivaretas.
• Tak bør vurderes som del av byens taklandskap og behandles som en del av tiltakets samlede arkitektoniske uttrykk. Ved eventuelle nybygg og ombygginger bør tekniske anlegg, som heisoppbygg og ventilasjonsanlegg m.m., integreres i den arkitektoniske utformingen.
• Ethvert tiltak innenfor kulturmiljøet bør ha gode visuelle kvaliteter både i seg selv, i forhold til tiltakets funksjon, og dets bygde og naturlige omgivelser og plassering.
Kulturmiljønivå
• Ved brann eller annen uopprettelig skade bør ny bebyggelse gjenoppbygges som rekonstruksjoner på dokumentert grunnlag.
• I tilstøtende randområder bør nye tiltak ikke redusere opplevelses- eller bruksverdien knyttet til det historiske bymiljøet.
• Utfylling av tomtearealer anses som uheldig tiltak som svekker lesbarheten og opplevelsen av det historiske bebyggelsesmønsteret.
• I området bør historiske bygningshøyder og gesimshøyder være førende for eventuelle nybygg. Den historiske bebyggelsens karakteristiske volum med skala og proporsjoner, samt plassering av bygninger bør videreføres ved nye tiltak.
• Eksisterende bebyggelsesmønster bør opprettholdes.
• Gater og smug bør ikke bygges igjen da dette vil forringe områdets historiske karakter og lesbarhet.
• Bebyggelsesmønsteret, torgene, og gatestrukturen er en viktig del av områdets historie og bør bevares og videreføres.
Objektnivå
• Ved brann eller annen uopprettelig skade bør bygninger gjenoppbygges som rekonstruksjon på dokumentert grunnlag.
• Ved vedlikehold og utbedring bør kulturhistoriske og arkitektoniske verdier som knytter seg til de historiske byggenes detaljer bevares, derav material- og fargebruk, dør- og vindusutforming og øvrige bygningsdetaljer. Originale bygningsdeler bør bevares, dersom disse er tapt skal de rekonstrueres etter historiske forbilder.
• Riving av trehus bør unngås.
• Stedegen byggeskikk og håndverkstradisjon bør opprettholdes og videreføres ved eventuelle nye tiltak, herunder endringer, til-, på- og nybygg. Ved eventuell oppføring av tilbygg bør tilpasses eksisterende bebyggelse og underordnes denne.
• Der det er gjennomført uheldige tiltak som har svekket kulturmiljøets egenart bør det gjennomføres byreparasjon i form av tilbakeføring og gjenoppbygging som viderefører den lokale byggeskikken.
• Den historiske fargepaletten bør videreføres, eventuelt tilbakeføres på dokumentert grunnlag.
Elementnivå
• Eksisterende gatebelegg, gatemøblering og elementer som er karakteristiske for området bør bevares eller tilbakeføres. Utbedring skal skje ved bruk av tradisjonelle materialer og teknikker.
• Nytt gatebelegg, gatemøblering og elementer som innføres i området bør utformes i henhold til historisk forbilde som samsvarer med områdets stedegne karakter.
• Tekniske innretninger, herunder også skilt og reklame, bør gis en diskret utforming og ha en plassering, materialbruk og fargevalg som harmonerer med områdets karakter.
• Eksisterende logoer og skilt av kulturhistorisk betydning bør sikres. Nye skilt bør utformes med utgangspunkt i områdets historie.
• Hageareal og verdifulle trær bør bevares.