Ny-Hellesund er en av de mest kjente uthavnene langs Sørlandskysten. Uthavnene danner et mønster i landskapet, og er knyttet til seilskutetrafikken fra 1600-tallet og frem til cirka 1880, da seilskutene ble avløst av dampskip. Siden middelalderen har det gått handelsruter langs Agder-kysten som en del av nordeuropeiske handelsforbindelser mellom Øst- og Vest-Europa. Uthavnene fungerte som nødhavner, og utstyrte seilskuter i opplag. Samtidig hadde uthavnene betydning for kystnær trafikk og utviklingen av egen skipsfart langs kysten. Gjennom uthavnene i ytre skjærgård kunne seilskutene enten leie seg opplagsplass eller ligge på svai og vente på riktig vindretning ved inn- og utreise. Rundt seilskutene som lå i opplag, oppsto handel, skole, gjestgiveri og andre sekundærnæringer. Dette har fått varige uttrykk i en karakteristisk byggeskikk, der husene ofte ligger i sjøkanten, med fasaden rettet mot et sund eller havnebassenget. Uthavnene utviklet seg til små samfunn som var helt avhengige av trafikken med seilskutene.
Uthavnene langs Sørlandskysten er blant de viktigste kulturminnene fra Norges sjøfartshistorie, og er også unike i internasjonal sammenheng. Ny-Hellesund er gjennom størrelse, autentisitet og representativitet, den viktigste blant de bevarte uthavnene. Det opprinnelige bygningsmiljøet er svært intakt og områdets historiske tidsdybde er visuelt lesbar. Kulturmiljøet i Ny-Hellesund illustrerer godt hvilke sosiale funksjoner en uthavn langs sørlandskysten representerte fra cirka 1650 til 1880.
Bebyggelsesmønster og landskapsfigurer i Ny-Hellesund viser en typisk uthavn hvor bygningene er vendt mot sjøen, med brygger i front. Bebyggelsen ligger i klynger, gjerne i viker og sund, mens det kollelignende landskapet rundt er ubebygd. En rekke stilarter er representert i fasader og interiører, herunder innslag av barokk, rokokko, empire og sveitserstil. Flere arkitekturhistorisk viktige bygninger i området ble fredet allerede på 1920-tallet. Bygningsmassen innenfor det foreslått fredete kulturmiljøet har stor tidsdypde og høye kvaliteter. Det gamle Gjestgiveriet (Olavsheia, Kapelløya), oppført cirka 1730, har for eksempel barokke stildetaljer i fasadefront og inngangsparti mot sjøen. I bygningen Tønnevold (Helgøya), oppført i 1765, har man funnet et fransk tapet, som kan være utført av Ludvig den 16’s tapetmester Jean-Baptiste Réveillon. Enkelte bygninger fra 1800-tallet har løftevinduer som er inspirert av engelsk byggeskikk. Begge eksemplene viser hvordan uthavnen Ny-Hellesund, som seilskutesamfunn, har hatt kulturell utveksling og mottatt impulser utenfra.
I tråd med tradisjonell sørlandsk byggeskikk langs kysten, er flere av bygningene to etasjers tømmerhus med panelkledning, og de har bygningsstruktur som midtgangshus med hovedinngang på midten. Midtgangshus har gjerne en stue på hver side av midtgangen mot forsiden. Bygningene er ofte tilpasset det kollelignende landskapet ved at takflatene på husets bakside er trukket lenger ned.
Ny-Hellesund er svært godt bevart som kulturmiljø fra uthavnsperioden. Landskap og bebyggelse er i stor grad intakt. Losvesenet i Ny-Hellesund ble etablert i 1721. Med fast tollstasjon fra 1795 var Ny-Hellesund frem til midten av 1800-tallet en av landets viktigste havner for eksport av levende hummer. De mange gamle fortøyningsfestene rundt det sentrale havnebassenget er et særtrekk ved uthavnen, og vitner om Ny-Hellesunds sentrale plass i en større maritim infrastruktur.
Mot slutten av 1800-tallet og begynnelsen 1900-tallet, hadde området også kulturhistorisk betydning som oppholdssted for kjente kunstnere, som maleren Amaldus Nielsen, og dikterne Vilhelm Krag og Nordahl Grieg. På slutten av 1800-tallet hentet Nielsen motiver til flere malerier her, blant annet det kjente "Morgen i Ny-Hellesund" (1885). Krag er kjent for å ha gitt navn til Sørlandet som egen landsdel tidlig på 1900-tallet. Nordahl Grieg skrev diktet "Til ungdommen" under et besøk i Ny-Hellesund i 1936.