Området omfatter bykjernen fra Kragerø kirke til Barthebrygge, samt Gunnarsholmen og hele Øya. Kragerø har røtter som trelasthavn fra 1500-tallet, med eksport til Nederland og Storbritannia. På 1600–1700-tallet vokste byen fram som tollsted (1652) og kjøpstad (1666), med kjøpmenn som kontrollerte handel, sjøfart og skipsbygging. Seilskutetida nådde sitt høydepunkt rundt 1870, og fra 1850-årene ble iseksport en viktig næring. Kragerø tiltrakk kunstnere som Kittelsen, Munch og Thaulow; Munch malte bl.a. «Solen» her. Byen har vært ferieby siden første verdenskrig. Kulturmiljøet har bevart mange bygninger fra før 1850, til tross for branner og ombygginger. Topografien preger fortsatt de trange gatene, med arbeidernes trehusområder som Andølingen. Store inngrep var broer til Øya (1872, 1889) og jernbanens ankomst i 1920-årene. Kystfortet på Gunnarsholmen fra 1600-tallet vitner om byens forsvarshistorie.