De fredete kulturminnene og området omkring synliggjør en historisk utvikling fra 1660 fram til 1930-tallet. Her er også enkelte nyere elementer, men disse omfattes ikke av bygningsfredningen. Bebyggelsen dokumenterer forandringene i samfunnet fra det første tollstedet på en mer eller mindre ubebygget øy ved utløpet av Porsgrunnselva fram til det industrialiserte Porsgrunn i mellomkrigstida. Frednesøya eller Tollbodøen fikk en viktig plass i byens historie da den første tollboden i Porsgrunn ble anlagt der i 1651. Området ble den gang omtalt som den "øde ø Porsgrund under Jønholt". Den Kongelige Toldbod huset stedets høyeste embedsmann og var nært knyttet til den viktigste delen av Porsgrunns økonomiske historie, nemlig skipsfarten og trelastutførselen. Det som i dag betegnes «Den gamle Toldbod», er et bolighus fra 1661, som i 1799 ble ombygd og tatt i bruk som tollbod. Denne og prestegården lå med sine ensartete fasader vendt mot hverandre til henholdsvis Tollbodgata og Storgata. På 1700-tallet rant Lilleelven mellom dem og endte i Storelven. Omkring år 1900 var denne redusert til en bekk foran prestegården, den såkalte «Presterenden». I dag er bare nedre del av dette løpet bevart, kalt «Sundjordkanalen». For øvrig var utbyggingen av Tollbodøen svært begrenset fram til midten av 1800-tallet. Dette skyldtes først og fremst at utbyggingen av byen var konsentrert til Vestsiden og på østsiden langs Storgata mot Osebakken. Tollbodøen fikk fast veiforbindelse til byen først i 1860. Da ble det fortgang også med utbyggingen. Rundt tollstedet slo en rekke tjenestemenn og arbeidere seg ned. Disse satte opp sine små hus i nær tilknytning til elva og tollboden. De bygninger og tun langs Tollbodgata som er inkludert i fredningsvedtaket, er karakteristiske for bebyggelsen som preget området utover på 1800-tallet. Byggeskikken har innslag fra den rådende empirestilen, omformet i tre. Generelt har bygningene høy autentisitet. Deler av området, som prestegården og boligene langs Tollbodgata, viser et svært opprinnelig 1800-tallsmiljø. Flere av bygningene innenfor museumsområdet er imidlertid tilflyttet fra andre steder i Porsgrunn. Tollboden er flyttet fra sin opprinnelige plassering innenfor området, men har allikevel sterk tilhørighet og historiefortellende verdi