Rekefjord har en lang og rik historie som havn, omtalt allerede i Kong Sverres saga da birkebeinerhøvdingen Torgild Fuend søkte tilflukt her i 1206. Fjorden var kjent for sin strategiske beliggenhet og trygge havn, noe som gjorde den til et viktig knutepunkt for fiske og sjøfart.
I seilskutetiden lå mange skip i opplag i Rekefjord om vinteren. Dette ga arbeid til lokale håndverkere som reparerte og vedlikeholdt fartøyene. Bradbenken i Åve var den største og viktigste i området, og her ble skadde skip satt i stand av dyktige tømmermenn, smeder og seilmakere.
Under Napoleonskrigene ble det opprettet batterier ved fjordens innløp for å forsvare kysten. I 1808 klarte lokale menn å skremme bort en engelsk fregatt med kanonild fra stillingene ved fjorden.
Den industrielle utviklingen skjøt fart med Blåfjellbanen på 1860-tallet, som fraktet malm fra Blåfjellgruvene til kaiene i fjorden for eksport til England. Over 200 mann arbeidet med utvinning og lasting av malm, og bryggene på Oveodden ble utvidet for å ta imot større skip. Malmeksporten fortsatte til 1965, og deler av banen er i dag turvei.
Fisket har vært bærebjelken i Rekefjords økonomi. På 1800-tallet ble store mengder sild og makrell eksportert til England og Baltikum, og i rekordåret 1835 ble 24 000 tønner sild sendt ut fra fjorden. Etter første verdenskrig ble reketråling en viktig næring som fortsatt preger kulturmiljøet.
Et markant bygg er Tollpakkhuset fra tidlig 1800-tall, restaurert i samarbeid med Riksantikvaren, som symboliserer Rekefjords rolle som handelssted og tollstasjon.
Området speiler den maritime, industrielle og militære utviklingen i Sokndal og forteller om kystsamfunnets tilpasning gjennom skiftende tider