Jelsa ligg vakkert til ved ein fjord i Ryfylke, omgitt av fjell og vassvegar, ei strategisk plassering som har forma busetjing, handel og kultur gjennom hundreåra. Arkeologiske funn viser menneskeleg aktivitet i fleire tusen år, med spor etter jordbruk og fiske. På 1200-talet blir Jelsa nemnd som kyrkjestad, og dagens kyrkje frå 1647 er eit viktig kulturminne med barokk interiør og røter i mellomalderen.
På 1600- og 1700-talet blomstra Jelsa som strandstad og handelsknutepunkt. Seglskuter og seinare dampskip brukte staden som naturleg stoppestad, og på Bjergsted blei det bygd kai, gjestgjeveri og bakeri. Handverkarar og strandsitjarar budde tett langs sjøen, og livnærte seg av fiske og småhandel.
Eit sentralt innslag i historia er Den Riibergske Stiftelse, oppretta av Marcille Riiberg i 1775. Ho eigde Jelsa kyrkje og etablerte både eit fond og ein skule for strandsitjarborn, der også lærarar fekk utdanning. Skulehuset står framleis og er i dag museum.
Gjennom 1800-talet voks Jelsa vidare som handelsstad med fleire handelsbuer, kai og lagerbygningar, og vart knytt til det regionale transport- og varehandelsnettet. Fiskeri og jordbruk heldt fram som berebjelkar i økonomien, og saman med kyrkja og strandstaden skapte dei eit levande lokalsamfunn.
Jelsa har bevart eit sjeldan heilskapleg kulturmiljø med kyrkje, skulehus, sjøhus og bustader som fortel om utviklinga frå mellomalder til moderne tid. Skulehuset fungerer som museum, og fjordlandskapet med dei historiske bygningane gjer Jelsa til ein av dei best bevarte strandstadene i Ryfylke – ein stad der historia framleis er tydeleg til stades.