Virgohamna har en mangfoldig historie fra hvalfangst til ekspedisjoner. Her er spekkovner, graver, tuft etter Arnold Pikes hus fra overvintringen i 1888 (den første turisten som overvintret) og rester etter to meget kjente og eventyrlige forsøk på å nå Nordpolen. Fra 1896 og 1897 er det spor etter Salomon Andrées ekspedisjon med ballong. Det er rester etter ballonghus og gassproduksjonsanlegg. Det er reist ei minnestøtte over ekspedisjonen. Walter Wellmans ekspedisjon med luftskip (1906, -07 og - 09) har etterlatt rester av luftskipshangar, bolighus, gassproduksjonsanlegg og luftskip. Området er mye besøkt og utsatt for slitasje. Det er mange løse gjenstander som er viktige for helheten.
Det ble i 2000 vedtatt områdefredning og ferdselsregulering. Informasjonsheftet ”Virgohamna. I lufta mot Nordpolen” gir rettledning på hvor besøkende skal gå, og ikke gå, for ikke å skade kulturminnene der. Adgangsbegrensningen gjør at alle som vil gå i land i Virgohamna må melde fra om dette til Sysselmannen, og på den måten vil kulturminnevernet ha oversikt over hvem som går i land, samtidig med at en kan sette vilkår. Området er tilrettelagt med skilt og stier, og det er utarbeidet to ulike hefter som omhandler kulturmiljøet (Bjerck og Johannesen 1999; Sysselmannen 2000). Ferdselen er regulert utenom sårbare områder. Forskrift om områdefredning og ferdselsregulering av 3. mai 2000 regulerer turisttrafikken i området. Alle turistfølger må ha godkjent tillatelse fra Sysselmannen for å besøke lokaliteten.
De eldste kulturminnene i Virgohamna er fra den nederlandske hvalfangststasjonen kalt Harlinger kokerij. Historiske kilder forteller at landstasjonen ble etablert i 1636 i det som den gang het Houker Bay. Ikke mange år etter var hvalen nesten forsvunnet fra fjordene og de nære kyststrøkene ved Svalbard. For å fangste hval måtte man nå langt til havs og ut i isen. Landstasjonen mistet derfor sin betydning, og allerede i 1671 beskriver Martens en landstasjon som er i sterkt forfall. Lagerbygninger og bolighus har tykke islag på gulvene. Frostsprengte tønner og fat, ambolt, smedverktøy og annet utstyr stikker opp av isen.
Tuftene etter husene som Martens beskriver er fortsatt synlige i Virgohamna. Det er også fundamentene etter tre doble spekkovner på den steinete stranda. På ovnenes sider ligger oppbygde ramper som lettet transporten til og fra kokekarene.
I 1888 satte engelskmannen Arnold Pike opp et prefabrikkert hus på tuftene av det gamle Harlinger kokerij. Pike skulle overvintre på Svalbard for å oppleve de dramatiske årstidsskiftningene i dette eksotiske ødelandet. Planen hadde vært å gå inn i Storfjorden, men de dårlige isforholdene førte til at de slo seg ned i Virgohamna i stedet. Huset ble senere brukt av både Andrée og Wellman, og så sent som i 1920–21 ble det benyttet av fangstmennene Arthur Oxaas og Georg Nilsen. I 1925 ble huset revet og flyttet til Barentsburg. Hva som senere skjedde med det er uvisst.
Sommeren 1896 etablerte den svenske ingeniøren Salomon August Andrée sin ballongbase i Virgohamna for å forsøke og nå Nordpolen med ballongen «Örnen». I bukta ble det oppført ballonghus og bolig samt et eget gassproduksjonsanlegg for fremstilling av hydrogengass til selve ballongen. Vær og vind var ugunstig sesongen 1896, og ferden mot polen ble avlyst. Året etter var Andrée tilbake igjen for å gjøre et nytt forsøk. Til tross for betenkelige værforhold lettet ballongen fra Virgohamna i 1897 med Frænkel, Strindberg og Andrée om bord. Begivenheten ble fulgt av en hel verden, og i fjorden utenfor Danskøya hadde flere cruiseskip ankret opp for å få med seg hendelsen. Ballongen startet sin ferd nordover og forsvant snart ut av syne bak breene og fjellene på nordvesthjørnet av Spitsbergen. Ingen visste mer om ekspedisjonen og dens endelikt før 33 år senere da restene etter ekspedisjonen og deltakerne ble funnet ved en tilfeldighet på Kvitøya.
Noen år etter Andrées avreise ble det igjen aktivitet i bukta. Denne gangen i forbindelse med Walter Wellmans forsøk på å nå Nordpolen med luftskip. Han bygde luftskipshangar, hus og gassproduksjonsanlegg. I alt gjorde Wellman tre forsøk på å nå Nordpolen, i 1906, 1907 og 1909. Alle tre gangene gikk alt som kunne gå galt, galt. Wellman og hans mannskap, som Vaniman, var pionerer innen luftskipsteknologien og konstruerte løsninger som var langt forut for sin tid. Men i 1906 gikk den nye teknologien fullstendig i vranglås, og det var bare å oppgi forsøket. Luftskipet var ikke tett og motorene fungerte ikke. I 1907 lettet luftskipet men falt etter kort tid ned på Smeerenburgbreen. I 1909 gikk det slik: «America» steg opp og svevet optimistisk nordover samme vei som «Örnen» 12 år tidligere – over Hollenderneset og Fuglesongen og inn over fastisen som lå i Norskøysundet. Men så gikk slepelinen av og falt i en haug ned på isen. Vinden begynte å bli besværlig, og etter en stund havnet også luftskipet på isen.
Rittmester Gunnar Isachsen med marinefartøyet «Farm» var i nærheten og kom til unnsetning. Luftskipet ble buksert baklengs tilbake til utgangspunktet i Camp Wellman. For å lette det slik at det kunne taues inn i hangaren, ble det hogd hull på bensintankene i kjølen. Drivstoffet fosset dermed ut. Da ballongen ble dratt opp på land og kom i skrå posisjon, strømmet gassen opp i forenden; luftskipet steilte som en hest, slet seg fri og steg opp i luften. Gondolen løsnet og krasjet i bakken. Ballongen steg høyere og høyere helt til den eksploderte med et fryktelig brak og falt ned i sundet. Wellman bukket og svingte med luen. Deretter hentet han en flaske champagne og satte seg til å legge kabal. Etter en stund ga han ordre om å forlenge hangaren med 11 meter (Rossnes 1993:119). Det ble ingen ny start for Wellman fra Virgohamna på Danskøya.
Andrée og hans ekspedisjon har satt mange fysiske spor etter seg i Virgohamna. Her ligger rester etter ballonghuset og gassanlegget i form av spiker, bolter, vaier, plankebiter, bardunfester, hauger med rustent jernfilspon og mye mer. Lengst vest i bukta ligger restene etter Wellmans base. Her er restene av den store hangaren han bygde for luftskipet America, bolighus, kasser og tønner med jernfilspon til hydrogengassanlegget, rustne bensinfat, jernskrap i alle størrelser og fasonger, verktøy, utstyr og annet materiell. Sporene er tydelige i landskapet. Men allerede under Nansens besøk i Virgohamna i 1912 beskriver han et anlegg som i stor grad er preget av forfall. «Ballong-huset var blåst ned, etter at rovgjerrige fangstmenn hadde forsynt seg av stål-stag og annet brukbart. Ting av alskens slag lå strødd utover mellom steinene. En mengde bensin-fat av jern, kasser, verktøy, hermetikkbokser, stål-tau vridd i alle mulige buktninger, syre-ballonger, tønner med jernfilspån, strekkskruer, osv. Anleggene til å utvikle vannstoff-gassen sto der enda. Det meste av brukbare og verdifulle ting, særlig av metall, var vel nå blitt plyndret, men det lå meget igjen – fangst-mennene og turistene hadde ennå ikke rådd med alt.» (Nansen 1920: 149–150). Gjennom sine betraktninger gir Nansen et innblikk i hva som skjedde etter at anlegget var forlatt. Restene av ballonghus og luftskipshangar ble brukt som materiallager for fangstmenn og vitenskapelige ekspedisjoner. Det som var brukbart ble hentet, plukket fra hverandre og brukt om igjen andre steder. Dette satte fart i den naturlige nedbrytningen.