Området utgjør et helhetlig kulturmiljø av nasjonal verdi, formet gjennom århundrer som kongelig eiendom og sommerresidens, og tilrettelagt av kongehuset som folkepark på 1800-tallet. Museene som er utviklet som nabo til folkeparken, kan ses som en forlengelse av folkepark-ideen. Eiendommen Bygdø Kongsgård utgjør størstedelen av fredningsområdet. Her er landskapet formet av landbruksdrift gjennom århundrer, og dette preget er i dag godt bevart innenfor fredningsområdet.
Selv om Bygdøy har vært bebodd siden steinalderen, er verneverdiene først og fremst knyttet til områdets historiske betydning som kongelig eiendom siden middelalderen. Bygdø Kongsgård har en 700 år lang historie knyttet til kongehuset helt siden kong Håkon V Magnusson ga Bygdøy i gave til sin unge dronning Eufemia i 1305.
Gjennom middelalderen ble det frodige Bygdøylandet sannsynligvis brukt både som beitemark og slåtteland, vekselvis eid av kongehuset og cistercienserklosteret på Hovedøya. Den dansk-norske staten overtok klosterets eiendommer i forbindelse med reformasjonen. Eiendommen på Bygdøy fungerte som ladegård for Akershus slott, og ble disponert av stattholderen. I 1733 fikk stattholder Christian Rantzau oppført hovedbygningen på Bygdø Kongsgård som sommerbolig, slik den fortsatt framstår i dag etter en gjennomgående restaurering 2003-2007.
I 1836 kjøpte Karl Johan hele eiendommen Bygdø Kongsgård, da den ble lagt ut til salg av den norske staten. Året etter, i 1837, kunngjorde kongen at hensikten med kjøpet var å skaffe hovedstaden "en offentlig Spadsergang". Under kong Karl Johan og hans etterfølgere Oscar I, Karl XV og Oscar II ble store deler av kongsgårdens eiendom lagt ut til folkepark for Christianias befolkning, på samme måte som Djurgården ble utviklet for befolkningen i Stockholm. Christiania skulle få en offentlig park på linje med andre europeiske hovedsteder, formet etter europeiske og internasjonale forbilder. Det viktigste grepet var å anlegge et omfattende nett av kjøre- og spaserveier i skogsområdene, med tilknytning til kaianlegg i Frognerkilen og ved Bygdø Sjøbad. En folkepark skulle dessuten ha severdigheter i form av lysthus, utsiktsplasser, bevertningssteder, badeanlegg og monumenter. Sæterhytten på Dronningberget ble oppført i 1862, fikk sin musikkpaviljong i 1866 og ble utvidet til serveringssted i 1881. Et badeanlegg for publikum åpnet i 1880 som "Bygdø Søbad", og fikk også en restaurant. Fra 1881 lot Oscar II i tillegg bygningssamlingen fra norsk middelalder plassere innenfor folkeparken, på en kolle i utkanten av eiendommen Bygdø Kongsgård. I dag er Oscar IIs samlinger en del av Norsk Folkemuseum.
Det sentrale bygningskomplekset i kulturmiljøet er likevel kongsgården, som ligger høyt og godt synlig fra nord og nordøst. Hovedbygningen fra 1733 troner for enden av alleen langs Bygdøyveien, omgitt av hage og park mot sør, og med gårdsbruket med moderne driftsbygninger på den andre siden av Bygdøyveien i nordøst. Folkeparken som ble anlagt i de kuperte skogsområdene omkring kongsgården, danner rammen om bygningene og innmarka, og dokumenterer både kongehusets interesse for befolkningens velferd og 1800-tallets naturtilpassete parker. I tillegg til severdigheter ble skog og park skjøttet med estetiske hensyn som førende. Det var den engelske landskapsstilen som var forbildet. Landidyllen med gårdsbruket var det overordnete motivet, og i tråd med tidens idealer ble de rikholdige naturområdene videreutviklet med buktende stier gjennom landskapet. Idealet var den franske "ferme ornée", den forskjønnete gården. Forskjønnelsen medførte import av fremmede og eksotiske plantearter. Dette økte artsmangfoldet på Bygdøy, som allerede fra naturens side har gunstige levekår for mange sjeldne arter i norsk sammenheng. Parkplanene som ble utarbeidet fra 1840-årene, ble langt på vei gjennomført.
Å utvikle og opparbeide en folkepark var kostnadskrevende, men sjenerøse økonomiske bidrag fra det felles svensk-norske kongehuset på 1800-tallet muliggjorde målet. Det ble også viktig med et effektivt gårdsbruk som ga et overskudd til å drifte den kostbare folkeparken. Ambisjonene for Bygdø Kongsgård var å drive et mønsterbruk til eksempel og etterlevelse for andre gårdbrukere. Forsøk med nye jordbruksredskaper, plantearter og husdyrraser ble prioritert. Med unntak av omgivelsene omkring selve gårdsanlegget ble landskapet i stor grad preget av jord- og skogbruksdrift.
Etter 1905 opphørte i stor grad skjøtselen av parkanlegget, og folkeparken forfalt. I dag er det i hovedsak ruiner tilbake av de mange severdighetene. De fleste park- og hageanleggene er til dels så gjengrodde at de i dag framstår som "uberørt natur".
Det er i samspillet mellom menneskelig påvirkning og den frie utviklingen av Bygdøynaturen at de kulturhistoriske verdiene som er grunnlaget for forslaget om kulturmiljøfredningen, er skapt.