Fra begynnelsen av 1100-tallet var Kongsgården på Holmen (kjerneområdet i dagens Bergenhus) den etablerte konges hovedsete. For å beskytte kongsgården, bygget Sverre Sigurdsson forsvarsanlegget Sverresborg nordøst for gården i 1184. Borgen utgjorde også et tilfluktssted for vanlige borgere i ufredstider. Etter brannen i 1207 reiste Håkon Håkonsson på 1250-tallet en ny befestet kongsgård i stein og Sverresborg mistet sin betydning. Dette anlegget ble på siste del av 1600-tallet bygget ut til et bastionært anlegg med to sentrale funksjoner; å forsvare lensherrens residens og beskyte inntrengere på Vågen.
Bergenhus ligger i Bergens havneområde, på neset som avgrenses mot syd av Vågen og mot nord av Skuteviken. Bergenhus kan inndeles i tre hovedområder; indre festningsområde, Koengen og Sverresborg.
Indre festningsområde omsluttes av et forsvarsverk påbegynt i 1660-årene som en femsidet irregulær polygon med bastioner. Festningen omfattet også skansen Sverresborg. Idag består verkene mot nord av Ballasttangens bastion, mot nordøst av Den tenaljerte voll, mot øst av Østre kurtine og Nattpostens bastion, og mot syd av Sandbatteriet. Mot vest (langs Vågen) ble verkene sterkt desimert mellom 1897 og 1920, slik at det idag stort sett bare er erstatningskonstruksjoner tilbake. Unntaket er en liten del av Ahlefeldts bastions venstre flanke. Mot nordvest eksisterer fortsatt Nordpyntens bastion. Det bygningsmessige tyngdepunkt ligger i sørvestre hjørne av anlegget og utgjøres av en borggård som fant sin endelige form på begynnelsen av 1700-tallet. Den omsluttes av den middelalderske Håkonshallen, 1700-tallets kommandantbolig og kapteinvaktmesterbolig og bakenfor denne Rosenkrantz tårn og Portkastellet fra middelalderen, samt Stallbygningen og Hovedvakten fra hhv. 1700- og 1800-tallet. Bygningene fikk omfattende skader ved eksplosjonen på Bergens havn i 1944, men er grundig og helhetlig gjenoppbygget i perioden frem mot 1960.
Øvrig bebyggelse på området ligger spredt og skriver seg fra 1900-tallet. Videre inneholder området flere større landskapselementer; alleer, kommandantens have, paradeplassen m.v.
Dagens Sverresborg ble bygget som et frittliggende detasjert fort på en høy knaus ca. 250 meter nordøst for slottsområdet. Skansen Øvre Sverresborg er delvis omsluttet av et utenverk omgitt av en bakfylt vollmur i bruddsten. Utenverket består av en tenalje og et ravelin. Innenfor det egentlige fortsområdet ligger Vollmesterboligen med uthus, begge fra 1700-tallet. Grensende opp mot skansen i vest finner vi Steinhuset, opprinnelig fra 1700-tallet, men vesentlig ombygget under krigen, og i øst kasernen Sverresborg (1911).
Koengen ligger mellom indre festningsområde og Sverresborg, og var tidligere en del av festningens forterreng. Siden 1917 har området vært gjennomskåret av jernbanespor. Bebyggelsen, som er samlet i østre del av området, består av større bygningsvolumer fra dette århundret. Med unntak av Norrønahallen (gymnastikkbygningen) er flertallet vesentlig ombygget.
Bergenhus festning representerer som helhet et av landets mest betydningsfulle kulturmiljøer, med bygninger og anlegg som spenner over et tidsrom fra høymiddelalder og frem til 1900-tallet. Anlegget omfatter noen av landets viktigste kulturminner, med Håkonshallen, Rosenkrantztårnet og festningsverkene som de sentrale. Til tross for de demoleringer som festningsverkene er tilført, fremstår de som et av landets fremste eksempler på en 300-årig fortifikasjonstradisjon. De omfattende restaureringsarbeidene 1945-60 er preget av høy kvalitet i materialvalg og utførelse og representerer i seg selv en vesentlig vernekvalitet.
Bergenhus er omtalt i St.meld. nr. 54 (1992-93), Nasjonale festningsverk. Meldingen slår fast at festningene er nasjonale kulturminner av stor betydning. De "har vært av betydning for norsk rikspolitisk historie, ved at de har vært knyttet til statsmaktens virke, og ved at de er knyttet til markante begivenheter i vår historie."
Rosenkrantztårnet og Håkonshallen eies av Staten ved Kulturdepartementet og forvaltes av Bryggens museum og Statsbygg.