Bebyggelsen under festningen vokste frem på samme tid som festningen på slutten av 1600-tallet. Kongsvinger leir, ”Leiren” (senere Øvrebyen) oppsto samtidig som de eldste bygningene på festningen ble oppført i 1682. Den første bebyggelsen besto av små anleggshytter og soldatboliger. Utbyggingen skjedde ut fra tidens planleggingsprinsipper med langgater og tverrgater.
I 1697 ble Vinger kirkested flyttet fra prestegården på Hov til sin nåværende plass. Kirken og Kirketorget med ekseserplassen styrket bystrukturen knyttet til festningsanlegget.
I første halvdel av 1800-tallet ble det meste av den eldre bebyggelsen revet og erstattet med større og mer tidsmessige boliger og uthus.
Øvrebyen med Kongsvinger festning er et nasjonalt viktig kulturminne. Den er fortsatt sterkt preget av de omfattende byggearbeidene som foregikk i første halvdel av 1800-tallet da den eldre bebyggelsen, med for det meste små bolighus ble erstattet av større og til dels svært store boliger i 2 etasjer.
En stor mengde uthus som var knyttet til ulike virksomheter og et omfattende dyrehold, preger fortsatt byen og er viktig for forståelsen av Øvrebyen. De fleste bolighusene er tatt vare på og med en stor grad av opprinnelig detaljering. En del uthus blir i mindre grad tatt vare på.
Dette svekker gradvis byens historiske kildeverdi.
En rekke kjente personer, som Jonas og Thomasine Lie, Dagny Juell og Erik Werenskiold, har hatt tilknytning til Øvrebyen og festningen gjennom oppvekst, tilflytting eller i forbindelse med yrkesutøvelse.
Øvrebyen var det første bymiljøet Riksantikvaren gikk inn for å bevare etter Plan- og bygningslovens § 25.6 om spesialområde bevaring, men planen, som først ble stadfestet i 1975, ble ikke den første bevaringsplanen etter den nye paragrafen