Landskapet omfatter festningsbyen med en helhetlig og godt bevart bebyggelse, samt forterreng med tilhørende åpne bymarker som var viktige for at byen ble anlagt på akkurat dette stedet. Deler av bymarkene er fremdeles intakte og utgjør en viktig del av det kulturhistoriske landskapet. Festningsverk med voller, vanngraver og vollporter er fra 1600-tallet. Arkitektonisk er Gamlebyen en blanding av stilarter med størstedelen av bebyggelsen i empire fra 1800-tallet. Festningsanlegget er bygget med en karakteristisk stjerneform etter nederlandske prinsipper og er unikt i Norge. Det er også den første planlagte byen i Norge, inndelt med kvartaler og et torv i sentrum. Til anlegget hører også det fredete Kongsten fort, som ligger på en høyde utenfor festningsbyen. Disse er forbundet med «Den dekkede vei» som også er konstruert med voller og vollgraver.
Da Borg (Sarpsborg) ble brent av svenskene i 1567, skjedde gjenoppbyggingen på østsiden av Glommas utløp. Her var det store sletteområder som kunne dyrkes og beites. Disse har fått navnet ”Byens marker” og var helt vesentlige for bydannelsen. Sammenhengen mellom byen og markene er viktig å bevare. Byen Fredrikstad var opprinnelig mange gårder innenfor vollene, der markene lå like utenfor. Deler av markene ligger fremdeles åpne, men de er sterkt truet av byvekst. På bymarkene ligger også en godt bevart krigskirkegård som ble anlagt i 1789. Den har senere blitt benyttet til gravlegging av engelske, tyske og russiske soldater under 1. og 2. verdenskrig. Sammen med Østre Fredrikstad gravlund fra 1850-tallet er de to kirkegårdene utenfor vollene en viktig del av det historiske miljøet. De åpne slettene nærmest festningen var også viktige leir- og ekserserplasser for forsvaret.
Sør for Gamlebyen ligger både forstaden Vaterland med et godt bevart trehusmiljø og karakteristiske storskala industribygninger i tegl, tilhørende Denofa og oppført 1912-1930. Sammen med Kongsten hageby, anlagt mellom 1918 og 1955, er også disse miljøene del av det historiske landskapet rundt festningen.