Kristiansandsfjorden, eller Byfjorden, er om lag 10 km lang fra innløpet mellom Oksøy og Grønningen fyr, til byen Kristiansand. Fjorden fortsetter lenger inn under navnet Topdalsfjorden. Den har også et innløp fra vest mellom Flekkerøy og Møvik. På begge sider av fjorden finnes det mange øyer og viker.
Kristiansand by ble grunnlagt i 1641, men det var havner, handel og tettbebyggelse her før den tid. Byens sentrale beliggenhet ved Skagerrak har gjort at den gjennom flere århundrer har hatt stor militær betydning, noe som har satt markante historiske spor i landskapet. I områdene i og rundt byen finnes det et mangfold av militære kulturminner fra 1500-tallet og fram til år 2000. Fra slutten av middelalderen var Flekkerøy den viktigste havnen på Agder for skipstrafikken mellom Nordsjøen og Østersjøen. På vei inn og ut av Skagerrak måtte seilskip ha god klaring rundt Skagen. Fartøyene seilte derfor mot nord og kom da nær Agderkysten. Her kunne en større flåte få plass og det var gode ut- og innseilingsmuligheter for både østlige og vestlige vinder. De eldste forsvarsverkene ligger ved Flekkerøy havn. I 1555 bygde den dansk-norske kongemakten et blokk hus og i 1636 en større festning på Gammeløya. Dette forsvarsverket, Flekkerhus, ble sommerresidens for lensherren og ga i en periode navn til hele lenet. Forsvarsverkene på Gammeløya ble erstattet av festningen på Fredriksholm, som stod ferdig i 1662. Gråsteinsmurene på Fredriksholm er et landemerke, og også på Gammeløya er murer og voller fortsatt synlige. Kristiansand ble grunnlagt i 1641. Alt i andre halvdel av 1600-tallet ble det bygd en festning på Kristiansholm og en skanse på Odderøya som skulle hjelpe festningen fra siden. Skansen lå på det som nå heter Lasaretthøyda på Odderøya. Ennå kan en se skansemuren og krutthuset. I 1666 ble Kristiansand garnisonsby, og i 1685 ble den norske skjærgårdsflåtens hovedstasjon og verft flyttet fra Fredrikstad til Vesterhavna i Kristiansand. Dette ga trygg avstand til Sverige etter tapet av Bohuslän ved freden i Roskilde 1658. Fra flåtebasen i Kristiansand var det også mulig å kontrollere innseilingen til de danske streder og Østersjøen. Skansen på Lasaretthøyda på Odderøya ble nedlagt. På dette stedet ble det i 1801 opprettet en karantenestasjon for skip med sykdom om bord, med lasarett (en enklere sykesal). Stasjonen var i virksomhet nesten hele 1800-tallet. Ennå kan en se lasarettbygningene, karantenemuren ved Bendiksbukta, koleragravplassen i Kjerregårdsbukta og desinfiseringsplassen på Bleigerøya. Kristiansand kom til å spille en viktig militær rolle som base ved Skagerrak og innløpet til Østersjøen også på 1800- og 1900-tallet. Under Napoleonskrigene hadde Kristiansand en utsatt beliggenhet mellom stormaktene Sverige og Storbritannia. Byen var et senter for kapervirksomhet, og norske fartøyer og befestninger havnet i kamp med britiske krigsskip. En rekke kanonbatterier ble fra 1807 satt opp ved innseilingen til byen. På Galgebergtangen, Odderøya, Lagmannsholmen og ved Flekkerøy havn er det bevart rester av disse i form av murer og i noen tilfeller bygninger. Deler av dette er i dag godt synlige fra sjøsiden. Senere på 1800-tallet ble det bygd murer og voller og satt opp kanonbatterier på Gammeløya og Dybingholmen. Disse er også godt synlige i dag. Utbygging av fyrstasjoner langs kysten av Norge på 1800-tallet var en av de største investeringene den norske stat noensinne hadde gjennomført. Kystfyret på Oksøy og havnefyret på Odderøya ble begge første gang tent i 1832. Sammen med fyrstasjonen på øya Grønningen, etablert i 1878, markerer fyrene ved sin visuelle forbindelse, innseilingen til Kristiansand havn. Kristiansands beliggenhet gjorde at ulike forsvarskommisjoner fra slutten av 1800-tallet vurderte området som utsatt for inngripen fra fremmede makter. I forkant av unionsoppløsningen med Sverige i 1905 ble det etablert større kystbefestninger på Odderøya og Gleodden. Disse dekket innløpet til Kristiansand. Anleggene ble videre utbygd under første verdenskrig. Særlig Odderøya oppviser i dag en stor variasjon i typen stillinger. 9. april 1940 var Odderøya i kamp med en tysk invasjonsstyrke som kom sjøveien. Kampene kostet flere falne og sårede før Kristiansand ble inntatt. Under andre verdenskrig ble byen utbygd som et viktig tysk støttepunkt ved Skagerrak, med særlig betydning for marine og konvoifart. I 1944–45 ble Kristiansand gitt status som «Festung» og definert som et område av avgjørende betydning for den videre krigføringen. Fjernkampbatteriet på Møvik er det viktigste anlegget i Kristiansand fra andre verdenskrig. Ytterligere fire kystfort ble bygd ved innseilingen til byen i 1940–45. Andre anlegg av særlig interesse er luftvernbatteriene på Sumatra og Galgebergtangen. Ved slutten av krigen var det bygd ut en nesten sammenhengende landfront rundt Kristiansand. I den tidlige fasen av den kalde krigen ble de tyske kystfortene rundt Kristiansand videreført i det norske forsvaret. Fra slutten av 1950-tallet fulgte flere nedleggelser, og kun kystfortene på Odderøya, Krossodden og Randøya ble videreført fram til 1990-tallet. Odderøya og Randøya har bevarte deler fra flere historiske epoker.