Helt siden 1582 har det vært fergetrafikk over Oslofjorden mellom Moss og Horten. Det ble imidlertid ingen vekst på stedet før det ved kongelig resolusjon i 1818 ble bestemt at marinens flåtestasjon skulle legges til gården Horten. I 1849 gikk flåtestasjonen over til å bli marinens hovedverft, og tok i 1854 navnet Karljohansvern. I 1864 flyttet også sjøkrigsskolen til Horten fra Fredriksvern (Stavern). Etter hvert vokste det frem en tettbebyggelse utenfor marinens område.
Området mellom Karljohansvern og byen, det såkalte Bromsjordet, ble allerede i 1852 foreslått som lystlund eller offentlig promenadeplass. Lystlunden utgjør i dag et attraktivt grøntområde i byen
Mot byen ble det gravd ut en kanal i perioden mellom 1854 og 57, som utgjør skillet mellom orlogsstasjonen og byen.
Fra midten av 1800-tallet vokste virksomheten ved Karljohansvern og dermed også byen. Dokker og verksteder ble stadig forbedret, og marinen bygde alle sine skip (bortsett fra panserskip) ved verftet. Det ble oppført sykehus, garnisonskirke og ny kaserne med skolebygning for det sjømilitære korps. Virksomheten på verftet forplantet seg i det sivile Horten.
I 1953 bestemte Stortinget at marinens hovedbase skulle flyttes fra Horten til Bergen.
Karljohansvern omfatter i dag et større område i indre havn og småøyene utenfor. Verftsområdet omfatter hele Hortenstangen, og inneholdt bl.a. verft med beddinger, kaier, tørrdokk, verksteder, lagerskur og administrasjonsbygg.
Store endringer til tross, ulike funksjoner og ulike driftsfaser er fremdeles godt lesbare. For øvrig henvises til Landsverneplan for forsvaret.