"Grevskapsbanen" eller "Jarlsbergbanen" frem til Larvik ble åpnet i 1881, og frem til Skien i 1882. Sidelinjen Eidanger Brevik ble vedtatt i 1891 og åpnet i 1895. Stasjonen hadde en særlig betydning som kommunikasjonsknutepunkt i sammenheng med Brevikrutene, rutebåttrafikken til Sørlandet og Vestlandet, som åpnet samtidig med jernbanelinjen, samt fergeleiet Brevik-Stathelle. Utbyggingen av Brevikbanen faller sammen med en periode som er preget av utbyggingen av kommunikasjonsnettet, industrialiseringen, strukturendringer i næringslivet og veksten i byene. Brevik stasjon er den eneste av Vestfoldbanen som er tegnet av Paul Armin Due, som regnes for å være Norges viktigste jernbanearkitekt. Brevik stasjon føyer seg inn i rekken av bystasjoner i mur som ble tegnet individuelt til forskjell til typetegninger. Detaljutformingen er inspirert av et middelaldersk formspråk. Bygningenes arkitektoniske verdi er knyttet til deres formale og materielle kvaliteter og til deres betdyning som kilde til kunnskap om endringer og tendenser i arkitekturen rundt århundreskiftet. De har også verdi som del av produksjonen til en av landets betydelige arkitekter på denne tiden, og viser bredden i Paul Dues produksjon for jernbanen. Sør for stasjonsbygningen ligger stasjonsparken som er en del av det opprinnelige stasjonsanlegget. Den har i hovedsak samme form og utstrekning som ved århundreskiftet, og er ført tilbake til tilnærmet opprinnelig stand. Deler av den opprinnelige vegetasjonen er intakt, nye beplantninger er gjort i samsvar med tidligere, og gamle, slyngende spaserstier er satt i stand.
Sammen med parken og minneplaten for Oscar II har man bevart et stasjonsmiljø som i stor grad er representativt for tidens jernbaneanlegg, men som i dag er sjelden å finne i så godt bevart stand.