Brevik ligger i en lun vik mellom Frierfjorden og Eidangerfjorden, og har vært et naturlig anløp for skip i flere hundre år. På 1500-tallet var området sentralt i trelasthandelen, og Brevik ble ladested i 1680. Postkontor ble etablert i 1689, og det var skipsverft på Øya fra 1600-tallet. Etter en bybrann i 1761 ble byen gjenoppbygd med både småskala boliger og praktgårder. Bebyggelsen omfatter hus fra tre hovedperioder: etter brannen i 1761, empirestil fra 1830–40 og sveitserstil fra 1870–1910. Øya har hovedsakelig små trehus, men også enkelte borgerskapshus. På 1800-tallet ble iseksport viktig, og Breviksbanen åpnet i 1895. Fergeforbindelsen til Stathelle ble erstattet av Breviksbrua i 1962.