På Osebakken lå amtets sykehus fra 1774 til det ble flyttet til Faret ved Skien i 1830. Her lå også apoteket og en rekke bygninger knyttet mot sykehuset. Osebakken ble innlemmet i byen i 1842, og byen ble egen kommune.
Ved brannen i 1865 brant en del av bebyggelsen på begge sider av Lilleelv. På Osebakken ble bygningene inntil Osebro spart, og er dermed kulturminner fra sent 1700-/tidlig 1800-tallet fremdeles intakt. Den øvrige bebyggelsen langs Lilleelv frem til dagens Sverres gate, er bygget etter 1865.
Som svært interessante bygg er Storgata 167 og 169. Storgata 167 er fra 1830, selv om deler av huset er mye eldre, og det er et meget godt bevart eksempel på empirebygg. Omfattende rehabilitering førte til byggeskikkprisene i år 2000. Storgata. Storgata 169 (Bruungården) er en representant for Skiensklassisismen. På sydsiden av Osebro er Storgata 174 en representant for overgangsstilen mellom senempire og sveitserstil.