Etter en bybrann i 1807 bygget Henrich Gerner det som i dag er Gernergården i perioden 1809-1812 i empirestil. Gernergården ble bygget som en herskapelig bolig i to etasjer med loft og kjeller, portnerbolig, bryggeriutsalg, stall, brennevinsbrenneri og tobakksfabrikk. Anlegget ble lagt med hovedfasaden mot det som da var Storgaten, nå Henrich Gerners gate. På den andre siden av gaten ligger parken som hører med til eiendommen.