Bjørnsborg ligger like nord for sentrum i Kragerø, delvis bygd inn i en skråning mot sør.
Bjørnsborg ble oppført ca år 1800 og bestod opprinnelig av hovedhus i tre etasjer, samt flere uthus. Eiendommen ligger idag med adresse Kragerøveien 9 med fritt ustyn over fjorden og byen. Eiendommen består av hovedhus fra 1800, som eies av ENTRA og hvitkalket bakbygning i naturstein, fengselsbygg fra 1890, og nyere fengselsbygg fra 1990-tallet. De to sistnevnte bygningene disponeres av Kriminalomsorgen og forvaltes av Statsbygg. Til eiendommen hørte opprinnelig også større parkanlegg, men i dag er kun en liten del av hagen sør for huset (frem til flaggstangen) del av eiendommen. Øvrige deler, med gammel brønn, eies og driftes av Kragerø kommune.
Det opprinnelige fengselet i Kragerø var fra 1864, men dette brant ned under en bybrann i 1886. Da ble Biørnsborg kjøpt av Kragerø kommune til rådhus, fengsel og politikammer.