Tollboden ligger midt i det historiske sentrum av Kragerø. Hovedbygningen ble oppført under siste del av 1700-tallet som bolig for en formuende handelsmann og ble overtatt som tollsted i 1822. Anlegget ble kjøpt som et ledd i at staten overtok tollbehandlingen i perioden etter 1814. Anlegget er delt i to av P.A. Heuchs gate, med pakkhus og brygge ned mot sjøen og med hovedbygningen, steinhus og hage, på andre siden av gaten. Pakkhusene er oppført på hver side av bryggen. Midt på bryggen er det, fra tollbodtiden, en flaggstang og mot gaten, to trær og et stakittgjerde.
Hovedbygningen er en typisk bolig for velhavende borgere sent på 1700-tallet. Hovedbygningen har i dag et klassisk uttrykk og har en noe usymmetrisk fasade mot vegen. Siden hovedbygningen er blitt bygget senere enn noen av de andre husene i kvartalet er den tilpasset de andre bygningene og har derfor ikke en kvadratisk grunnplan. Det er også et tilbygg på hovedbygningen, mot hagen, som trolig har vært et bryggerhus. Eksteriøret fremstår som opprinnelig med noen moderniseringer. Interiøret ble noe endret da bygningen ble gjort om til tollbod og ved endring av oppgaver for tollerne rundt 1960, men siden bygningen også var bolig for tollerens familie, forble mye uendret.
I hagen er det et uthus, steinhuset, som er blitt benyttet til lager og utedo. Hagen har flere nivåer opp fra hovedbygningen og ender på en naturlig bergknaus, med en bratt skrent ned mot Torvgata. Strukturen og sammenhengen er som da anlegget ble benyttet som tollsted, og anlegget er typisk for byggeskikken i området på 1770-tallet.