Kossegården er et helhetlig kjøpmannsgård som består av en vinkelformet, laftet hovedbygning, en bakgårdsfløy og uthus. Gårdsanlegget er Tønsberg domkirkes nabo i nordvest og ligger i et terreng som skråner seg opp fra sjøen i vest og mot foten av Slottsfjellet. Hovedbygningen strekker seg langs Storgaten og dominerer gatebildet.