Lossiusgården ligger helt nede ved fjorden på Innlandet i Kristiansund. Gården ligger nordvendt mot havnebassenget, og har egen brygge. Mellom brygga og hovedfasaden er det en stor grønn gressplen. På sørsiden av bygningen er en mer privat og skjermet hage med beplantning og et lite lysthus. Tidligere gikk veien tvers gjennom denne hagen, slik at familien måtte krysse den for å komme inn i hagen mot sør. Veien er lagt om i nyere tid (1900-tallet), og følger nå foten av fjellskrenten sør for hagen.