Esbensengården på Bakken ligger i den delen av Vadsø som ble kalt Indre kvenby, like vest for Vadsø sentrum. Terrenget skråner fra eiendommen og ned til Havnegaten ved sjøen. Huset er omgitt av en hage og ligger i et eldre villastrøk i Vadsøs tettbebyggelse. Huset ligger like utenfor det sentrumsområdet som ble bombet av allierte i 1944, og strøket er derfor bevart. Husets beliggenhet gir utsikt utover Varangerfjorden og Vadsø havn.
Huset ble bygget rundt 1830 av handelsfamilien Nordvi, som en av flere bygninger på handelsstasjonen på Mortensnes. Huset ble bygget av russisk lerketre, som var vanlig å importere fra Karelen i Russland, p.g.a. mangel på trevirke i Varanger. Handelen med tømmer var en del av den omfattende pomorhandelen med russerne (fra tidlig 1700-tallet -den russiske revolusjonen i 1917). I Varangerfjorden ble det etablert flere handelsstasjoner ledet av handelsfamilier eller væreiere. De styrte flere steder eneveldig, ettersom de hadde fått handelsbevilgning fra kongen i København. På Mortensnes etablerte familien Nordvi seg, i Vardø familien Brodtkorb. I Vadsø ble familien Esbensen enerådende. Under konjunktursvingningene i 1870-årene tapte eieren Andreas Georg Nordvi store verdier, og i 1877 gikk handelsstedet på Mortensnes konkurs. Esbensen kjøpte handelsstasjonen på Mortensnes som hadde vært en konkurrent. Esbensen i Vadsø ønsket å kontrollere hele Vadsø med omland. Esbensen flyttet hovedbygningen til Vadsø med båt i 1897, men grunnmuren er fortsatt intakt og inngår i det fredete kulturminneområdet på Mortensnes.
Da huset skulle flyttet fra Mortensnes til Vadsø, ble det merket og tatt ned, for å bli satt opp igjen i tidsriktig sveitserstil i perioden 1897-1900. Bygningen ble endret til en sveitserstilsvilla i 2 etasjer med tilhørende detaljer og prydverk. Husets størrelse og stil gjorde at det skilte seg fra den øvrige finskinspirerte byggeskikken som den finske innvandrete befolkningen brakte med seg. Under 2. verdenskrig brukte tyskerne huset som hovedkvarter for offiserene. Etter krigen brukte den norske stat huset som kontor for forsyningstjenesten i gjenreisningstiden. I 1946 flyttet den nåværende eier, Andreas Esbensen, inn i huset. Her bor han fortsatt og driver et av de få handelshusene fra 1700-tallet som fortsatt eksisterer i Nord-Norge.
Esbensengården på Bakken er en av de svært få eldre sentrumsnære bygninger igjen i Finnmarksbyene. Det er kun i Øst-Finnmark det fremdeles er bevart bygninger fra 1800-tallet. I Vest-Finnmark ble de aller fleste bygningene brent av tyskerne i 1944, og i Øst-Finnmark ble de fleste byområdene bombet av de allierte. Det er svært få sveitserstilsvillaer bevart i Finnmark, og huset må betegnes som unik i Finnmark. Ombyggingen fra empirestil til sveitserstil gjenspeiler to arkitektoniske stilarter og historiske epoker i en og samme bygning. Det er derfor et stort pedagogisk potensiale i Esbensengården på Bakken som kulturminne.