Fra 1820-årene ble det bygget mye nytt i Vadsø, dette kan en lese ut i fra utstedelsene av skjøter på denne tiden. Den første Esbensen-gården lå i sentrum, med skjøte fra 1817, utvidet 1839, og 1849 flyttet til det som i dag er Ytrebyen (øst for sentrum). Sammen med Bietilæ-gården fra 1870-årene i Indrebyen (vest for sentrum) og Toumainen – gården, bygget i Ytrebyen rundt 1850, samt noen flere mindre anlegg, danner disse de få bygninger som står igjen fra tiden før den annen verdenskrig. De nevnte anleggene er vedtaksfredet etter Kulturminneloven.