Skoltebyen kan karakteriseres som det viktigste kulturminneområde for den østsamiske historien og for den gjenlevende østsamiske kulturen i Norge. De fleste av bygningene på Skoltejorda er reist i gjenreisingsperioden etter siste verdenskrig. Både som gjenreisingsarkitektur og som dokumentasjon på skoltesamenes etterkrigshistorie er noen av disse bygningene verneverdige.
Den samiske betegnelsen siida (østsamisk sit eller sijt) omfatter både en samfunnsordning, et geografisk område, dets ressurser og den befolkningen som lever i og av området. Våre kunnskaper om den gamle samiske samfunnsformen, siidaordningen, er for en stor del hentet fra de østsamiske siidaene i Sør-Varanger, Njåvdåm (Neiden) og Paccevei (Pasvik). En av årsakene er at det var her ordningen ble opprettholdt lengst. Siidamedlemmene hadde felles bruksrett til landområdet. Bruksretten ble styrt av et eldsteråd som kom sammen når familiene var samlet. Rådet, norraz, fordelte fiske- og fangstplasser mellom familiene. En del av arbeidet, som laksefiske, beverfangst og villreinjakt, ble organisert som fellesoppgaver.
Østsamene er Sør-Varangers urfolk, som etterkommere etter den opprinnelige befolkning i Sør-Varanger. Fra gammelt av var området skatteland for Norge og Russland (fellesdistrikt). Etter etableringen av et kloster i Petsjenga på 15OO-tallet kom østsamene under russisk kirkeordning og rettslig styre. De beholdt imidlertid en stor grad av indre selvstyre og hadde eksklusiv rett til ressursene innen egne områder. Det området de håndhevet sine gamle rettigheter særlig strengt for, var laksefisket i Neidenelva og fjorden.
Før grenseoppgangen i 1826 var Skoltebyen (Skolteplassen, Skoltejorda) ved Skoltefossen Neidensiidaens sommerboplass. Vinterboplassen, der de oppholdt seg samlet fra oppunder jul til april, lå i nåværende Finland. Vårboplassene lå spredt langs Neidenfiorden og Kjøfiorden, dit de kom etter et kort, midlertidig opphold på sommerboplassen. Ved siden av laksefisket og det som kunne høstes av naturen, holdt neidensamene tamrein, iblant også noen sauer.
Grenseoppgangen mellom Norge og Russland (inkl. Finland) i 1826 skar gjennom de østsamiske territoriene som utgjorde det norsk-russiske fellesdistriktet. Peahccam siida (Petsamo/Petsjenga-siidaen) havnet på russisk side, Paccevei siida (Pasviksiidaen) ble delt på langs og Njåvdåm siida Neidensiidaen) på tvers. Beboerne måtte i løpet av 6 år bestemme seg for om de ville bli norske eller russiske beboere og bosette seg deretter. Neidensamene valgte å bli norske borgere. Årsaken til at neidensamene valgte å bosette seg på sommerboplassen, og dermed innenfor den norske delen av sitt gamle territorium, var uten tvil deres sterke tilknytning til laksefisket. Noen avtale som sikret neidensamene deres gamle rettigheter, ble ikke inngått i forbindelse med grenseoppgangen.
Neidendalen, hvor norske myndigheter ønsket en jordbruksutbygging, ble etter 1840 bosatt av finske bondefamilier som snart kom til å utkonkurrere østsamene, både i antall og med hensyn til kontroll over ressursene.
Østsamene holdt lenge fast på sin gamle næringsform, med vekt på laksefiske og reinhold. Østsamenes kamp for å beholde den gamle sedvaneretten til laksefisket førte ikke fram. En dom av 1848 avviste at østsamene hadde noen særrettigheter. I årene som fulgte mistet østsamene også sin rett å drive reindrift, og som følge av dette ble de bofaste på sommerboplassen. Til tross for utskiftingen av sameiet har eiendommene forblitt i østsamisk eie, og store deler av fellesjorda har fått ligge ubebygd. Kulturminner fra tidligere tider er dermed intakte.
Østsamenes tap av livsgrunnlag og rettigheter må på et generelt plan sees i sammenheng med at det fra midten av 180O-tallet ble innledet en fornorskingspolitikk som tok sikte på å eliminere samisk kultur og språk. Det sosialdarwinistiske synet på samer som primitive og dømt til undergang i møtet med «utviklede» folk gikk i særlig grad ut over skoltene, som ble plassert nederst på rangstigen. De rådende holdninger ledet til at norske myndigheter ikke gjorde forsøk på å sikre skoltenes livsgrunnlag og nedarvede rettigheter.
Et av skoltesamenes kulturelle særtrekk er at de ble kristnet langt tidligere enn de øvrige samegruppene, og da til den gresk-ortodokse tro. Kristningen tilskrives den hellige Trifon (født rundt 1495), skoltenes apostel. En av legendene forteller at Trifon fikk en åpenbaring hvor Kristus befalte han å reise til det «hungrende og vansmektende land» for å forkynne Evangeliet. I et gavebrev fra tsar Ivan den 4. (Ivan den grusomme) i 1565 ble de østsamiske distriktene Petsjenga, Pasvik og Neiden lagt direkte under klosteret i Petsjenga. I den forbindelse lot Trifon bygge en kirke ved Pasvikelva i 1565. Kirka ble tilegnet de rettroende og hellige fyrstene Boris og Gleb. I Neiden fikk han reist et mindre kapell, vigslet til den hellige Georg. Ved kapellet ble det anlagt en begravelsesplass. Trifon døpte samene i Neidenelva, og siden da har elva i følge ortodoks tro vært å regne som hellig. Dåpshandlingene foregikk i en kulp ovenfor Skoltefossen, «den hellige Trifons kulp». Kapellet ble betjent én gang hver sommer av munker og prester fra klosteret i Petsjenga. I 1589 ble klosteret plyndret og brent og munkene drept. Etter dette ble kapellet i Neiden betjent av klosteret i Kola. På stedet der klosteret sto, ble det reist en kirke til ære for den hellige Trifon. Etter at det ble reist et nytt kirkebygg i Boris Gleb i 1874, ble kapellet i Neiden lagt under dette og betjent derfra fram til 1914. Gudstjenestene foregikk på bakken utenfor det lille kapellet. Den siste gudstjenesten før det igjen ble opprettet kontakt med den gresk-ortodokse kirken, fant sted i 1925. På 1950-tallet tok Jogar Ivanowitz (1897-1981) kontakt med den ortodokse kirken i Finland og erkebiskopen i Konstantinopel. Siden 1965 har det igjen vært avholdt årvisse gudstjenester ved kapellet. St. Georgs kapell er den eneste gjenstående bygning som den hellige Trifon bygde, og den har derfor stor religiøs betydning for den ortodokse kirken.