I 1894 vedtok Stortinget at det skulle bygges en jernbaneforbindelse mellom Christiania og Bergen. Byggingen av Bergensbanen var et stort samferdsels og industriprosjekt og kostet mer enn et helt statsbudsjett. Jernbaneforbindelsen, som ble åpnet i 1909, var viktig for å forbinde Østlandet og Vestlandet og kortet ned reisetiden betraktelig. Den raskeste reisen mellom Bergen og Christiania hadde tidligere foregått med dampskip og tog langs kysten – en reise som tok flere dager. Bergensbanen var det største prosjektet i jernbanebyggingens historie her i landet. Arbeidet kunne bare utføres sommerstid, og lange avstander i veiløst fjellterreng gjorde at transport av både folk og materialer var en stor utfordring. Den 82 kilometer lange Rallarvegen starter på Haugastøl stasjon og følger Bergensbanen til Finse, Hallingskeid og Myrdal før den fortsetter langs Flåmsbanen til Flåm. Dette er en anleggsvei som måtte bygges for å frakte materiell, utstyr og forsyninger fram til der jernbanen skulle anlegges.
Rallarveien har navn etter anleggsarbeiderne – rallerne. Arbeidet pågikk gjennom flere år, og på det meste deltok 2200 anleggsarbeidere. I alt var det over 15000 arbeidere innom anlegget i byggeperioden. Materiell og andre varer ble fraktet gjennom Hallingdal til Ustaoset og videre med ferjetransport over Ustevatnet til kaia på Haugastøl. Det ble blant annet fraktet dynamitt fra Engene dynamitt fabrikk (Nitroglycerin Compagniet) på Sætre i Hurum. Arkitekt Paul Due (1835–1919) fikk i oppdrag å tegne de permanente jernbanebygningene langs Bergensbanen. Han hadde ansvaret for bygningene på mange banestrekninger, i tillegg til en rekke enkeltbygninger. Han har etterlatt seg over 2200 tegninger i NSBs arkiver. Allerede kort tid etter at vedtaket om bygging av Bergensbanen var fattet, ble det satt opp et stort antall anleggsbrakker, stikningsbuer og andre bygninger. Enkelte var i stein som ble hogd ut på stedet, mens brakker i lemkonstruksjoner ble fraktet på kjerrer på anleggsveien. Disse kunne brukes i flere omganger. Både vokterboliger og stasjonsbygninger, oppført i en kombinasjon av naturstein og tre, ble bygd så tidlig at de kunne brukes også i anleggstida. Noen av bygningene, av typen provisoriske anleggsbrakker, var tenkt brukt som fjøs. Omfanget var lite da husdyrhold i høyfjellet var krevende. Det er bevart flere bruer og murer langs Rallar vegen. Det ligger også flere vokterboliger og sikrings boder langs veien. Landskapet er ganske åpent ved Haugastøl stasjon, med en slak fjellside i nord og Sløtfjorden på 985 moh. i sør. Et kort stykke vest for stasjonen skilles riksvei 7 og Bergensbanen. Jernbanen går videre langs det brede Nygardsvatnet, og her stiger terrenget bratt med frodig bjørkeskog og noe ur på oversida. Fjellgården Nygard fra slutten av 1700-tallet er den høyestliggende gården i landet, på 1000 moh. Rallarvegen følger jernbanelinja tett på det meste av strekningen. Veien er lite endret og følger i hovedsak samme trasé som den opprinnelige Rallarvegen, og følger terrenget uten nevneverdige skjæringer eller fyllinger. Veien ligger imidlertid bare i dagen, mens jernbanen går i flere mindre tunneler og snøoverbygg.