Et av de eldste gateløpene i Holmestrand som stammer fra den tiden byen var «selvgrodd». Her bodde sjøfolk, fiskere og industriarbeidere. Den nordligste delen av veiløpet ble trolig etablert i forbindelse med at jernbanen ble bygget. Den sørligste delen av Bakken har tidligere vært kjent som Steilebakken, noe som kan indikere at det en gang var et rettersted, men dette er ikke kjent fra andre kilder. Gaten unnslapp bybrannen i 1884 takket være jernbanen som fungerte som en branngate. Dette er dermed noen av de eneste gjenværende restene etter småkarsbebyggelse i byen fra 1700 - tallet. Det meste av den opprinnelige bebyggelsen er revet med unntak av to arbeiderboliger fra 17/1800 - tallet (Bakken 22 og 24).