Storgata og de gamle ferdselsårene som Gamlevegen og Vinterbrøyta er en del av den overordnete strukturen for kommunikasjon og transport som var med på å legge grunnlaget for Lillehammer. Det samme gjelder den viktige ferdselen fra vann til fjell og utmark via Sundgata, Vinterbrøyta og Gamle Norseterveg.
De industrielle mulighetene som lå i vannkraften i Mesnaelva var et viktig utgangspunkt for plasseringen av den nye innlandsbyen. Kraftkrevende industri ble lagt langs Mesnaelva. Ovenfor Storgata og nord for Mesnaelva ligger bygningene til Mesna Bruk. Det er fem bevaringsverdige trehus i området. To bygninger mot Lilletorget er fra før 1850 og plassert i tilknytning til Gamlevegen. Industribebyggelsen er viktig for miljøet. To store produksjonsbygninger er oppført på 1800-tallet og senere påbygd på midten av 1900-tallet. De er eksempler på store industribygninger langs Mesnaelva, og fasadene mot elva er derfor viktige å ta vare på. Sør for Mesna Bruk ligger Brenneriet fra 1842. På nedsiden av Storgata ligger teglsteinsbygningene til Lillehammer Aktiemølle og nedenfor den, Gudbrandsdalen Uldvarefabrik.
Til å begynne med vokste Lillehammer sakte. Fra byen ble opprettet og helt opp til 1912 skjedde byveksten etter de planene som ble trukket opp ved grunnleggingen i 1827. Byplanen, av amtskonduktør Buchholz, la ut den fremtidige byen i form av et rent rutenettmønster, fire kvartaler bredt og tretten kvartaler langt. Alle kvartalene var kvadratiske og like store, og alle gatene hadde samme bredde.
Langs Storgata og i området rundt kirka og Søndre park finner en den eldste bebyggelsen. Her var knutepunktet mellom frakttrafikken på Mjøsa og videre trafikk nordover på kongevegen. Ved Hammer gård var det kirke og markedsplass hvor det i lengre tid hadde vært årlige markeder med betydelig omsetning. Flere av de gamle gårdstunene er fortsatt intakt.
I 1860 lå bygårdene tett i tett langs Storgata gjennom hele byen. Ellers var det bare enkelte tverrgater som var bebygd. Bygårdene bestod, med få unntak, av panelte tømmerhus i empirestil. Byggeskikken fra bygdene omkring ble overført til byen. Langs gata lå våningshusene. I bakgårdene lå staller, pakkbuer, verksteder og bondestuer der bønder med ærend hos kjøpmannen kunne overnatte. Det finnes fremdeles eksempler på slik bakgårdsbebyggelse, selv om mye er gått tapt etter 1960. Håndverk og småindustri var en viktig næring i Lillehammer hele 1800-tallet, og i flere av bakgårdene er det mindre verkstedsbygninger.
Hver vinter i februar ble det holdt marked i Lillehammer. Markedsplassen foran Hammer gard ble for liten i 1870-årene, og byen kjøpte grunn til en ny og større markedsplass nærmere handelssentrum. I 1907 ble Stortorget anlagt der, og Lillehammer fikk faste torgdager. Da kunne bøndene selge produktene sine direkte til byfolket uten kjøpmannen som mellomledd.
Omkring 1900 var Lillehammer i sterk vekst. Lillehammers befolkning ble mer enn fordoblet på 30 år, fra 1832 innbyggere i 1890 til 5189 i 1920. I denne perioden ble byen utvidet med sveitserstilbebyggelse innenfor rutenettplanen. Et nytt trekk på byhusene fra denne perioden er de store butikkvinduene, og en større skala enn empirebebyggelsen. Fra 1890-tallet ble det også bygget frittliggende villaer i sveitser- og dragestil.
Lillehammer ble i 1894 Norges tredje by med elektrisitetsverk. Elektrisiteten var i første omgang myntet på industrien. Bygningene til både kraftstasjonens øvre anlegg fra 1917 og nedre anlegg fra 1921 ligger intakt. Omkring i byen ligger også flere transformatorkiosker i nybarokk stil fra 1920-tallet.
Stortorget er i dag preget av enkeltbygninger fra 1900-tallet av høy arkitektonisk verdi, som Norges Bank og Breiseth hotell fra 1913, tegnet av Wollebæk og Jürgensen i kompaniskap, Lillehammer kino tegnet av Erling Viksjø på 1960-tallet og Lillehammer Kunstmuseum tegnet av Snøhetta før OL i 1994.