Stillesholmen ligger på en liten høyderygg midt i den ellers flate Lierdalen, nær Lierelva. Ryggen er markert ved store trær i et ellers trefattig jordbrukslandskap. Adkomsten til anlegget er fra vest og går på den smale ryggen som til å begynne med kun har plass til veien. På begge sider av veien er det store trær. Nærmere våningshuset vider ryggen seg noe ut; her er det også store trær langs kanten.
Stillesholmen er nevnt i et skøte fra 1756. Eiendommen ble da skilt ut fra hovedbruket nordre Stokke, som ligger på den andre siden av Lierelva. Krambods- og trelasthandler Stille Christensen (1658-1762) på Bragernes, som var eier, overdro det utskilte arealet til sønnen Peder Stillesen. Sønnen døde allerede i 1760, og bruket gikk tilbake til faren. I 1762 overtok sønnen Christen Stillesen (1729-1795) bruket. Etter ham gikk Stillesholmen i arv til etterkommende slekt. I 1914 overtok søstersønnen Christen Stillesen Mellbye, siden overtok hans datter Karin Mellbye Gjesdahl. I dag er hennes sønn Christen Mellbye Gjesdahl eier.
Ifølge skjøtet fra 1756 ble det da oppført hus på eiendommen. Det tyder på at den helt fra begynnelsen har vært benyttet som lystgård, dvs. at eieren og hans familie som bodde fast i Bragernes, har bodd her om sommeren. Samtidig har det vært drevet jordbruk her. I 1899 ble en del av gården fradelt. Dette er Stokkeholmen, som ligger rett øst for gjenværende del av Stillesholmen.
Våningshuset er høyst sannsynlig fra 1756 da eiendommen ble utskilt. Den er et toetasjes tømmerbygning med svalgang langs hele den ene langveggen og har en typisk 1700-tall planløsning. Hovedbygningen har bevart svært mye av sitt 1700-talls preg, både i eksteriør og interiør. Hagen rundt danner med sine mange og store trær en ramme rundt hovedbygningen og er et markant trekk i det ellers åpne landskap.
Stillesholmen ble bygd som lystgård. De første lystgårdene i Drammensdistriktet ble anlagt helt på begynnelsen av 1700-tallet, men fortgang i etableringen av slike ble det først mellom 1755 og 1775. I denne perioden var det gunstige økonomiske tider for handelen i Drammen, og de neste 100 år ble det bygd nærmere 50 lystgårder i Drammens omegn. Av 1700-tallets lystgårder er Stillesholmen en av svært få hvor hovedbygningen fortsatt står i tilnærmet uendret stand. Et maleri fra 1820 viser at anlegget i dag står omtrent som det gjorde for 180 år siden.