Borgestad har vært en betydelig gård helt fra utskillingen som antas å ha funnet sted i yngre jernalder. Den lune havnen mellom de to holmene rett nedenfor tunet har gjennom alle tider hatt en sentral betydning for gården. Det økonomiske grunnlaget for det etterreformatoriske Borgestad ble imidlertid lagt på 1500-tallet da de nye jern- og sagbruksindustriene resulterte i økt trafikk på elva i sommerhalvåret. Denne skipsfarten ga mulighet for fortjeneste ved lasteplassene, og det ble derfor tidlig en bosetning med strandsittere på gården. Denne tiltok utover i 1600-årene og gjorde gården til sentrum i et lite samfunn.