Øya deles omtrent midt på av et markert eid. Eidet er et sammenhengende innmarksområde fra fjære til fjære, fra sør til nord, med bebyggelsen i hovedsak samlet i to rekker – Øvergården og Nergården. Aktivt jordbruk preger landskapet. I heiene på begge sider er det fra gammelt av gode sauebeiter, selv om kratt og skog nå er i ferd med å ta over.
På andre halvdel av 1800-tallet tok Th. Winther, en av datidas omreisende arkeologer, til orde for at Tore Hund kunne ha bodd på Øvergården. Tore tilhørte det som kalles Bjarkøyætten - en høvdingætt fra vikingtida med hovedsete på Bjarkøy. I middelalderen ble ætten en lendmannsslekt med store eiendommer i og utenfor Hålogaland. Tore var en mektig høvding i Hålogaland og en av lederne i opprøret mot kong Olav Digre (Olav den hellige). I følge Snorre var også Tore en av de som drepte kongen i slaget på Stiklestad.
Også vår tids arkeologer har antatt at Øvergården må være riktig plassering av et høvdingsete. Bebyggelsen ligger på toppen av eidet. Der ligger også øyas største og dypeste gårdshaug. Herfra ser man over Kvernsundet og ut i skipsleia mot sørøst, og mot nord kan man se over bebyggelsen på Nergården mot Vågsfjorden og Senja. Ned mot sjøen, både i sørlig og nordlig retning, ligger fruktbar innmark. Tidligere har det vært dyrket korn i området, og «Bjarkøybygget» var et kjent begrep. Ennå står noen av Bjarkøys eldste bygninger på Øvergården, som Ole Ottestadtunet, med våningshuset fra 1870-tallet og driftsbygningen av mektig russetømmer fra rundt 1900-tallet. På den tydelige strandterrassen langs sjøen i nord ligger Nergården - en rekke med velholdte våningshus og fjøs fra 1800- og 1900-tallet. I Nergårdsvika står naust på rekke og rad – og i bakkant ligger den store nausttuften som angivelig skal være restene av langskipsnaustet til Tore Hund.
Det kan imidlertid også tenkes at naustet har tilhørt Tores oldebarn, Vidkunn Jonssønn. I Magnus Berrføtts saga står det at Vidkunn (f. 1070) og faren, Jon Arnesønn Giske, ble jaget fra Bjarkøy (ca. 1095) av motstanderne til kong Magnus, som røvet alt løsøre og brente gården og et langskip som Vidkunn eide. «Midt på Bjarkøy brenner beste gården jeg vet om»,», sier et kvad i sagaen.
Bjarkøy-ætta fortsatte å spille en viktig rolle så vel i Hålogaland som i riksstyret i Norge fram til 1300-tallet. Ættas våpenskjold brukes i dag som fylkesvåpen for Troms.
Ved sjøen i sør ligger ett av de største gravfeltene som ennå er bevart på Bjarkøy, og på Frihågen, en avsats i berget i vestenden av Øvergården, ligger et annet gravfelt. Herfra er det vidt utsyn både over bebyggelsen og mot sjøen i nord og sør. Nedenfor det store gravfeltet i Øvergårdsvika er det rester etter flere jernaldernaust, men de er mindre enn det store naustet på nordsiden. Selv om mange av gravene på innmarka nå er borte, gir strekningen over eidet på Bjarkøy et inntrykk av kontinuitet: frodige jorder, bebyggelsen samlet på de tørrere strandvollene, naust ved sjøen og slektenes graver nær de levende. På begge sider er det heier og fjell, som sannsynligvis er brukt til utmarksbeite langt tilbake i jernalderen.