Grytøya og Grøtavær har navnet sitt fra det gammelnorske grjótr, som betyr stein. Her er mye rullestein i åkrene og store steinblokker etter siste istid ligger strødd utover. Grøtavær og Alvestad vernes mot den vide Andfjorden og storhavet av skjærgården utenfor som har et vell av holmer og øyer med hvite sandstrender. Bygdene ligger sentralt i forhold til gode fiskeplasser i Andfjorden og Toppsundet, og fisket hadde helt fram til nyere tid stor betydning i kombinasjon med landbruk. Dette vises tydelig i de strandnære tuftene, støene, naustrekkene, bryggene og egnebuene nede ved sjøen. En annen viktig ressurs er det frodige beitelandet. Selv om jorda er karrig og steinet, er det fra fjære til fjell grønne gressletter som beites av sau. Dalgangene innover fjellmassivet bak bebyggelsen har også vært viktige ressursområder, både for beiting, myrslått og jakt.
I bygdene finnes kulturminner med stor tidsdybde og variasjon, fra eldre steinalder og fram til nyere tid. Allerede i eldre steinalder bodde det folk inn mot fjellfoten på Grøtavær og på Alvestad, og på Skarstein finner vi store, tydelige tufter fra yngre steinalder.
Langs kyststripa og på øyene ligger det flere felt med store gravrøyser fra jernalderen. Lave gravrøyser finnes dessuten i beitelandet over bebyggelsen i Grøtavær. I steinura i Lebukta i utkanten av bygda Alvestad er det registrert et stort antall gravrøyser som har en sjelden utforming. Dette ser ut til å være graver som har elementer fra både norrøn og samisk gravskikk. Veneset ved Alvestad har en unik samling av steinaldertufter og små og store gravrøyser, der de største kan være fra bronsealderen. Alle disse kulturminnene er godt synlige i landskapet og i god stand.
I hver av bygdene finnes det en gårdshaug fra middelalderen hvor de fleste av husene var plassert før utskiftinga som fant sted på slutten av 1800-tallet. Her finnes metertykke kulturlag fra mange hundre års bosetting på samme sted. Før utskiftinga ble disse gårdstunene drevet i fellesskap.
Bygdene har også en godt bevart bebyggelse fra perioden 1850-1960-tallet.
Øyene og holmene har vært en viktig ressurs for bygdene. De er brukt til beite, slått, og egg- og dunsanking. I perioder på slutten av 1800-tallet (Storsildtida) ble det gjort store sildefangster rett utenfor bygdene, og det ble opprettet et salteri på Skipperøya.
I dag har bygdene Alvestad og Grøtavær fremdeles landbruk (sauedrift med utegangersau) samt noen små bedrifter knyttet til leirskole og reiseliv, mens Dale er i ferd med å bli et rent feriested. Skarstein ble fraflyttet på tidlig 1900-tall, og nå er bare tuftene igjen etter bosettinga på Grytøyas eksponerte nordside.
Hovedstrukturen i bebyggelsen er at våningshusene ligger på rekker langs bygdevegen, mens fjøsene ligger bak og sommerfjøsene er plasserte inn mot fjellfoten på rekke eller i klynger. De smale teigene er skilt med steingjerder. Nede ved sjøen ligger bryggemiljø, støer og lange naustrekker som viser rester etter bygdas fellesdrift. Naust- og bryggerekka på Grøtavær er den best bevarte i Troms.
Grøtavær har en strategisk beliggenhet i Andfjorden, med god oversikt over skipstrafikken inn mot Harstad og bygdene rundt. Tyskerne bygde derfor et kystfort her under andre verdenskrig. Fortet ble også brukt under den kalde krigen. I terrenget like nord for Grøtavær finnes det mange tydelige spor etter begge periodene.