Skalle ligger på et lite høydedrag innerst i Syltefjorden, med utsikt utover fjorden mot nord. Det var tidligere flere fredede bygninger på gården, men idag er det kun steinfjøset som er formet fredet.
Det freda steinfjøset ligger litt tilbaketrukket oppe i skogkanten like sørvest for gårdens nye hovedbygning, ei grindløe og ei eldre stovebygning (nå fjøs).