Vågsberget har ei lang historie som handels- og gjestgjevarstad med drift tilbake til byrjinga av 1600-talet. Dagens bygningar er i hovudsak fra 17- og 1800-talet, og ligg retta mot vatnet organisert rundt eit indre gardsrom. Sjøhusa ligg med gavlane i vannkanten og her var det krambu og annen verksemd knytt til fiskeri og handel. Hovudbygningen har ei representativ og symmetrisk oppbygd langside med portal mot sjøen. Forma til hovudbygningen og bruken av liggande panel i heile anlegget er karakteristisk for byggeskikken på Vestlandet som er inspirert av bergenske byhus.