Jarlsberg hovedgård ligger like sør for Sem middelalderkirke i et åpent jordbrukslandskap. Den store hovedbygningen med sidefløyer har en stor hage mot sør. Fra hagen går det alleer mot sør, vest og mot øst. I vest ligger store og lille Gullkrona som er en lystskog. Vest for hovedbygningen ligger driftsbygninger.