Andorsengården ble påbegynt i 1801 og sto ferdig fire år senere. Byggherre var Mathias Christian Knutzen (1764-1823). Anlegget består av i alt fire bygninger som er sammenbygget. Bygningene danner en vinkel der hovedbygningen (våningshuset) har fasade mot Store elvegate mens baksiden har fasade mot hagen og Mandalselva. Anlegget ligger sentralt i bydelen Sanden, der flere bygninger er fredet.