De indeling van het Adendorfer kasteelcomplex - door kenners beschouwd als een van de mooiste aristocratische residenties in het district - gaat terug tot het eerste gebouw in 1337. Van dit gebouw zijn alleen de funderingsmuren en de vier hoektorens overgebleven. Het twee verdiepingen tellende gebouw van het hoofdkasteel met de vier hoektorens werd tussen 1655 en 1670 uitgebreid. De hoefijzervormige boerderij met twee verdedigingstorens vormt de voorburcht. Het was oorspronkelijk gescheiden van de hoofdburcht door een brede gracht.
Een dubbelarmige trap verbindt de gebouwen vandaag en leidt door een poortzaal naar een vierkante binnenplaats met renaissancegevels. In de zomer worden hier concerten gehouden. Het wapen van de heren von der Leyen, de oorspronkelijke eigenaren van kasteel Adendorf in de 16e eeuw, is te zien in het hoofdportaal van het landhuis. Het landhuis is nu eigendom van Baron Georg Freiherr von Loe, wiens voorouders in 1815 eigenaar werden van het kasteel.
Het kasteel kan op afspraak worden bezocht door groepen van 10 personen of meer (10 euro per persoon). U wordt persoonlijk rondgeleid door de kasteelheer.
Al jaren wordt op kasteel Adendorf in het weekend na Hemelvaartsdag de bekende "Landpartie" gehouden.