Das mittelalterliche Schloss war seit 1625 Sitz der Herren von Stauffenberg. Seit den 1970er Jahren befindet es sich im Besitz der Gemeinde Lautlingen, die heute zur Stadt Albstadt gehört.
Die Widerstandskämpfer Berthold und Claus Schenk Graf von Stauffenberg verbrachten ab 1918 einen überwiegenden Teil ihrer Kindheit und Jugend im Schloss. Claus erholte sich hier im Spätsommer 1943 von seiner schweren Kriegsverletzung und traf mit seinem Bruder Berthold wie auch Rudolf Fahrner zusammen. Bei diesen Treffen entstanden die „Lautlinger Leitsätze“, in denen sich die grundlegende Kritik am Nationalsozialismus wiederfand.
Seit 2007 gibt es im Schloss eine Dauerausstellung über das Leben von Claus von Stauffenberg. Sie wurde mit Unterstützung der Landesstiftung Baden-Württemberg eingerichtet und beleuchtet den Werdegang Stauffenbergs und seine Einstellung zum NS-Regime bis zum Widerstand gegen Hitler.