Von 1735 bis 1740 ließ der Abt des Klosters Zwiefalten, Augustin Stegmüller, das Schloss als Sommerresidenz anstatt eines Meierhofes in einem einfachen Barockstil erbauen. Das Schloss liegt über dem 66 m langen Keller, der in den Stein geschlagen wurde. Dieser wurde als Vorratskeller des Klosters genutzt, da in Zwiefalten aufgrund des sumpfigen Bodens kein Keller gegraben werden konnte. Noch heute befindet sich über der Eingangstür zum Hof hin das Wappen des Abtes Stegmüllers.