Schloss Solitude wurde von Herzog Karl Eugen als Jagd- und Repräsentationsschloss erbaut. Die Bauzeit zwischen 1764 und 1769 verschlang Unsummen, die sich das Herzogtum Württemberg jedoch so gut wie nicht leisten konnte.Das Schloss wurde an einem lang gezogenen Höhenrücken zwischen den heutigen Städten Leonberg und Gerlingen, direkt an dessen nördlichen Abhang errichtet. Dort stand es weit und breit einsam, daher auch der Name Solitude, auf französisch Einsamkeit. Von Schloss Solitude hatte der Herzog einen guten Blick auf Ludwigsburg, wo er sein Residenzschloss besaß. Dorthin ließ er die schnurgerade nach Norden laufende Solitudenallee bauen. Diese diente während der Regent seinen Hof in Ludwigsburg hielt, als Verbindungsachse zwischen den beiden Schlössern. Wie bereits erwähnt, wurde das Schloss während politischer und finanzieller Wirren errichtet. Herzog Karl Eugen hatte sich während des sieben jährigen Krieges gegen Preußen gestellt, was sich als Fehler erwies, denn er gehörte damit zu den Verlierern des teuren und verlustreichen Krieges. Außerdem war Karl Eugen ein überaus bau- und repräsentationsfreudiger Fürst, der gerne über den Möglichkeiten zu Leben pflegte. Seine prunkvolle Hofhaltung spiegelt sich im Lustschloss Solitude wider.
Schloss Solitude wurde unter Anleitung von Hofbaumeister Philippe de La Guêpière und unter tatkräftiger Unterstützung des Herzogs höchst persönlich entworfen. Äußerlich ist es ein typisches Rokoko-Schloss. Im Inneren jedoch macht sich schon die beginnende klassizistische Epoche bemerkbar: Statt der unregelmäßigen, lebhaften Formen des Rokoko findet man bei der Raum- und Wandaufteilung ebenmäßige, ruhige klassische Proportionen.
Nachdem die Hohe Karlsschule von Schloss Solitude nach Stuttgart verlegt wurde, wurde dieses vernachlässigt. So verfiel Schloss Solitude immer mehr. Mitte des 20. Jahrhunderts wurde sogar die Bausubstanz angegriffen und die Feuchtigkeit konnte ungehindert in die Räume eindringen. Dabei verrotteten auch die herrlichen Deckengemälde von Nikolas Guibal und die Deckenfresken im Inneren des Schlosses durch Wasserschaden weitgehend. 1972 nahm sich dann die Bundesrepublik Deutschland dem mittlerweile stark baufälligem Schloss an und renovierte es bis 1982 vollständig. Hierbei wurden auch die Gemälde und Fresken wiederhergestellt.
Seit 1990 ist in den Nebengebäuden des Schlosses, den beiden Officen- und Kavaliersgebäuden, wieder eine Akademie namens Schloss Solitude untergebracht. Die sich wie die Hohe Karlsschule auch die Förderung des künstlerischen Nachwuchses zur Aufgabe gemacht hat. Die Kavaliersgebäude dienen unter anderem als Wohnhäuser für Stipendiaten. Außerdem wurde auch das Graevenitz Museum in Solitude untergebracht. Es zeigt Werke des Stuttgarter Bildhauers Fritz von Graevenitz (1892-1959).