Der Schwanberg ist eine markante Erhebung am westlichen Rand des Steigerwalds, die 200 Meter über die flachere Landschaft des Mainfränkischen Beckens ragt. Das Plateau fällt nach drei Seiten steil ab. Wegen seiner außergewöhnlichen Lage ist der Schwanberg seit Jahrtausenden ein Zufluchts- und Siedlungsort des Menschen.

Seit dem 13. Jahrhundert ist eine Burg auf dem Schwanberg nachgewiesen. Das bestehende Schloss erwarb 1911 Alexander Graf von Faber-Castell. Durch dessen Heirat mit Ottilie von Faber wurde der bekannte Name der Bleistiftdynastie Faber-Castell begründet. Nach der Trennung von Ottilie und seiner zweiten Heirat mit Margit Gräfin von Zedtwitz im Jahre 1920 zog sich Alexander vom Firmensitz in Stein bei Nürnberg wieder in seine unterfränkische Heimat zurück und nahm wieder den ursprünglichen Familiennamen Castell-Rüdenhausen an. Diese Rückkehr war auch der Anlass zur Anlage eines neuen großen Parks: Auf dem Sporn des Schwanbergs ließ Graf Alexander von 1919 bis 1921, also in einer Zeit, die ansonsten von Entbehrung und Not geprägt war, den Schlosspark in Form eines ungewöhnlich großen Privatgartens im Reformgarten-Stil anlegen. Der Entwurf stammt vom ersten Büro für Gartenbau und Gartenarchitektur Bayerns, der Fa. Möhl und Schnizlein, welches 1896 vom pensionierten Hofgärtendirektor Jakob Möhl gegründet worden war. Die auf Villen- und Landhausgärten spezialisierte Firma, die – wie damals oftmals üblich – auch die Ausführung der Anlage besorgte, war im mondänen Münchener Villenviertel Bogenhausen ansässig und besaß weitere Firmensitze in Feldafing am Starnberger See und im Nürnberger Villenviertel Erlenstegen. Die Anlage auf dem Schwanberg wurde von der Nürnberger Filiale aus bearbeitet.

Die Anlage ist formal gestaltet. Endpunkt der 550 Meter langen Hauptachse ist das Mausoleum. Vom Schloss her kommend durchwandert der Besucher mehrere Gartenräume, die von Baumgruppen, einer Linden-Allee und Linden-Reihen gefasst werden. Der hippodromförmige Raum um den steinernen Tisch und den Obelisken ist der intimste Gartenraum, gleich in der Nähe des Schlosses. Der Neptunbrunnen markiert den Schnittpunkt mit einer breiten Querachse, die von einer großen Pergola zu einer Aussichtsplattform reicht.

Die streng gefassten Gartenräume lagen ursprünglich innerhalb großer Parkwiesen, die von Baumgruppen und reich strukturierten Gehölzrändern gefasst waren. Große Teile wurden allerdings bereits früh aufgeforstet. Nun hat sich der Wald Bereiche des Gartens, wie das Alpinum an der Nordflanke des Berges, fast vollständig zurückerobert. Versteckt im Wald liegen das Prinzessinnenbad und eine weitere Aussichtskanzel.

Lange Jahre war der Park noch im Familienbesitz, namentlich von Radulf Graf zu Castell-Rüdenhausen, dem 1922 geborenen Sohn von Graf Alexander. Seit 2006 ist der Schlosspark auf dem Schwanberg im Besitz des Geistlichen Zentrums Schwanberg e. V. Der Schlosspark wurde ab 2009 umfangreich wieder hergestellt. Im Zuge dieses Projekts sind auch Schlossparkführer geschult worden.