Da einerseits das Schloss Ludwigs V. aus der ersten Hälfte des 16. Jahrhunderts nie so schwer zerstört wurde, dass man hätte neu bauen müssen, da andererseits die Neubaupläne des 18. Jahrhunderts nicht in die Realität umgesetzt wurden, enthält das Schloss noch zahlreiche Zeugnisse aus allen Baustadien.

Stadtseite

An der Ostseite stammt das erste Geschoss des linken Turms noch von der 1350 erstmals genannten mittelalterlichen Wasserburg. Zu ihr gehört auch das rechts davon ansetzende Mauerstück und wohl auch die Fortsetzung der Mauer auf der rechten Seite. Das Obergeschoss des Turms stammt wie der rechte Vorbau (Standerker) vom Umbau durch Ludwig V.

Von dem vermutlich um 1470 errichteten Kemenatenbau dürfte die als "Spottfigur " bezeichnete Konsolskulptur stammen, die wohl im 19. Jahrhundert rechts neben der Hofeinfahrt angebracht wurde.

Wie vollständig das repräsentative Jagdschloss Ludwigs V. noch im bestehenden Bau erhalten ist, zeigen zwei Bilder von der Süd- und der Nordseite. Deutlich ist die Bossierung des alten Mauerwerks und der Anschluss zum ab 1715 errichteten Neubau des Westflügels zu sehen.

Der selbe Anschluss zwischen Altbau und dem Westflügel des Kurfürsten Johann Wilhelm ist in der Hofdurchfahrt sichtbar, wo die alte, wohl unter Kurfürst Karl Ludwig um 1670 errichtete westliche Torumrahmung beim Neubau belassen wurde. Im östlichen Teil der Durchfahrt wurde ein Konsolansatz des gotischen Kemenatenbaus einfach überbaut.

Vom Erbauer des heute bestehenden Schlosses zeugen schließlich die beiden Torwappen des Kurfürsten Johann Wilhelm und seiner Gemahlin Anna Maria de Medici, die ehemals wohl am vorderen Ende der Zugangsbrücke standen und heute den Eingang ins Schlossareal flankieren.