In der Zeit zwischen 1803-1811 kaufte der schottische Lord James Ogilvy, 7. Earl of Findlater (1750-1811) die Weinberge an der Elbe von der "Saloppe" bis zum "Mordgrund" und ließ an der Stelle des heutigen Schlosses ein Landhaus errichten. Im Jahr der Fertigstellung 1811 verstarb Lord Findlater. 1821 entwickelte sich das Palais unter seinem neuen Besitzer, Johann Gabriel Krebs, zu einem der beliebtesten Ausflugsgaststätten Dresdens. Richard Wagner, E.T.A. Hoffmann, Wilhelm von Kügelgen und Gottfried Semper waren seiner Zeit Gäste im Palais.

Laut Grundbuch der Gemeinde Loschwitz erwarb Baronin von Stockhausen (1811-1888) das Areal "Findlaters Weinberg" 1850 im Auftrag von Prinz Albrecht von Preußen (1809-1872) für 16.000 Taler. Prinz Albrecht, der sich mit seiner zweiten Gemahlin Gräfin von Hohenau (1820-1879) aufgrund ihres niederen Standes außerhalb Preußens nach einem neuen Wohnsitz umschauen musste, übertrug der Frau seines Kammerherren die Standortsuche. Sie ließ im Auftrag des Prinzen unter Nutzung der Grundmauern des "Findlaterschen Palais'" das neue Schloss errichten.

Der preußische Hof- und Landbaumeister Adolf Lohse (1807-1867), ein Schüler Schinkels, entwarf den Plan für eines der wenigen spätklassizistischen Bauwerke in Dresden. Wesentlich für die Gestaltung war der Rückgriff auf Formen klassischen Bauens - griechische und römische Antike, italienische Renaissance und ihre traditionelle Verwendung. Vorbild für die Gestaltung des Schlosses war u. a. die Villa d`Este bei Rom.

Der preußische Gartenbaumeister Eduard Neide (1818-1883) projektierte die Parkanlagen, Hofgärtner Herrmann Sigismund Neumann führte sie aus. Unter der Hand Neumanns entstanden vier Landschaften, die von geschwungenen Wegen durchquert sind, die über Brücken und einen Viadukt führen, vorbei an künstlich angelegten Teichen, Felsen und einem Wasserfall.

Noch vor Fertigstellung Schloss Albrechtsbergs wurde die benachbarte Villa Stockhausen vollendet. Was als Domizil für seinen Kammerherrn erbaut wurde, diente zunächst Prinz Albrecht und seiner Gemahlin ein Jahr als Wohnort, bevor sie sich 1854 im Schloss Albrechtsberg niederließen.

Nachdem Prinz Albrecht im Oktober 1872 und Gräfin von Hohenau im März 1879 verstorben waren, blieb der jüngere Sohn Friedrich bis zu seinem Tod 1914 im Schloss wohnen. Danach nahm sein Bruder Wilhelm seinen Wohnsitz im Schloss.

1925 verkaufte dieser auf Grund von Spielschulden Schloss und Grundstück an die Stadt Dresden.

Fünf Jahre später zum Osterfest, wurde der Park für die Bürger und Gäste der Stadt geöffnet und erfreute sich bald großer Beliebtheit. Der damalige Oberbürgermeister Dr. Külz sah eine rasche städtebauliche Ausdehnung Dresdens voraus und wollte die 13 ha große Parkfläche als "zweiten Großen Garten Dresdens" für die Stadt erhalten.

Während des zweiten Weltkrieges wurden 1937 Park, Pferdeställe und Reithalle von einer SA-Reiterstaffel genutzt. Ab 1943 dienten die Keller des Schlosses tagsüber als Luftschutzkeller für Kinder aus Dresdner Kinderheimen.

Nach dem 8. Mai 1945 wurden alle drei Schlösser, die von Angriffen verschont geblieben waren, durch Frontsoldaten der Roten Armee belegt. Plünderung und Zerstörung waren die Folge.

Schloss Albrechtsberg war danach für kurze Zeit Sitz der Sowjetischen Militäradministration.

Die Stadt Dresden verkaufte das Schloss an das Außenhandelsministerium der UdSSR. Es wurde nach umfangreichen Renovierungsmaßnahmen durch den Architekten Köckritz im Dezember des Jahres 1948 als "Intourist" Hotel eröffnet.

1951 erfolgte der Rückkauf des Schlosses durch die Jugendheim GmbH Berlin. Es entstand der erste Pionierpalast nach sowjetischem Vorbild auf dem Gebiet der DDR. Der Pionierpalast "Walter Ulbricht" diente der Freizeitgestaltung von Schülern. Seit 1952 ist die Stadt Dresden erneuter Eigentümer.

Der Vorsitzende des Denkmalschutzes des Bezirkes Dresden, Professor Nadler, erklärte das Schloss 1977 zum Nationalen Kulturdenkmal. Jede Veränderung, welche die Innenarchitektur schädigend oder ändernd beeinflusst hätte, musste nun unterbleiben. Die schrittweise Restaurierung wird bis zum heutigen Tag behutsam fortgesetzt.

Seit Herbst 1990 wurde durch die Stadt Dresden eine neue Nutzungskonzeption für Schloss Albrechtsberg verwirklicht. Sie stellt das Baudenkmal Schloss mit der ihm eigenen kulturhistorischen Ausstrahlung und die Einzigartigkeit der gesamten Schlossanlage in den Mittelpunkt. Besondere Aufmerksamkeit wurde einer grundlegenden Umstrukturierung der Schlossnutzung gewidmet.

Die künstlerische Arbeit mit Kindern, ein Schwerpunkt im damaligen Pionierpalast, wird seither durch die "JugendKunstschule Dresden" mit Sitz im Schlossareal fortgeführt.

Von 1991 - 2015 war die Hotel- und Gaststättenschule Schloss Albrechtsberg GmbH als private Ausbildungsstätte und Cateringpartner ebenfalls ansässig im Schlossgelände.

Schloss Albrechtsberg bietet mit seinem edlen Ambiente einen repräsentativen Rahmen für Bälle, Bankette, Konferenzen, Präsentationen, Konzerte, Preisverleihungen, Hochzeiten und Eheschließungen. Das gesamte Schloss oder einzelne Etagen können für exklusive Festlichkeiten gemietet werden.