Das Schloß selbst, das durch ein unerwartetes, privates Vermächtnis an die Königin ermöglicht wurde, war weitgehend das Werk Alberts. Sie und Albert hatten das abgelegene Balmoral 1848, im Jahr der Revolutionen, entdeckt und dort schließlich ein altes Schloß mit Ländereien erworben, auf dem die Königin 1853 den Grundstein für das neue Schloß legte. Vom Stil her eher eklektisch, sollte es sich harmonisch in die Landschaft einfügen. Sein eigentlicher Vorzug war jedoch die Tatsache, daß es, wie die Königin sich ausdrückte, "meines liebsten Alberts eigene Schöpfung, sein eigenes Werk, sein eigenes Gebäude, sein eigener Entwurf" war. "Das Wirken seiner lieben Hand ist überall zu spüren."

Durch seine Lage in Schottland gab Balmoral der viktorianischen Monarchie eine neue schottische Dimension. Mit Ausnahme von Georg IV., der 1822 auf Drängen von Sir Walter Scott nach Edinburgh gereist war, war Schottland seit den Stuarts von keinem britischen Monarchen mehr besucht worden. Victoria und Albert dagegen schätzten beide sowohl die Landschaft als auch die "einfachen und direkten" Menschen. Als die Königin 1844, Jahre bevor sie Balmoral kennenlernte, von ihrem zweiten Schottlandbesuch nach Windsor zurückkehrte, fand sie sich nur schwer damit ab, "wieder hier [zu sein] und [ich] sehne mich nach meinen geliebtenHighlands, den Hügeln, der reinen Luft, der Stille und Zurückgezogenheit, der Freiheit - nach allem - mehr als sein dürfte." 1868 veröffentlichte sie ihre Leaves from the Journal of Our Life in the Highlands, ein zutiefst glückseliges Buch, und 1884 folgte schließlich More Leaves, das von ihrem Leben in Balmoral ohne Albert berichtet. Mit letzterem wollte sie zeigen, "wie ihr trauriges und leidvolles Herz durch die Ausflüge und Begebenheiten, die darin geschildert werden, besänftigt und aufgeheitert wurde". Es war ihrem "ergebenen Kammerdiener und Freund" John Brown gewidmet, jenem rauhbeinigen, schottischen Getreuen, der ihr - nicht unumstritten - in der Zeit ihrer Trauer beistand und gleichzeitig eine Vielzahl von Höflingen und Ministern vergraulte.

Bis zu seinem Tod 1883 war Brown auch in Osborne mit von der Partie. Victoria und Albert hatten 1845 dort ein Anwesen erstanden, "einen ganz eigenen Ort", wie die Königin zu ihrem Onkel Leopold meinte. Das neue Gebäude war wiederum eine architektonische Schöpfung Alberts, diesmal im "italienischen Stil", weil der Solent ihn an den Golf von Neapel erinnerte.