1842 erwarb der aus dem württembergischen Flunau bei Tettnang stammende, in Wangen, Ulm und Ravensburg zu Vermögen gekommene Bierbrauer und Immobilienhändler Joseph Anton Kern (1793-1862) das ehemalige Schanzengelände oberhalb des Rämibollwerks, um eine Bierbrauerei einzurichten. Die nach 1798 eingeführte Wirtschaftsfreiheit und das 1840 beschlossene kantonale Biergesetz bildeten wichtige Voraussetzungen für die Gründung von Brauereien und den Aufschwung der Bierproduktion im Kanton Zürich. In Kerns Auftrag errichtete Wilhelm Waser (1811-66) bis 1844 das Brauereigebäude auf einem künstlich aufgeschütteten Plateau, das die ausgedehnten Keller aufnahm. Zwischen zwei dreigeschossigen Eckbauten – der östliche als Wohnhaus, der westliche als Ökonomiegebäude mit Stallungen und Malzmühle konzipiert – war die eigentliche Brauerei mit Malzdarre, Sudhaus und Kühlschiff im zweistöckigen Mittelteil untergebracht. In den folgenden Jahren entstanden die Fabrikantenvilla mit Garten und Ökonomiegebäude (1844/45, 1956 abgebrochen) sowie ein weiteres Nebengebäude (1851), die spätere Villa „Belmont“.
Als Kern die Brauerei 1852 aufgab, nahm er Wohnung im „Schanzenberg“ und verkaufte die Villa und die Ökonomiegebäude an den „Spinnerkönig“ Heinrich Kunz (1793-1859) aus Oberuster, den damals grössten Schweizer Textilunternehmer, der beabsichtigte, seinen Geschäftssitz nach Zürich zu verlegen. 1862, kurz vor seinem Tod, veräusserte Kern den „Schanzenberg“ an den Seidenhändler Karl Johann Burkhard (1816-83) aus Oberrieden und dessen Schwager, den württembergischen Leinen- und Baumwollhändler Georg Rall-Hummel (1800-72). Die neuen Besitzer erweiterten das Haus um zwei Geschosse: Die beiden fünfstöckigen, nur durch zwei umlaufende Gurten und einen Balkon gegliederten Eckrisalite mit flachem Walmdach und der viergeschossige, analog gestaltete Mittelteil verliehen dem hoch über Florhof und Alter Kantonsschule thronenden Bau einen festungsartigen Charakter. Eine umfassende Modernisierung erfuhr das Haus nach einem erneuten Besitzerwechsel 1896, als die Wohnungen auf der Südseite grosszügige Balkone erhielten.
1862-66 wohnte der literarisch-politische Bohémien Georg Herwegh, der sich 1839 aus Württemberg in die Schweiz abgesetzt hatte, mit seiner Familie in einer der Wohnungen des „Schanzenbergs“. Später lebten hier auch deutsche Studentinnen als Untermieterinnen, die nach Zürich gekommen waren, weil ihnen in der Heimat das Studium verwehrt war, so z.B. Ricarda Huch 1895-96, die sich als Historikerin und Schriftstellerin einen Namen machen sollte, oder Marie Baum (1874-1964), die 1899 in Chemie promovierte, sich nach ihrer Rückkehr nach Deutschland sozialpolitisch engagierte und 1919 als Vertreterin der DDP in die Weimarer Nationalversammlung gewählt wurde. Frieda Bebel (1869-1948), das einzige Kind des deutschen Sozialistenführers August Bebel, kam 1889 nach Zürich, um die Maturitätsprüfung abzulegen. Sie heiratete hier 1891 und zog nach dem Tod ihres Mannes 1912 zusammen mit ihrem Sohn in den „Schanzenberg“. Ihr inzwischen verwitweter Vater weilte oft bei Tochter und Enkel. Als er während eines Kuraufenthalts in Passugg am 13. August 1913 starb, nahm vier Tage später der grösste Trauerzug, den Zürich bisher gesehen hatte, beim „Schanzenberg“ seinen Anfang.
Im gleichen Jahr erwarb der Kanton den „Schanzenberg“, der seit 1918 schrittweise zum Schulhaus umfunktioniert wurde, um Klassen der trotz der 1909 eröffneten Neuen Kantonsschule aus allen Nähten platzenden Kantonsschule aufzunehmen. Zu einer dieser Klassen gehörte 1920 Elias Canetti, der spätere Nobelpreisträger für Literatur. Mit der Eröffnung der Kantonsschule Rämibühl 1970 konnte die Kantonale Mittelschule für Erwachsene in den „Schanzenberg“ einziehen. Ihr folgte 2000-12 die Pädagogische Hochschule, danach die Universität. O.C.