Die Vorgeschichte der Eidgenössischen Sternwarte reicht bis ins mittlere 18. Jahrhundert zurück, als die 1746 gegründete „Physikalische Societät“ (heute Naturforschende Gesellschaft) 1759 auf dem Dach des Zunfthauses „Zur Meise“ eine kleine Sternwarte zur Sonnenbeobachtung einrichtete. Hier bestimmte Johannes Gessner (1709-90) den Meridian seines Standorts mit grosser Genauigkeit. 1773 wurde die Sternwarte auf den Karlsturm des Grossmünsters verlegt und 1810/11 auf die Schanze neben der Kronenpforte (heute Universität). Die astronomischen Beobachtungen wurden unter anderem zur Vermessung des Kantons und zur Zeitbestimmung gebraucht und waren auch mit dem Sammeln von Wetterdaten verbunden. 1855 übernahm das neu gegründete Polytechnikum (heute ETH) die Sternwarte und die astronomischen Instrumente der „Naturforschenden Gesellschaft“.
Rudolf Wolf (1816-93), Professor für Mathematik und Astronomie an der neuen Hochschule, der sich 1839 vergeblich für den Bau einer neuen Sternwarte eingesetzt hatte, drang nun mit seinem Anliegen durch: Der Kanton Zürich stellte das Grundstück am Schmelzberg zur Verfügung, der Bund finanzierte den Bau und Gottfried Semper entwarf das Gebäude auf der Grundlage von Wolfs Bauprogramm der modernsten Universitätssternwarten Europas. Der 1861-64 realisierte, funktional gegliederte, repräsentative Neurenaissance-Mehrzweckbau auf L-förmigem Grundriss mit drei in ihrer Grundfläche gleichen, in der Höhe gestaffelten Kuben und einem Rundturm wirkt durch den hohen Rustikasockel auf der Talseite burgartig.
Der die Terrasse für Freilichtbeobachtungen nördlich begrenzende eingeschossige Nebenflügel nahm die Bibliothek und den Meridiansaal auf, durch dessen Schlitze in Fassaden und Dach die Meridianpassagen der Sterne vom Nord- bis zum Südhorizont beobachtet werden konnten. Der abgewinkelte dreigeschossige Haupttrakt mit dem nördlich anschliessenden überkuppelten Zylinder des Observatoriums wurde im Erdgeschoss von der Eingangshallte eingenommen, die zugleich als Instrumenten- und Modellmuseum diente und Zugang zum Erdgeschoss des zweigeschossigen Kubus mit Hörsaal und Büros gewährte.
In den Obergeschossen der beiden seitlich verschobenen Kuben befand sich die Wohnung Rudolf Wolfs mit Arbeitsräumen. Im hohen Erdgeschoss werden die Gebäudeteile durch die umlaufende Sandsteinfassade mit grossen Rundbogenfenstern zusammengehalten. Die leicht wirkenden, gelb verputzten Fassaden darüber sind durch Sandsteinlisenen zwischen den Fenstern und durch Simse zwischen den niedrigeren Obergeschossen gegliedert. Ein Sgraffito-Dekorationsband mit pflanzlichen Motiven nach Sempers eigenen Entwürfen umschliesst das Observatorium im vierten Turmgeschoss unter der drehbaren Kuppel.
Bereits vor seiner Berufung ans Polytechnikum hatte Rudolf Wolf entdeckt, dass die Schwankungen der Sonnenfleckenaktivität und jene des Erdmagnetfeldes korrelieren. Daher sammelte er die Beobachtungen der Sonnenflecken – seit deren Entdeckung im frühen 17. Jahrhundert – organisierte ab 1849 ein internationales Beobachternetz und entwickelte einen statistischen Aktivitätsindex der Sonnenaktivität. Nach seiner Methode wurden an der Eidgenössischen Sternwarte bis zur Einstellung des Betriebs täglich Sonnenfleckenzählungen durchgeführt. Unter Wolfs Leitung entwickelte sich die Eidgenössische Sternwarte zudem rasch zu einem nationalen Angelpunkt der geodätischen Landvermessung, der Zeitmessung und der Meteorologie. Da astronomische Positions- und Zeitbestimmungen genaue Luftdruck- und Temperaturmessungen voraussetzen, wurde 1864 in der Sternwarte die Meteorologische Zentralanstalt (heute MeteoSchweiz) eingerichtet, die hier Wetterdaten aus der ganzen Schweiz sammelte und auswertete, bis sie 1881 zu einem selbständigen Bundesinstitut wurde.
Die Überbauung der Umgebung der Sternwarte im 20. Jahrhundert beeinträchtigte die Beobachtungsmöglichkeiten immer mehr, so dass der Standort 1980 aufgegeben wurde. Nach der Renovation des Gebäudes 1995-97 wurde es Sitz des Collegium Helveticum. O.C.