Deutsches Klimarechenzentrum

Ausführliche Referenz

Erfolgreiche Klimaforschung setzt höchste Rechenleistung voraus. Mit einem aus über tausend Prozessorkernen bestehenden System wurde am Deutschen Klimarechenzentrum ein Linux Cluster mit einem Hochgeschwindigkeitsnetzwerk implementiert. Auf dem System sind umfangreiche Klimaszenarien in einer völlig neuen Qualität berechenbar.

Das Verständnis für globale Klimaveränderungen ist von wesentlicher Bedeutung für langfristige Entscheidungen auf unserem Planeten. Zwei führende Forschungseinrichtungen in Europa sind das Deutsche Klimarechenzentrum (DKRZ) und das Max–Planck–Institut für Meteorologie (MPI-M) in Hamburg. Dort erforschen Wissenschaftler das Erdsystem und die Wechselwirkungen von Atmosphäre, Ozean, Land und Vegetation mit Hilfe numerischer Modelle, die in Simulationen auf Hochleistungscomputern berechnet werden.

In der Vergangenheit wurde die Berechnungen der Klimasimulationen im DKRZ vorwiegend auf Vektorsystemen mit einer verhältnismäßig geringen Zahl parallel genutzter Prozessoren vorgenommen. Um die Skalierung und Effizienz der eingesetzten Klimamodelle auf zukunftsweisenden hoch parallelen Rechnersystemen zu testen und zu verbessern, suchten die IT-Verantworlichen Dr. Joachim Biercamp, Leiter wissenschaftliches Rechnen am DKRZ und Rainer Weigle, Leiter Central IT–Services am MPI-M, nach einer neuen Systemlösung, die es ermöglicht, die rechenintensiven Aufgaben auf viele parallele Prozesse zu verteilen. Das neue System sollte zudem auch die hohen Speicher- und Input-Output-Anforderungen effizient erfüllen. Unter Abwägung aller Anforderungen kristallisierte sich für diesen Zweck ein Clustersystem unter Linux als die am besten geeignete Lösung heraus.

Höchstgeschwindigkeit mit intelligentem Konzept Das Projekt wurde öffentlich ausgeschrieben. „ Aufgrund des schlüssigen Konzepts und des guten Preis–Leistungsverhältnisses haben wir Sun Microsystems den Auftrag erteilt, einen Linux Cluster zu implementieren, der den hohen technischen Anforderungen auch in den nächsten Jahren sicher gerecht wird“, erläutert Rainer Weigle die Entscheidung, und ergänzt „ dabei war für uns die ausgewiesene Erfahrung des Herstellers im High Performance Computing sehr wichtig“.

Den Kern des Systems bilden 256 Rechnerknoten des Typs Sun Fire X2200M2 Server mit jeweils zwei AMD Opteron Doppelkern–Prozessoren, die in der Summe 1024 Prozessorkerne ausmachen. Jeder Rechnerknoten enthält einen 16 Gigabyte großen Hauptspeicher. Als Frontend–Rechnerknoten fungieren fünf schnelle Sun Fire X4600M2 Server mit jeweils 8 AMD Opteron Doppelkern–Prozessoren. Zur Nutzung des schnellstmöglichen Datentransfers sind die Rechner untereinander per Double Data Rate Infiniband von Voltaire verbunden. Die Bandbreite dieser Technologie beträgt je Infiniband–Link beachtliche 20 Gigabit pro Sekunde.

Paralleles Dateisystem beherrscht größte Datenmengen
Eine weitere Besonderheit dieses Clusters ist der Einsatz von acht Sun Fire X4500 Servern mit einer Bruttokapazität von je 24 Terabyte Festplattenspeicher, die die Rechnerknoten gleichzeitig mit Daten versorgen. Möglich wird dies durch den Einsatz des parallelen Lustre File System, das den Datentransfer drastisch beschleunigt. Bisherige Dateisysteme haben die Daten von einem zentralen Server – mit entsprechendem Zeitaufwand – seriell an die einzelnen Rechnerknoten verteilt. Neben der hohen Geschwindigkeit liegt ein weiterer herausragender Vorteil des Lustre Dateisystems in der hohen Skalierbarkeit von bis zu mehreren tausend Rechnerknoten mit Datenkapazitäten im Petabyte–Bereich.

Um die Interoperabilität zu dem im MPI–M eingesetzten Dateisystem Sun StorageTek QFS (Quick File System) sicherzustellen, wurden zwei Sun Fire X4200M2 Server als Gateway–Knoten installiert, die sowohl mit Lustre als auch mit QFS arbeiten. Auf diese Weise können beide Storage–Welten Ressourcen untereinander austauschen.

In Verbindung mit der intelligenten Architektur erreicht die Performance des Systems den beachtlichen Wert von 5,6 Teraflops (Billionen Gleitkommaoperationen pro Sekunde). Diese hohe technische Leistungsfähigkeit ist für Anwender die Voraussetzung, die eingesetzten Simulationsmodelle in kürzerer Zeit zu verbessern und auch schneller an neue Systeme anzupassen.

Einfache Bedienung - hohe Systemstabilität
Als Ressource Management System des Linux Clusters ist die Sun Grid Engine im Einsatz. Diese Systemsoftware steuert das Management der gesamten Jobs, indem es deren optimale Verteilung auf die einzelnen Rechnerknoten vornimmt. „Mit der Sun Grid Engine sind wir besonders wegen der einfachen Bedienbarkeit zufrieden“, lobt Rainer Weigle die hohe Benutzerfreundlichkeit der Software.

Über den Projektverlauf äußert sich Dr. Joachim Biercamp begeistert: „Die schnelle Inbetriebnahme des Clusters und die hohe Systemstabilität in der Produktionsphase haben uns in der Richtigkeit der Entscheidung voll bestätigt.“