Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB)

Ausführliche Referenz

Im Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB) arbeiten 250 Mitarbeiter an Problemen der anwendungsorientierten algorithmischen Mathematik und praktischen Informatik. „Wir befassen uns zum Beispiel mit mathematischen Lösungen für die optimierte Nutzung von Chipflächen“, erklärt Wolfgang Pyszkalski, seit 1996 Leiter der Abteilung IT-Services im ZIB. Außerdem bietet die Einrichtung Hochleistungsrechnerkapazität für externe und interne Nutzer als Dienstleistung an. Das erfordert schnelle und hochleistungsfähige Speicher und Server.

Hochleistungscluster und Speichernetz ersetzen die alte Direct-Attached-Storage-Infrastruktur
Schon lange nutzt das ZIB Server von Sun Microsystems, bis 2003 mit direkt daran angebundenen Speichersystemen. Dann gingen die nötigen Kapazitäten steil nach oben. Während das Institut 2003 fünf TByte verwaltete, waren es 2004 schon 17 TByte und im vergangenen Jahr 442 TByte. Für 2008 sind mehr als 600 TByte angepeilt. Weil es dieses Wachstum erwartete, stieg das ZIB in die vernetzte Speichertechnik ein: Es erwarb 2003 einen Sun Hochverfügbarkeits- Cluster, das über einen FC-Switch von Qlogic an Speicher-Arrays angebunden war. 2005 entschied sich das ZIB zum ersten Mal für Sun StorageTek Arrays. Der Anstieg hat einsichtige Gründe. Zum einen entwickelt das ZIB hochleistungsfähige Visualisierungsanwendungen, andererseits müssen große Datenmengen als Zwischenschritte in Ketten von aufwendigen Berechnungen gespeichert werden . 2008 wurde ein zweiter Hochleistungsrechner für den norddeutschen Raum (HLRN II) installiert. Für ihn stehen 150 TByte zentral verwaltetes Speichervolumen zur langfristigen Datenhaltung über das SAN zur Verfügung, wobei für die Anwender eine Geschwindigkeit von bis zu 3 GByte/s als Nutzleistung erlebbar ist. Schließlich braucht der D-Grid-Projektverbund, einem vom BMBF geförderten deutschlandweiten Rechnerverbund für daten- und rechenintensive Forschungsaufgaben, 350 TByte Kapazität.

Bewährte Partnerschaften weiterführen Anfang 2007 wurde die Speicherlandschaft deshalb um vier Sun StorageTek 6540 und drei Sun StorageTek 6140 Systeme erweitert. „Unsere absolute Priorität war Geschwindigkeit. Andere Hersteller waren vor allem auf Virtualisierungsfähigkeiten optimiert, konnten aber hinsichtlich der Schnelligkeit nicht mithalten“, erinnert sich Pyszkalski. Außerdem sollten alle Systeme unter dem vorhandenen einheitlichen Management laufen. Weil sie die Erwartungen am besten erfüllen konnten, arbeitete das ZIB weiter mit den bewährten Partnern Sun und LSI Logic zusammen.Hierarchisches Speichermanagement (HSM) mit Sun SAM-FS und entsprechende Archiv- oder Sekundärmedien optimieren die Kosten und Funktion der Storage-Infrastruktur: Fibre-Channel-Platten speichern die Daten mit den höchsten Zugriffsanforderungen.
SATA-Platten alle übrigen für den Online-Zugriff. Sun StorageTekQFS, das Multi-Server- fähige Filesystem, ermöglicht mehrere gleichzeitige Zugriffe auf dieselben Dateien von verschiedenen Servern aus, auch wenn sie über mehrere Arrays hinweg verteilt sind. Darauf setzt die HSM-Lösung auf. Sie verschiebt Daten bei längerer Nichtbenutzung vom Cache oder den Festplatten auf StorageTek SL8500 und Powderhorn-Bandbibliotheken von Sun, so dass der Anwender die Datei noch sieht, sie aber fast keinen Plattenplatz belegt. Öffnet ein Anwender solch eine Datei, werden die Daten automatisch vom Band zurückgeladen. Das spart wertvolle Online-Storage-Ressourcen. Das Speichermanagementsystem Sun StorageTek Common Array Manager ist Teil einer zentralen Verwaltung der Plattensysteme. Die Software ACSLS steuert die Bandroboter.Netbackup von Symantec übernimmt die notwendigen Sicherungsläufe.

Optimierte Konfiguration für höchsten Durchsatz
Die gewünschten Höchstgeschwindigkeiten und Bandbreiten ließen sich durch intensives Studium von internen Strukturen der Systeme und eine darauf abgestimmte Konfiguration erzielen: „Am Ende haben wir 3 GByte/s beim Schreiben von 14 gleichzeitigen Anwendern realisiert und damit um die Hälfte mehr als verlangt war“, berichtet Pyszkalski. Dabei kam es vor allem darauf an, die Daten optimal auf die drei Sun StorageTek 6540 Arrays zu verteilen, auf welche die HLRN-II-Anwender zugreifen. Die Arrays wurden dafür mit jeweils zwei Cisco SAN Switches MDS 9134 ans SAN angebunden. Auch die zwei Server, Sun Fire x4600 M2 mit je 256 GByte Hauptspeicher und jeweils acht PCI-E FC-Ports, haben eine Verbindung zu beiden Switchen. Diese Konfiguration garantierte einerseits Hochverfügbarkeit und gleichzeitig mehrere Zugriffswege pro Abfrage. Bei Bandbreitenmessungen ergaben sich hier in Abhängigkeit der genutzten Blockgrößen, der Leistungsfähigkeit der nutzenden Rechner und der Zahl der gleichzeitig laufenden Prozesse Werte von 900 MByte/s bis 3 GByte/s. Vergleichsmessungen mit einem Array in Standardkonfiguration ergaben dagegen „nur“ etwa 300 MByte/s für einen Prozess.

Komfortables Management durch Verwaltungssoftware
Das Management hat sich durch die Zentralsierung des Speichers stark vereinfacht. Während früher bei Fehlern der Administrator, manchmal erst von Anwendern alarmiert, sofort vor Ort musste, registriert heute der Sun StorageTek Common Array Manager etwaige Probleme oder Plattenausfälle, während die Systeme automatisch die in allen Arrays vorhandenen Hot-Spare- Platten aktiviert, so dass das Array ungestört weiter arbeitet. Dann benachrichtigt die Software die Administratoren und zeigt dabei auch an, wo etwas schief gegangen ist. Die IT-Mitarbeiter können nun in aller Ruhe ohne Betriebsunterbrechung die defekte gegen eine neue Platte austauschen. Weil die derzeitige Lösung so gut funktioniert, sieht Pyszkalski der unvermeidlich kommenden Speichererweiterung mit Gelassenheit entgegen. Auch dann wird das ZIB wohl wieder auf Sun und LSI zurückgreifen.