ICT
DATA PROTECTION & ARCHIVIERUNG
und einen Core Server ein, um über das Hochgeschwindigkeitsnetzwerk parallel und horizontal skalierbar verteilt die Daten zu managen.
Das HPSS hat keine Volumen- abhängige Software-Lizenzierung, somit ist die Investition zunächst nur für das 1. Jahr mit der Einführung des Systems hoch, aber dann absteigend über längere Perioden, z.B. 5 - 10 Jahre. Das UK Met Office setzt HPSS ein, um Daten als Asset und zentral für die Forschung zur Verfügung zu stellen und suchte ein langfristig bezahlbares System. Nach eigenen Angaben, zeigt
Abbildung 1: Positionierung von IBM Archivierungslösungen, IBM Corp. / IBM Deutschland, J.A. Kerr, O.J. Knopf, I. Schnoor
Tape verwaltet werden. HPSS setzt auf ein Cluster auf, welches durch den Einsatz eines Hochgeschwindigkeitsnetzwerk aus LAN und SAN Technologien die Kapazität und Performance der vielen Computer, Disk-Systeme und Tapelaufwerke in ein einziges virtuelles Filesystem aggregiert. Dieser Ansatz ermöglicht HPSS einfach und effizient und schnell unerreichbare Nachfrage an totaler Speicherkapazität, Dateigröße, Datenrate und Anzahl von gespeicherten Objekten zu erfüllen. Abbildung 2 stellt die Architektur von HPSS dar.
Beim Deutschen Klimarechenzentrum (DKRZ) wurde HPSS erfolgreich u.a. in Deutschland implementiert und das Datenarchiv hat eine anhaltende bidirektionale Bandbreite von 3 GB/s und 5GB/s im Peak. Ein zentrales Ziel von HPSS ist es, große Dateien zwischen Storage Systemen und parallelen Computern auf größtmöglichen Geschwindigkeiten schneller als jedes heute verfügbare kommerzielle Speichersystem zu bewegen. HPSS unterstützt das Striping zum Disk- und Tape- System. Bei 100MB/s benötigt es normalerweise bis zu 3 Stunden, um 1 Terrabyte (TB) auf eine einzige Magnetbandkassette zu schreiben. Durch Einsatz von 8-Wege Striping ist dieses in weniger als 25 Minuten mit HPSS machbar. Der Fokus beim HPSS setzt beim Hochgeschwindigkeitsnetzwerk an, nicht auf das Verhalten eines einzelnen Single Server Prozessor eines herkömmlichen Storagesystems. HPSS setzt sogenannte Data Mover
Abbildung 3, neben der technischen Realisierbarkeit, auch eine wirtschaftlich attraktive Lösung über 5 Jahre betrachte vs. dem exponentiellen Zuwachs an Daten.
HPSS ist nicht zweckmäßig für den Einsatz von kurzfristigem Speicherbedarf, sondern für Datensätze, die hohe Verfügbarkeit und lange Aufbewahrungszeiten benötigen. Um jetzt in Echtzeit mit HPSS zu arbeiten, ist in der Regel nicht die DTR das Problem, sondern die Antwortzeit des Systems. Wenn die Daten auf dem Disk Cache sind und das Storage System zu dem Zeitpunkt nicht ausgelastet ist durch viele Anfragen, dann ist die Antwort schnell. Dies ist passiert bei Webseiten wie Yahoo! und Google.
Wenn Dateien auf Band migriert wurden und dann auf Disk zurückgeschrieben werden müssen, dann dauert es eventuell Minuten, keine Sekunden, um sie zu lesen. Dieses Lesen ist zwar dann im dem Sinne keine Echtzeit mehr, liefert aber immerhin noch ein nahes Echtzeitempfinden als „Near Real-time”, denn die Antwort auf die Anfrage erfolgt innerhalb noch der gestellten Abfrage. Ein verteiltes System wie HPSS ist wertvoll für hohe DTRs für „Near Real- time”, denn das Cluster kann die Daten beweglich zwischen den Disk und Tape Systemen halten, während dies ein monolithisches, Single- Computer Storage - System nicht kann. Fazit: Realtime Processing und Langzeitaufbewahrung werden demnach nicht in ein einziges Speichersystem zur gleichen Zeit passen. Entweder ist das Ziel des Speichersystems wirklich hohe I/O’s mit deren DTRs zu erreichen oder für die lange Archivierung mit Tape Infrastrukturen zu leben. Heute bietet HPSS einen Ansatz, um annähernd Echtzeit Processing mit dessen Anforderungen skalierbar abzubilden.
Abbildung 3: High Performance Storage System - Überblick 12
www.dcsdach.info I October 2011
HPSS - £££, UK Met Office, 2010
Page 1 |
Page 2 |
Page 3 |
Page 4 |
Page 5 |
Page 6 |
Page 7 |
Page 8 |
Page 9 |
Page 10 |
Page 11 |
Page 12 |
Page 13 |
Page 14 |
Page 15 |
Page 16 |
Page 17 |
Page 18 |
Page 19 |
Page 20 |
Page 21 |
Page 22 |
Page 23 |
Page 24 |
Page 25 |
Page 26 |
Page 27 |
Page 28 |
Page 29 |
Page 30 |
Page 31 |
Page 32