Objektspeicher als Antwort auf die Datenflut
Architekturschichten der Objektspeicher-Software
Die Objektspeicher-Software besteht aus lose gekoppelten Services und ist hardwareunabhängig:
- Ein Präsentations-Layer verwaltet die Schnittstellen zu den Clients über HTTP-Protokolle via REST und meist zusätzlich über traditionelle Dateisystemprotokolle.
- Ein Metadatenmanagement-Layer bestimmt, wo die Objekte gespeichert werden, wie sie auf Speicherknoten verteilt und wie sie geschützt werden.
- Der Storage-Layer bildet die Schnittstelle zu den Knoten.
Redundanz und Hochverfügbarkeit sollen über die Verteilung desselben Objekts auf mehrere Knoten gewährleistet werden. Erzeugt ein Nutzer ein neues Objekt, so wird dies je nach Policy auf einen oder mehrere Knoten kopiert. Die Knoten können im selben Rechenzentrum sein oder in den meisten Implementierungen auch geografisch verteilt.
“„Eine komplette Implementierung der Amazon-S3-Schnittstelle bringt große Vorteile, denn Anwender können damit nicht nur selbst entscheiden, welche Daten intern und welche extern gespeichert werden, sondern auch eine eigene Amazon-Cloud aufbauen.“„
Um Probleme beim Handling des gleichzeitigen Zugriffs mehrerer Nutzer auf eine Datei zu umgehen, lassen sich Objekte nicht updaten, es werden vielmehr jeweils neue Versionen mit eigenen IDs erzeugt – ein Vorteil für verteilte Speicher und verteilten Zugriff.
Um die Verfügbarkeit und Integrität der Daten zu erhöhen, ersetzen die meisten Anbieter von Objektspeichern das traditionelle RAID-Verfahren durch eine Variante der sogenannten Erasure-Coding-Methode. Dabei werden die Daten in Fragmente aufgeteilt, mit redundanten Datenteilen erweitert und codiert und auf mehreren Knoten verteilt gespeichert. Für die Rekonstruktion beschädigter Dateien werden diese Informationen dann aus anderen Speicherorten wieder zusammengesetzt.
Auf diese Weise lässt sich Overhead und damit Zeit bei der Datenrekonstruktion sparen. Gerade bei grossen Datenmengen oder bei fehlertoleranten Anwendungen hat sich diese Methode als sehr nützlich erwiesen.
- Objektspeicher als Antwort auf die Datenflut
- Die Datei als Objekt - Metadaten als Schlüssel
- Architekturschichten der Objektspeicher-Software
- Die Entwicklung des Objektspeichermarkts
- Die Spezialanbieter Cleversafe und Amplidata
- Scality, DataDirect Networks und Cloudian
- Die etablierten Allrounder EMC und HDS
