Überblick

Das S3-Protokoll, Simple Storage Service (S3), ist ein Filehosting-Dienst, der theoretisch beliebig große Datenmengen speichern kann. Daten werden nicht mehr klassisch in Dateien abgelegt, sondern man spricht hier von Objekten. Der Zugriff erfolgt über HTTP bzw. HTTPS. Amazon hat das Konzept der Buckets und Objects zuerst eingeführt, das Verzeichnissen und Dateien ähnelt und sich als Standard etabliert hat. Unternehmen wie NetApp, OpenIO oder auch Microsoft versuchen dieser Schnittstelle nachzukommen.

Ein Bucket wird in einer von vielen Regionen gespeichert, wobei eine bestimmte Region z.B. aufgrund von Latenzzeiten zu bevorzugen ist. Jeder Bucket verfügt über einen eindeutigen Identifier und ist damit in dem gesamten S3 Storage einmalig vorhanden.

Die Programmierschnittstelle des S3-Protokolls ist frei verfügbar. Benutzer von S3 müssen sich autorisieren. Zur Benutzeridentifikation hat das S3-Protokoll einen Authorization Header mit einem Zugangs-Key und Signaturen für Anfragen.

DRACOON und S3

Die DRACOON-Umgebung übernimmt in diesem Fall die Rolle eines S3-Clients, welcher die Daten in einem Bucket des S3-Storages ablegt.

1. Möchte der Benutzer eine Datei in den DRACOON z.B. per Web App hochladen, wird zunächst am DRACOON ein Upload-Channel erzeugt.
2. Der DRACOON-Server generiert mit den zuvor hinterlegten S3-Zugangsdaten für den Client eine vorsignierte URL. Diese spezifische URL enthält einen einmaligen Zugriffstoken auf den S3 Bucket zum Hochladen eines Objectes. Zusätzlich erhält dieses die für den Datenraum festgelegten Tags.
3. Der Client lädt direkt über die vorsignierte URL die Datei in den S3 Bucket hoch.
4. Wurden Richtlinien im S3 Storage für die Behandlung spezieller Tags definiert, beginnt diese nun beispielswiese mit der georedundaten Verteilung des Objects.
5. Der Client meldet dem Server den erfolgreichen Upload der Datei zurück und schließt somit den Upload-Channel ab. Die Datei ist jetzt für andere Benutzer in den Clients sichtbar.

Der Download einer Datei ist analog zum Upload-Prozess zu sehen, nur dass hier die Behandlung der Tags wegfällt.

Im folgenden Diagramm sind die oben beschriebenen Schritte nochmals grafisch dargestellt:

S3 in DRACOON konfigurieren

Es ist sehr einfach, mit S3 und DRACOON eine Hybrid-Cloud-Lösung zu realisieren. Dazu wird lediglich einmalig eine S3-Konfiguration in DRACOON hinterlegt. Diese bildet fortan die Basis für die Kommunikation zwischen der DRACOON-Software und den externen Datenspeichern auf Kundenseite – weitere Schritte sind nicht erforderlich.

Hierzu wird in der DRACOON Web App in den Einstellungen unter Speicher der S3-Endpunkt angegeben, neben dem Access- und Secret-Key, dem Bucket-Name und der Region. Der Access- und Secret-Key müssen Vollzugriffsrechte auf den Bucket haben.
Des weiteren können S3 Object Tags aktiviert werden (s.u). Ab diesem Zeitpunkt lassen sich S3 Tags definieren und einem Datenraum zuweisen.

• Der S3 Object Storage muss öffentlich im Internet erreichbar sein, um mit DRACOON verwendet werden zu können.
• Eine bestehende DRACOON-Umgebung kann jederzeit auf S3-Speicher umgestellt werden. Sobald ein S3-Speicher an DRACOON angebunden wurde, werden alle bereits in DRACOON vorhandenen Daten automatisch in den S3-Speicher verschoben – enthält die DRACOON-Umgebung bereits sehr viele Dateien, kann diese Migration in den S3-Speicher mehrere Tage dauern. Während der Migration kann DRACOON uneingeschränkt weiterverwendet werden – DRACOON erkennt beim Dateizugriff während der Migration automatisch, welche Dateien bereits in den S3-Speicher migriert wurden und welche sich noch im DRACOON-Speicher befinden.
• Beachten Sie: Wurde eine DRACOON-Umgebung auf S3-Speicher umgestellt, lässt sich dies nicht mehr rückgängig machen! DRACOON zeigt vor der endgültigen Umstellung eine entsprechende Warnung an, die bestätigt werden muss.

Zusätzliche Flexibilität durch S3 Object Tags

DRACOON unterstützt auch S3 Object Tags (kurz: S3 Tags). Wenn Sie S3 Tags unter Einstellungen > Speicher aktivieren, können Raum-Administratoren diese bestimmten Datenräumen zuweisen. Bestimmte S3 Tags können auch als verpflichtend festgelegt werden und werden somit automatisch an jede Datei in jedem Datenraum angehängt und können vom einem Raum-Administrator auch nicht deaktiviert werden.

In Verbindung z.B. mit NetApp wird durch S3 Tags eine bisher ungeahnte Flexibilität bei der Datenspeicherung möglich. In DRACOON können beliebige Object Tags (Schlüsselwörter), die Sie in der NetApp Policy Engine definiert haben, angegeben und bestimmten Datenräumen zugewiesen werden. NetApp wendet dann die definierten Speicherregeln an, je nach Schlüsselwort.

• Beispielsweise können so Daten von besonders sensiblen Datenräumen automatisch in einem Rechenzentrum der höchsten Sicherheitsstufe gespeichert werden oder an einem bestimmten Ort auf der Erde.
• Eine weitere Möglichkeit stellt die georedundante Speicherung von Daten dar. Hierbei wird dem Client für den Down- und Upload der Objects immer der nächstgelegene günstigste Storage-Knoten angeboten.
• Auch können per S3 Object Tags Archivierungsrichtlinien angewandt werden. Somit lassen sich beispielsweise S3 Objects erst nach 10 Jahren löschen und werden bis zum Ablauf der Frist revisionssicher archiviert.

S3 Object Tags verwenden