MongoDB Atlas Archive
06.05.2021, 12:46 Uhr
Kosten durch geschickte Ablage von Daten reduzieren
Die DSGVO sorgt für ein Mehr an Daten, was zusätzliche Kosten verursachen kann.
Die Datenschutz-Grundverordnung (DSGVO) soll die Rechte an den persönlichen Daten sichern. Doch das kann im Einzelfall für wesentlich höhere Verwaltungskosten für die Daten sorgen. Dann wenn protokolliert werden muss, welche Daten gerade erfasst sind und wer darauf zugegriffen hat.
Ein Bereich, für den das verschärft gilt, ist das Gastgewerbe. Hier muss unter anderem bei der Personalplanung viel mit persönlichen Daten umgegangen werden.
Das Startup Nesto bietet dafür ein Tool an, das mit Künstlicher Intelligenz hilft, den optimalen Personalbedarf zu prognostizieren und gängige Arbeitsaufgaben wie Zeiterfassung oder die Verwaltung von Personalstammdaten zu automatisieren. Anstatt auf die Bauchentscheidungen eines Betriebsleiters angewiesen zu sein, können Restaurants mit Hilfe von Nesto sowohl die eigenen historischen Finanz- und Personalauslastungsdaten als auch externe Faktoren wie etwa das Wetter und COVID-19-Inzidenzraten heranziehen, um den genauen Personalbedarf zu prognostizieren und somit Kosten zu optimieren.
Denn gerade die sich schnell verändernden Personalanforderungen, mit denen Gastronomiebetriebe sich durch Zugangs- und Auslastungsbeschränkungen konfrontiert sehen, erhöhen den Bedarf für die innovative Managementlösung von Nesto. Nachdem sie in kurzer Zeit bei über 100 Restaurants eingesetzt wurde, musste eine Datenbank-Lösung gefunden werden, die die weitere Skalierbarkeit ohne höhere Kosten für die Datenspeicherung gewährleisten würde.
„Unser Ziel war es, eine intuitive Anwendung zu erstellen, die auf AWS gehostet und als Abo-Service für lokale Restaurants angeboten werden kann“, erklärt Martin Löper, Cloud Solutions Architect bei der Nesto Software GmbH. „Dafür brauchten wir eine robuste, kostengünstige und skalierbare Datenbank, um diese Anwendung zu unterstützen.“
Man entschied sich für die vollständig verwaltete Multi-Cloud-Datenbanklösung MongoDB Atlas.
„Wir haben uns aus mehreren Gründen für Atlas entschieden. Zum einen ermöglicht Atlas das Hosting von Datenbanken auf mehreren Cloud-Plattformen, was uns die Flexibilität gibt, bei Bedarf den Anbieter zu wechseln. Zum anderen ist es eine vollständig verwaltete Datenbank, was die vergleichsweise hohe Fehleranfälligkeit einer eigenen Verwaltung deutlich reduziert“, sagt Martin Löper. Aktuell nutzt Nesto AWS, um seine Anwendung zu betreiben. Das Frontend ist in Vue.js geschrieben und wird über AWS CloudFront bereitgestellt. Am Backend gibt es einen Application Load Balancer, der Anfragen an eine AWS Fargate Container-Flotte weiterleitet, die sich über VPC-Peering mit dem MongoDB Atlas Cluster verbindet.
„Die Bereitstellung von MongoDB Atlas war einfach. Es ist beeindruckend, wie schnell ein vollständiges Cluster mit Replikation eingerichtet werden konnte. Wir haben auf Atlas keinen echten Wartungsaufwand, sodass wir uns auf wichtigere Aufgaben konzentrieren können. Für uns ist die Datenbank die kritischste Komponente von allen, und wir sind mit Atlas sehr zufrieden“, sagt Löper.
Die Herausforderung: Die Untiefen der Datenschutzbestimmungen
Während es unkompliziert war, Atlas in Betrieb zu nehmen, erwiesen sich die Datenschutzbestimmungen und die 2018 in Kraft getretene DSGVO als Herausforderung. Denn beim Umgang mit Mitarbeiterdaten unterliegen alle gewerblichen Anbieter strengen Regularien. Die EU-Verordnung hat weitreichende Auswirkungen darauf, wie, für welche Zwecke und von wem personenbezogene Daten gespeichert und verarbeitet werden dürfen, wie auf sie zugegriffen wird und wie die Rechte der betroffenen Person – also derjenigen Person, deren Daten verarbeitet werden – zu wahren sind. Das macht die Arbeit noch komplexer, denn sie sind es, die sicherstellen müssen, dass alle Mitarbeiterdaten in ihrem System ordnungsgemäss aufbewahrt werden, leicht zugänglich und dennoch sicher sind, und, dass jeder Datenzugriff nachvollziehbar ist.
Um diese Anforderungen zu erfüllen, entwickelte das Team eine Lösung zur Leseprüfung in MongoDB Atlas. Sie besteht aus einer dedizierten Datenbanksammlung, in der jedes Dokument einem Leseprüfungsprotokoll zugeordnet ist. „Diese Lösung funktionierte anfangs gut für uns, aber mit zunehmender Skalierung unserer Anwendung sahen wir uns mit einem Problem konfrontiert“, erzählt Löper.
Innerhalb eines Jahres hatte die Audit-Collection über 50 Millionen Dokumente erreicht – und die erzeugten fast 80 Prozent aller Speicher- und Backup-Kosten. Die Erfüllung der gesetzlichen Vorgaben geriet zunehmend in Konflikt mit der Wirtschaftlichkeit.
Das Team begann nach Alternativen zu suchen, die kosteneffizienter für die Protokollarchivierung sind. Die besonderen Eigenschaften dieser Art von Daten sind, dass sie insert-only sind, das heisst niemals modifiziert werden. Ausserdem werden die Daten nur bei förmlicher Aufforderung (nach DSGVO) durch den Kunden abgerufen. Die typischen Echtzeiteigenschaften, wie zum Beispiel millisekundenschnelle Datenbankabfragen, die typisch für MongoDB Cluster sind, sind nicht erforderlich."
Dennoch war MongoDB die Lösung. Dieses Mal lag sie in einer Atlas-Funktion namens Atlas Online Archive. Damit können Benutzer Regeln erstellen, um selten genutzte Daten automatisch in einem vollständig verwalteten Cloud-Objektspeicher zu archivieren, während sie gleichzeitig die Möglichkeit haben, sie über einen einzigen Endpoint abzufragen.
Heute sorgt eine Regel dafür, dass Daten, die älter als 14 Tage sind, archiviert werden. Das entspricht etwa sechs Millionen Dokumenten, die pro Monat archiviert werden und auf die über den Online-Archive-Endpunkt zugegriffen werden kann.
„Es war einfach, Online Archive zu implementieren und eine kostengünstige Cold-Storage-Umgebung für Daten zu schaffen, die die Archivierung und das Tiering von Live-Clustern in einen vollständig verwalteten Speicher automatisiert“, sagt Martin Löper.
Mit der Aktivierung des Online-Archivs für die Audit-Collection sparte Nesto 60 Prozent der reinen Speicherkosten ein. Bei den Kosten für Cloud-Backups betrug die Ersparnis sogar 70 Prozent. Die Gesamtausgaben für Datenbankausgaben auf der Atlas-Plattform verringerten sich um 35 Prozent.
Zeit für das Wesentliche
Zwischenzeitlich hat Nesto ein Plug-and-Play-IoT-Gerät entwickelt, das sich mit dem Kassensystem eines Kunden verbindet, um Umsatzdaten zu sammeln, die es für sein KI-basiertes Modell nutzt. Die Daten werden beim Einlesen geparst und über Atlas-Cluster und AWS S3-Speicher geleitet. „Die IoT-Geräte geben uns eine zusätzliche Möglichkeit, Daten automatisch zu sammeln, ohne unsere Kunden in ihrer Arbeit zu beeinträchtigen“, sagt Löper.
MongoDB bietet Nesto das Rückgrat, das die Automatisierung des Gastronomiemanagements stützt und wird zunehmend zum Fundament der Digitalisierungsstrategie in dem Bereich. Entwicklern hilft es, effizienter zu arbeiten und sich aufs Wesentliche zu konzentrieren.
Quelle: Martin Löper