Lift ‘n’ Shift zu Snowflake
15.09.2021Sie haben sich für die Snowflake Data Cloud als zukünftige Plattform entschieden und möchten nun das Migrationsprojekt fristgerecht und mit möglichst geringem Risiko durchführen. Um dieses Ziel zu erreichen, müssen Sie der Automatisierung eine wichtige Rolle einräumen.
Der gängigste Ansatz, um die Vorteile der Snowflake-Architektur und ihrer Funktionen voll auszuschöpfen, besteht darin, die Daten von der Quelle in die Cloud zu verlagern und dort Datenintegrations- und -transformationsprozesse auszuführen. Eine Aufgabe, die vollständig automatisiert werden kann, ist auf jeden Fall die Übertragung von Daten aus Altsystemen nach Snowflake. Allerdings erfordert die Vorbereitung einige Zeit.
Die Extraktion von Daten aus alten Quellen ist mit vielen Herausforderungen verbunden, wie z. B:
- Begrenzte und kurze Zeiträume für das Abrufen und Extrahieren von Daten, da die Betriebssysteme Performance-sensitiv sind.
- On-Premise-Anwendungen generieren täglich oder sogar stündlich enorme Datenmengen.
- Jede Datenquelle hat ihre eigenen einzigartigen Merkmale, z. B. IBM DB2 Mainframe, SAP HANA oder Microsoft SQL Server.
- Sicherheitsbezogene Herausforderungen beim Zugriff auf die Daten, z. B. VPN.
Wenn Sie knappe Fristen einhalten müssen, können Sie auf eine „Lift ‘n’ Shift“-Lösung wie antFarm nicht verzichten, die die Datenverschiebung von jeder On-Premise-Datenbank in die Snowflake Data Cloud unterstützt. Die Liste der unterstützten Datenquellen wird ständig erweitert. Zum Zeitpunkt der Erstellung dieses Artikels steht Out-of-the-Box-Unterstützung für IBM Netezza, IBM DB2, Oracle, Microsoft SQL Server, MySQL, PostgreSQL, Salesforce, SAP HANA, Mailchimp, Google Sheets und CSV-Dateien zur Verfügung.
antFarm wurde im Hinblick auf Effizienz entwickelt. Es löst viele Probleme durch schnelles Lesen von Datenquellen und generiert Dateien, die für ein schnellstmögliches Laden von Daten optimiert sind. Die Daten werden in Batches (Bulkloads) in das Zielsystem importiert, unterstützt durch parallele Ausführung und skalierbare Architektur.
Der gesamte Prozess der Datenübertragung ist vollständig automatisiert. Während der Vorbereitung der Datenladung, erledigt antFarm Folgendes automatisch:
- Es ruft die Liste der Tabellen und deren Definition aus dem Datenquellenkatalog ab.
- Es erstellt ein Metadaten-Repository, in dem die Definitionen der Anwendungsquellen, Tabellenlisten, Optimierungsregeln, wie z. B. Partitionen usw., gespeichert werden.
- Es legt Erstellungsskripte für Zieltabellen entsprechend den Quelltabellendefinitionen an.
- Falls erforderlich, konvertiert es Datentypen basierend auf der Quell- und Zieldatenbank.
- Es erzeugt SQL-Abfragen, um die Daten abzurufen.
Da die gesamte Verarbeitung mithilfe der Standard-SQL-Syntax definiert wird, ist antFarm sehr einfach zu nutzen. Es handelt sich um eine völlig offene Lösung, die in jedes Datenintegrationstool integriert werden kann, und Sie können jede Art von benutzerdefinierter SQL auf Quelle oder Ziel ausführen.
antFarm hat sich zu einem unverzichtbaren Tool bei Snowflake-Datenmigrationsprojekten entwickelt, da es viele Anwendungsfälle gibt, bei denen es hilfreich sein kann, z. B:
- Implementierung eines Extrahierungs-/Staging-Bereichs im Data Warehouse mit Lift ‘n’ Shift eines anfänglichen Datensatzes und täglichen Inkrementen aus den alten Quellen.
- Replizierung der Daten aus dem alten Data Warehouse, um die On-Premise-Infrastrukturkosten zu senken und eine starke Performance bei komplexen analytischen Abfragen sicherzustellen oder um Daten nahezu in Echtzeit zu analysieren, ohne die Leistung von Transaktionsanwendungen zu beeinträchtigen.
- Import von Daten aus CSV-Dateien in die Snowflake Data Cloud.
- Verwendung als Backbone für Snowflake-POC-Projekte, da Daten aus mehr als 100 On-Premise-Tabellen an einem einzigen Tag zum Zielort verschoben werden können.
Die letzte Option erfreut sich besonderer Beliebtheit. Entscheidungen hinsichtlich Ihrer zukünftigen Datenplattform sind äußerst wichtig. Eine Datenplattform ist wie das Fundament eines Hauses. Wenn man einmal angefangen hat, darauf zu bauen, ist es schwer, etwas zu ändern, ohne etwas kaputt zu machen. Deshalb müssen Sie mit Bedacht auswählen. Bevor Sie eine Entscheidung treffen, sollten Sie potenzielle Datenplattformen mit Ihren Datensätzen testen. Und da Snowflake viele Vorteile bietet (z. B. sicherer und kontrollierter Zugriff auf Ihre Daten, praktisch unbegrenzte Skalierbarkeit, nahtloser Zugriff über Clouds hinweg und nahezu keine Wartung), sind wir sicher, dass Sie von den Ergebnissen nicht enttäuscht sein werden. Außerdem sind wir sicher, dass Sie von den Ergebnissen, die Sie erzielen werden, begeistert sein werden.
Nehmen Sie Kontakt mit uns auf, damit Sie mit antFarm in kürzester Zeit in die Snowflake Data Cloud einsteigen können.
