Datenmigration nach Snowflake: Ein gut ausgearbeiteter Migrationsplan
13.09.2021Die Migration von Data Warehouses ist normalerweise kein Projekt, auf das man sich freut. Oft ist sie sogar unerwünscht, aber sie muss als Voraussetzung für den Abschluss von größeren Innovations- oder Modernisierungsprojekten durchgeführt werden. Die Qualität der Migration ist jedoch eng mit dem Erfolg der Migration verknüpft.
Groß angelegte Migrationsprojekte können mehrere Jahre in Anspruch nehmen. Der Schlüssel zum Erfolg liegt darin, sich genügend Zeit für die Ausarbeitung eines guten Datenmigrationsplans zu nehmen, der Störungen minimiert und Risiken mindert. Der Migrationsplan muss auf die Unternehmensziele abgestimmt und so ausgearbeitet sein, dass er in kürzester Zeit einen Mehrwert einbringt.
Umfang
Beginnen wir mit dem Umfang. Aus technischer Sicht ist die Datenmigration der Prozess der Übertragung von Daten von einem System in ein anderes. Auch wenn sich das recht einfach anhört, ist die Datenmigration nicht einfach nur das Kopieren von Daten. Es umfasst viel mehr. Um einen realistischen Umfang festlegen zu können, müssen Sie Ihr bestehendes Data Warehouse umfassend bewerten und klar definieren, was migriert werden muss. Sie sollten die Ist-Architektur dokumentieren und eine detaillierte Liste mit folgenden Punkten erstellen:
- Datenbanken, einschließlich aller Data-Warehouse-Staging-Bereiche
- Datenmodell, einschließlich aller Datenbankobjekte wie Tabellen, Ansichten und Schemata
- ETL-Prozesse, die Daten in einer Vielzahl von Formaten füllen und abrufen
- Orchestrierungsprozesse
- Sicherheitsschemata und Autorisierungsberechtigungen
- Benutzer und andere Datenverbraucher
- BI-Tools und -Anwendungen
Vergessen Sie nicht die Geschäftslogik, den Datenfluss und die Abhängigkeiten. Keiner dieser Schritte darf vernachlässigt werden. Die Erhebungsphase ist entscheidend für den Projekterfolg. In ihr werden die Grundlagen für die Projekte gelegt. Je mehr Wissen über die Funktionsweise des derzeitigen Systems angeeignet wird, desto besser.
Team
Sie müssen sich bewusst sein, dass die Datenmigration nicht nur ein IT-Projekt ist. Sie erfordert ebenso viel Arbeit von Seiten des Unternehmens wie von Seiten der IT. Viele Migrationen führen nicht zum gewünschten Ergebnis, weil die Beteiligung der Geschäftsteams unterschätzt wurde. Sie müssen genügend Zeit für die Unterstützung bei der Migration einplanen. Sie kennen die Daten, die migriert werden sollen, besser als jeder andere.
Warum ist das Verständnis der Daten entscheidend für den Projekterfolg? Wie bereits erwähnt, ist die Datenmigration in der Regel mit einem größeren Modernisierungsprojekt verbunden. Und schließlich reicht es nicht aus, die Daten einfach in ihrem Ist-Zustand zu verschieben. Die schlechte Nachricht ist, dass es keine Abkürzung gibt. Früher oder später müssen Sie die Daten überarbeiten und so strukturieren, dass sie am besten in das neue System passen.
Seien Sie darauf vorbereitet, dass während der Migration alle Spuren der Vergangenheit aufgedeckt und alle Leichen aus dem Keller geholt werden. Je mehr das bestehende System angepasst wird und je länger es bereits im Einsatz ist, desto mehr Aufmerksamkeit ist erforderlich. Einige der Daten müssen bereinigt werden, andere müssen umstrukturiert werden, und einige sind einfach veraltet und sollten gelöscht werden. Verschwenden Sie keine Zeit und kein Geld damit, alles zu migrieren. Denn was Sie im neuen System nicht wollen, ist Unübersichtlichkeit. Deshalb ist es üblich, dass ein Datenqualitätsprojekt parallel umgesetzt wird. Dieses nimmt die meiste Zeit und die meiste Teamanstrengung in Anspruch, und damit es zu einem Erfolg wird, müssen die Dateneigentümer mit anpacken. Sie sind in der Regel auch diejenigen, die die Spezifikationen erstellen, Definitionen oder Erklärungen liefern und Benutzerakzeptanztests durchführen.
Eine weitere wichtige Rolle, die nicht vergessen werden darf, ist die des Projektleiters. Migrationen unterscheiden sich nicht von anderen IT-Projekten. Der Projektleiter ist für die Projektkoordination und -kommunikation verantwortlich und stellt sicher, dass die geplanten Aufgaben erfüllt und die Entscheidungen innerhalb der vereinbarten Fristen getroffen werden.
Und nicht zu vergessen ist auch der Systemadministrator, der sich um die Infrastruktur, Benutzerkonten, Berechtigungen, Zugriffsrechte usw. kümmert. Letzteres ist zweifellos viel einfacher zu handhaben, wenn Sie sich für eine Migration in die Snowflake Data Cloud entscheiden, da Sie diese zusätzliche Arbeit und Kosten bei der Bereitstellung und dem Betrieb eines Warehouse außer Acht lassen können. Mit Snowflake müssen Sie keine Hardware installieren und kein Betriebssystem und keine Datenbanksoftware bereitstellen. Es sind keine Patches anzuwenden oder Datenbank-Upgrades zu planen. Das bedeutet nahezu Null-Management bei der Einrichtung. Dasselbe gilt für die Verwaltungs- und Betriebskosten. Alles läuft von selbst.
Wie Sie sehen, können zahlreiche wichtige Tätigkeiten nur mit internen Ressourcen durchgeführt werden. Zudem werden Migrationen von Unternehmen nur selten durchgeführt, sodass in der Regel externe Fachleute hinzugezogen werden müssen. Die Gründe dafür sind vielfältig und reichen von begrenzten internen Ressourcen über mangelndes Fachwissen und unzureichende Kenntnisse des Zielsystems bis hin zum Fehlen von Tools, die den Migrationsprozess automatisieren und beschleunigen.
Architektur und Roadmap
Die Datenmigration ist in der Regel mit einem größeren Modernisierungsprojekt verbunden. Sobald Sie den Umfang kennen und eine Vision des zukünftigen Systems haben, ist es an der Zeit, die Migrations-Roadmap festzulegen. Bei groß angelegten Migrationen sollten Sie einen Big-Bang-Ansatz nach Möglichkeit vermeiden. Anstelle eines einzigen und späten Go-live können Sie die Risiken mindern und den Wert früher aufzeigen, indem Sie den Umfang in mehrere unabhängige Teile aufteilen, die in mehreren Phasen migriert und freigegeben werden können. Stellen Sie in einer solchen Situation sicher, dass nicht nur die Soll-Architektur, sondern auch die vorläufige Architektur gemäß den einzelnen Phasen definiert wird.
Der Vorteil von Snowflake ist seine moderne Architektur. Seine Einzigartigkeit ergibt sich aus der Tatsache, dass es von Grund auf für die Cloud entwickelt wurde und als solches einen viel zweckmäßigeren Ansatz für die Architektur Ihrer Datenumgebung in der Cloud bietet. Mit Snowflake können Sie Ihre Architektur vereinfachen und die Anzahl der für die Ausführung der Prozesse erforderlichen Tools minimieren. Da Sie Ihren Data Lake parallel zu Ihrem Data Warehouse betreiben können, können Sie alle Ihre Daten an einem Ort speichern und verwalten, unabhängig davon, ob es sich um strukturierte oder halbstrukturierte Daten handelt. Dies ermöglicht auch, klein anzufangen und nach und nach zu expandieren, da im Laufe der Entwicklung weitere Ressourcen hinzugefügt werden können und keine großen Anfangsinvestitionen erforderlich sind. Darüber hinaus ist die Preisgestaltung von Snowflake wettbewerbsfähig – davon können Sie sich hier überzeugen.
Unabhängig vom gewählten Ansatz ist für den Erfolg ein klar definierter Migrationsprozess mit allen Aktivitäten und einer detaillierten Checkliste unerlässlich – von der Datenermittlung und dem Architekturdesign über die Migration selbst bis hin zu Tests, der Go-Live-Strategie und den Aktivitäten nach dem Go-live – unterstützt durch ein starkes Projektmanagement.
Nachdem Sie alle oben genannten Aspekte behandelt haben, können Sie nun realistische Ziele hinsichtlich des Zeitrahmens und des Budgets des Projekts festlegen. Das ist Ihre Chance, zu den glücklichen 17 %* zu gehören, bei denen erfolgreiche Migrationen stattfinden.
*Laut Gartner scheitern 83 % aller Datenmigrationsprojekte oder überschreiten ihre Budgets und Zeitpläne.
Wenn Sie eine helfende Hand benötigen, zögern Sie nicht, uns zu kontaktieren.
