Serie: Die große Migration nach SnowflakeSerie: Von Oracle zu Snowflake Back to Series

Rezept für eine erfolgreiche Data-Warehouse-Migration

17.09.2021

Data-Warehouse-Migrationen können riskant, kostspielig, zeitaufwändig und schwierig sein. Um unerwünschte Ergebnisse zu vermeiden, sollten Sie vor der Unterzeichnung eines Vertrags vier wichtige Punkte bedenken.

Ziele und Strategie der Migration

Es gibt viele überzeugende Gründe, warum Unternehmen auf der ganzen Welt auf Snowflake umsteigen – von der grenzenlosen Skalierbarkeit und hohen Leistung bis hin zur Senkung der Infrastrukturkosten und der Nutzung neuer Big-Data-Funktionen.

Sie müssen sich jedoch bewusst sein, dass nicht alle Wege dazu führen, dass Sie all diese Vorteile nutzen können. Es gibt keine einheitliche Migrationsstrategie, die für alle geeignet ist. Die Wahl des am besten geeigneten Ansatzes hängt davon ab, welche primären Ziele Sie erreichen möchten. Wenn Ihnen beispielsweise der Speicherplatz ausgeht, Sie eine knappe Frist haben und nicht in neue, teure Hardware investieren wollen, dann wäre ein Lift ‘n’ Shift Ihres bestehenden Data Warehouse im Ist-Zustand eine bessere Option als ein komplettes Re-Engineering.

Wenn Ihr Hauptziel jedoch darin besteht, die Vorteile der Cloud-nativen Funktionen von Snowflake zu nutzen, lässt sich ein Redesign nur schwer vermeiden. Wenn beispielsweise ein bestehendes On-Premise-Datenintegrations-Tool für die Datentransformation verwendet wird, kann das Potenzial des Cloud-Computing nicht optimal genutzt werden.

Da Sie zu Snowflake wechseln, möchten Sie außerdem sofort die Vorteile der unbegrenzten Rechenleistung und des unbegrenzten Speicherplatzes nutzen. Aus diesem Grund ist der ELT-Ansatz weitaus vorteilhafter als traditionelles ETL, da Sie mit ihm all Ihre Daten schnell in den Snowflake Data Lake laden und dort alle Transformationen durchzuführen können. Sie können auch die von der Snowflake Community bereitgestellten Lösungen oder Snowflake Snowpipe nutzen – Snowflakes kontinuierlichen Dateneingangsdienst. Kurz gesagt: Snowpipe bietet eine „Pipeline“ für das Laden neuer Daten in Mikro-Batches, sobald diese verfügbar sind, und macht so das Echtzeit-Reporting zu einem Kinderspiel.

Proof of Concept

Bevor Sie sich für Ihre künftige Datenplattform entscheiden, sollten Sie sicherstellen, dass Sie einen POC-Anwendungsfall für Ihre Daten ausgeführt haben. Auf diese Weise können Sie herausfinden, welchen Wert Ihnen eine neue Lösung einbringt. Konkrete Ergebnisse werden auch das Vertrauen der Stakeholder und Benutzer stärken. Stellen Sie jedoch sicher, dass Sie den Anwendungsfall sorgfältig auswählen, damit Sie sicher sein können, dass die gewählte Plattform Ihre Anforderungen erfüllt. Snowflake bietet eine kostenlose Testversion, um die komplexesten Workloads zu testen, die auf einer herkömmlichen Infrastruktur aufgrund begrenzter Rechenressourcen oder anderer Unzulänglichkeiten nicht verarbeitet werden können, wie z. B. halbstrukturierte Daten, Zero Copy Clone, Workload-Isolierung zur Vermeidung von Ressourcenkonflikten usw.

Migrationsplan

Die Komplexität von Datenmigrationsprojekten variiert, und die Abwicklung eines Großprojekts kann bis zu mehreren Jahren dauern. Es ist von entscheidender Bedeutung, sich genügend Zeit für die Ausarbeitung eines guten Datenmigrationsplans zu nehmen, der Störungen minimiert und Risiken mindert. Hier finden Sie eine kurze Checkliste der wichtigsten Dinge, die Sie beachten sollten. Dieses Thema wird später in der Serie ausführlicher behandelt.

Umfang.
Es sind nicht nur die Daten, die migriert werden müssen. Es gibt mehrere Quellen und DW-Staging-Bereiche, ETL-Prozesse in verschiedenen Formen, Metadaten, Sicherheitsschemata und Autorisierungsberechtigungen, Orchestrierungsprozesse, BI-Tools, Benutzer und andere Datenverbraucher. Und keiner von ihnen sollte vergessen werden.

Roadmap.
Wenn möglich, sollten Sie einen Big-Bang-Ansatz vermeiden. Anstelle eines einzigen und späten Go-live können Sie die Risiken mindern, indem Sie versuchen, den Umfang in mehrere unabhängige Teile aufzuteilen, die in Phasen migriert und freigegeben werden können.

Architektur.
Bei großen Projekten sollte eine zweiphasige Architektur in Betracht gezogen werden, da sie eventuell einen größeren Nutzen bringt, weil Sie die Vorteile der Cloud schneller nutzen können.

Prozess.
Gemäß dem gewählten Ansatz sollte der Migrationsprozess mithilfe einer detaillierten Checkliste und einer Go-live-Strategie klar definiert werden – unterstützt durch ein starkes Projektmanagement.

Team.
Bei einem Migrationsprojekt werden unterschiedliche Fähigkeiten benötigt – von Spezialisten, die alle technischen Details des bestehenden ETL-Workloads und die Datenquellen kennen, bis hin zu Geschäftsanwendern, die die Daten kennen und die Benutzerakzeptanztests als letzten Schritt vor dem Produktionseinsatz durchführen.

Zentrale Herausforderungen

Unabhängig von der Projektgröße sind die Herausforderungen sehr ähnlich, weshalb es wichtig zu wissen ist, was auf dem Weg passieren kann. 

Unrealistischer Umfang, Zeitplan und unrealistisches Budget.
Voraussetzung für die Erstellung eines gut ausgearbeiteten Datenmigrationsplans und die Festlegung eines realistischen Umfangs, Zeitplans und Budgets sind eine detaillierte Analyse und eine umfassende Bewertung Ihres bestehenden Systems. Pauschale Schätzungen können ein völlig verzerrtes Bild des erforderlichen Aufwands ergeben. Sie müssen sich der Konsequenzen bewusst sein, die sich aus der Vernachlässigung dieses Schrittes ergeben können.

Komplexität.
Wie bereits erwähnt, betrifft die Migration alle Bereiche – von Datenquellen und ETL-Verfahren bis hin zu BI-Anwendungen und Benutzerberechtigungen. Je mehr das bestehende System angepasst wird und je länger es im Einsatz ist, desto mehr Aufmerksamkeit ist erforderlich. Seien Sie gewarnt: Das ist genau der Zeitpunkt, an dem alle Leichen aus dem Keller geholt werden.

Mangel an Humanressourcen oder Wissen.
Fehlendes Wissen über eine Komponente, die Teil der Migration ist, Entwickler von Altanwendungen, die nicht zur Verfügung stehen, oder vielbeschäftigte Projektteammitglieder, die mit anderen Aktivitäten beschäftigt sind, können die Einhaltung von Fristen erheblich beeinträchtigen. Unterschätzen Sie nicht den Aufwand, der von ihrer Seite gefordert wird.

Schlechte Datenqualität. Wenn der gewählte Ansatz eine Data-Warehouse-Modernisierung umfasst, sollten Sie sich auf ein paralleles Projekt zur Datenqualität einstellen.

Fachliche Kompetenz.
Die Datenmigration ist etwas, das in einem Unternehmen nicht oft durchgeführt wird. Daher ist es wichtig, sich über moderne Datenmigrationsansätze zu informieren, wenn Sie externe Berater beauftragen.

Katja Jurkovšek, Senior Consultant