Podatkovno skladišče se seli v oblak in odstranjuje ovire med vami in vašimi podatki

25.03.2020

V znanju je moč in vse več podjetij se zaveda, da se le-ta skriva v njihovih podatkih. 

Možnosti je veliko: boljše poznavanje svojih strank, odkrivanje novih poslovnih priložnosti, optimizacija cenovne politike, prepoznavanje porajajočih trendov, še preden se ti zgodijo, odkrivanje odklonov ali anomalij v poslovanju, napovedovanje poslovanja s pomočjo simulacij in predikativnih modelov (zelo uporabno predvsem v časih, kot so današnji – marec 2020), izboljšanje internih procesov z namenom večje produktivnosti in nižanja stroškov.  

Ko preučimo številne prednosti lahko razumemo, zakaj podatke imenujejo nafta 21. stoletja

Ker podatki rastejo z eksponentno hitrostjo in ker viri podatkov postajajo vse bolj raznoliki in kompleksni (npr. aplikacije, spletne strani, socialna omrežja, mobilni telefoni, senzorji), postajajo tudi integracija in konsolidacija podatkov ter izgradnja celovitega vpogleda poslovanje, vse bolj zahtevni. 

Človeštvo je v zadnjih dveh letih produciralo kar 90% vseh podatkov, tako imamo danes dostop do večje količine podatkov kot kadarkoli doslej. Podatki prihajajo iz različnih virov – tako internih, kot zunanjih in v različnih strukturah in formatih. 

Na drugi strani zahteva trg takojšnjo reakcijo in je za ohranjanje konkurenčne prednosti pomembno, da znamo izkoristiti nove podatke, ki so nam na voljo. Za to pa je nujna hitra analiza, ne glede na njeno kompleksnost.  

In tukaj pridemo do ključnega izziva. Z naraščajočim obsegom podatkov prihaja do zasičenosti. Večja kot je količina podatkov, dražje je njeno upravljanje in vse težje se je prebiti skozi množico, da bi prišli do željnega rezultata.  

Obstoječa podatkovna skladišča so na robu kapacitete, ki je ni možno povečati ali pa zgolj za zelo visoko ceno. Podatkovni analitiki in poslovni uporabniki pa čakajo vse od nekaj ur pa do nekaj dni, da bi pridobili ustrezno obdelane in transformirane informacije za lažje sprejemanje odločitev.  

Modernizacija podatkovnih skladišč tako postaja eden izmed najpomembnejših projektov za večino organizacij povsod po svetu. Rešitev, ki omogoča hitrejšo digitalno transformacijo, se skriva v treh ključih – podatkovnem skladišču, oblaku in snežinki.  

Kaj prinaša prehod na podatkovno skladišče v oblaku in kako se razlikuje od obstoječih rešitev?

S prihodom oblačne infrastrukture je tudi svet podatkovnega skladiščenja vstopil v novo ero. Danes si tako lahko skoraj katerokoli podjetje privošči moderno, hitro, prilagodljivo in stroškovno učinkovito podatkovno skladišče. To pomeni še posebej velik preskok za majhna in srednja velika podjetja, ki so si v preteklosti zaradi visoke začetne investicije težko privoščile napredne analitične rešitve.  

Poglejmo si podrobneje na primeru šestih prednosti rešitve Snowflake:

  

  1. Popolna elastičnost opreme (neomejen prostor in procesorska moč) 

Ena glavnih težav klasičnih podatkovnih skladiščih je ta, da je za optimalno delovanje potrebno predimenzionirati strojno opremo, saj je poraba tehničnih resursov zelo neenakomerna. Npr. določene poizvedbe so zelo kompleksne in lahko trajajo tudi več ur ali dni, da se izvedejo. Ker je strojna oprema draga in ker večina (cca. 80%) analitičnih poizvedb v podjetju ni tako performančno zahtevnih, so se podjetja običajno odločila, da bodo uporabniki v takšnih primerih na rezultate analiz enostavno morali počakati malo dlje. To je pomenilo, da so se oddelki začeli potegovati za omejene resurse, kar je privedlo do neučinkovitosti poslovanja. 

Snowflake je to težavo eliminiral. Zaradi popolne elastičnosti resursov, se tako zmogljivost strojne opreme v vsakem trenutku prilagodi analitičnim zahtevam podjetja. Če na primer ta trenutek potrebujemo zgolj pet procesorjev, jih lahko čez pet minut uporabimo že tisoč. Nakup zmogljivejše infrastrukture ni več potreben, saj lahko uporabnik enostavno vklopi in tudi plača dodatne zmogljivosti zgolj za določeno poizvedbo. 

Poleg tega je podjetje Snowflake razvilo možnost hkratnega dela (več poizvedb) na isti tabeli, ne da bi različne skupine vedele druga za drugo. Pri tem je hitrost obdelave enaka, kot če bi vsaka skupina imela ločeno infrastrukturo. Snowflake je s to lastnostjo uspel pridobiti reference največjih korporacij na svetu, ki so vse svoje podatke in uporabnike združile v eno samo podatkovno skladišče, kar se je še pred nekaj leti zdelo povsem nemogoče. 

  1. Brez začetnih stroškov investicije in plačevanje zgolj po porabi 

Pri Snowflake-u ni nobene začetne investicije. Plačevanje je izključno po dejanski porabi, cene pa so zaradi ekonomije obsega nizke. En terabajt prostora stane 20 dolarjev na mesec, procesiranje pa se plačuje po sekundah. Tako je sedaj  končno na voljo tudi stroškovno učinkovita baza podatkov za manjša in srednje velika podjetja. 

  1. Nove možnosti uporabe 

Ena izmed novih možnosti je kreiranje razvojnih in testnih okolij ter varnostnih kopij. Na primer, klon produkcijskega okolja s petimi terabajti podatkov lahko izdelamo z enim klikom v treh minutah, kar omogoča veliko hitrejši dostop do okolja (sandbox), razvoj in testiranje, ter validacijo podatkov pred prehodom v produkcijo na realnem setu podatkov, brez dodatnih stroškov (klon je namreč brezplačen). 

  1. Brez administracije 

Nastaviti je potrebno le varnostno politiko, vse ostalo se odvija samodejno glede na optimizacijo zbirke podatkov. Tako se lahko analitiki in poslovni uporabniki popolnoma posvetijo analizi podatkov in ne izgubljajo časa z administracijo in pripravo podatkov. Prav tako administrator nima nobenih skrbi z optimizacijo baze, indeksiranjem, particioniranjem, ročno pripravo varnostnih kopij, ipd. 

  1. Visoka stopnja varnosti 

Vsi prenosi podatkov in shranjevanje so šifrirani. Strežniki so del javnega oblaka, kar pomeni, da so na voljo pri Microsoftu, Amazonu in Googlu v Evropi ter podpirajo vse direktive GDPR. Prav tako je podprt celoten pregled vseh poizvedb nad zbirko podatkov, pri čemer se lahko natančno ugotovi, kdo ima dostop do občutljivih podatkov.  

  1. Vse vrste podatkov  

Digitalni svet je spremenil obseg, vire in vrste podatkov, ki jih podjetja obdelujejo. Snowflake za razliko od klasičnih podatkovnih skladišč, podpira tudi semi-strukturirane podatke, ki so zaradi svojega formata velikokrat ostali neizkoriščeni. Zaradi tega je idealna rešitev tako poslovne uporabnike in analitike kot tudi za napredne podatkovne znanstvenike. 

V naslednjem videu, si lahko v le 8 minutah pogledate, kako učinkovito Snowflake podpira različne tipe podatkov na primeru, kjer so poskušali ugotoviti, kako vreme vpliva na izposojo koles v New York-u.