V tej vadnici o razliki med podatkovnim jezerom in podatkovnim skladiščem bomo razpravljali o ključnih razlikah med podatkovnim skladiščem in podatkovnim jezerom. Preden pa se pogovorimo o razliki, se najprej naučimo “Kaj je skladišče podatkov?”.
Kaj je skladišče podatkov?
Data Warehouse je mešanica tehnologij in komponent za strateško uporabo podatkov. Zbira in upravlja podatke iz različnih virov za zagotavljanje pomembnih poslovnih vpogledov. Gre za elektronsko shranjevanje velike količine informacij, namenjenih poizvedbam in analizam, namesto obdelave transakcij. To je proces pretvorbe podatkov v informacije.
Kaj je Data Lake?
Lake podatkov je skladišče za shranjevanje, ki lahko shranite veliko strukturiranih, polstrukturiranih in nestrukturiranih podatkov. To je kraj za shranjevanje vseh vrst podatkov v izvirni obliki brez fiksnih omejitev velikosti računa ali datoteke. Ponuja veliko količino podatkov za večjo analitično zmogljivost in izvorno integracijo.
Podatkovno jezero je kot velika posoda, ki je zelo podobna pravemu jezeru in rekam. Tako kot v jezeru tudi tu prihaja več pritokov; podobno ima podatkovno jezero strukturirane podatke, nestrukturirane podatke, stroj za stroj, dnevnike, ki tečejo v realnem času.
Koncept skladišča podatkov:
Data Warehouse shranjuje podatke v datotekah ali mapah, kar pomaga organizirati in uporabiti podatke za sprejemanje strateških odločitev. Ta sistem za shranjevanje daje tudi večdimenzionalni pogled na atomske in zbirne podatke. Pomembne funkcije, ki so potrebne za izvajanje, so:
- Izvleček podatkov
- Čiščenje podatkov
- Preoblikovanje podatkov
- Nalaganje in osveževanje podatkov
Nato se bomo naučili ključne razlike med Azure data Lake in data warehouse.
KLJUČNA RAZLIKA
- Data Lake shrani vse podatke ne glede na vir in njegovo strukturo, medtem ko Data Warehouse podatke shrani v kvantitativne metrike z njihovimi atributi.
- Data Lake je skladišče, ki shranjuje ogromno strukturiranih, polstrukturiranih in nestrukturiranih podatkov, medtem ko Data Warehouse združuje tehnologije in komponente, ki omogočajo strateško uporabo podatkov.
- Data Lake definira shemo po shranjevanju podatkov, medtem ko Data Warehouse definira shemo pred shranjevanjem podatkov.
- Data Lake uporablja postopek ELT (Extract Load Transform), medtem ko Data Warehouse uporablja postopek ETL (Extract Transform Load).
- Če primerjamo Data Lake in Warehouse, je Data Lake idealno za tiste, ki želijo poglobljeno analizo, medtem ko je Data Warehouse idealno za operativne uporabnike.
Koncept podatkovnega jezera:
Podatkovno jezero je velika shramba za shranjevanje, ki hrani veliko količino surovih podatkov v prvotni obliki, dokler ni potrebna. Vsak podatkovni element v podatkovnem jezeru dobi edinstven identifikator in je označen z naborom razširjenih oznak metapodatkov. Ponuja široko paleto analitičnih zmožnosti.
Ključna razlika med jezerom podatkov in skladiščem podatkov
Razlika med podatkovnim jezerom in skladiščem podatkov
Tu so ključne razlike med podatkovnimi jezeri in podatkovnim skladiščem:
| Parametri | Podatkovno jezero | Podatkovno skladišče |
|---|---|---|
| Skladiščenje | V podatkovnem jezeru se hranijo vsi podatki ne glede na vir in njegovo strukturo. Podatki se hranijo v surovi obliki. Preoblikuje se šele, ko je pripravljen za uporabo. | Skladišče podatkov bo sestavljeno iz podatkov, pridobljenih iz transakcijskih sistemov, ali podatkov, ki so sestavljeni iz kvantitativnih meritev z njihovimi atributi. Podatki se očistijo in preoblikujejo |
| Zgodovina | Tehnologije velikih podatkov, ki se uporabljajo v podatkovnih jezerih, so razmeroma nove. | Koncept podatkovnega skladišča se za razliko od velikih podatkov uporablja že desetletja. |
| Zajem podatkov | Zajema vse vrste podatkov in struktur, polstrukturirane in nestrukturirane v prvotni obliki iz izvornih sistemov. | Zajema strukturirane informacije in jih organizira v sheme, kot je določeno za namene skladišča podatkov |
| Časovnica podatkov | Podatkovna jezera lahko hranijo vse podatke. To ne vključuje le podatkov, ki so v uporabi, temveč tudi podatke, ki bi jih lahko uporabili v prihodnosti. Prav tako se podatki hranijo za ves čas, da se vrnemo v preteklost in naredimo analizo. | V procesu razvoja podatkovnega skladišča se veliko časa porabi za analizo različnih virov podatkov. |
| Uporabniki | Podatkovno jezero je idealno za uporabnike, ki se prepustijo poglobljeni analizi. Takšni uporabniki vključujejo podatkovne znanstvenike, ki potrebujejo napredna analitična orodja s sposobnostmi, kot sta napovedno modeliranje in statistična analiza. | Skladišče podatkov je idealno za operativne uporabnike, saj je dobro strukturirano, enostavno za uporabo in razumevanje. |
| Stroški skladiščenja | Shranjevanje podatkov v velikih podatkovnih tehnologijah je relativno poceni kot shranjevanje podatkov v podatkovnem skladišču. | Shranjevanje podatkov v podatkovnem skladišču je dražje in dolgotrajnejše. |
| Naloga | Podatkovna jezera lahko vsebujejo vse podatke in vrste podatkov; uporabnikom omogoča dostop do podatkov pred postopkom preoblikovanja, čiščenja in strukturiranja. | Podatkovna skladišča lahko nudijo vpogled v vnaprej določena vprašanja za vnaprej določene vrste podatkov. |
| Čas obdelave | Podatkovna jezera uporabnikom omogočajo dostop do podatkov, preden so bili preoblikovani, očiščeni in strukturirani. Tako omogoča uporabnikom, da hitreje pridejo do svojih rezultatov v primerjavi s tradicionalnim podatkovnim skladiščem. | Podatkovna skladišča ponujajo vpogled v vnaprej določena vprašanja za vnaprej določene vrste podatkov. Torej, kakršne koli spremembe podatkovnega skladišča so zahtevale več časa. |
| Položaj sheme | Shema je običajno definirana po shranjevanju podatkov. To ponuja visoko okretnost in enostavnost zajemanja podatkov, vendar zahteva delo na koncu postopka | Shema je običajno definirana pred shranjevanjem podatkov. Zahteva delo na začetku postopka, vendar ponuja zmogljivost, varnost in integracijo. |
| Obdelava podatkov | Podatkovna jezera uporabljajo postopek ELT (Extract Load Transform). | Podatkovno skladišče uporablja tradicionalni postopek ETL (Extract Transform Load). |
| Pritožba | Podatki se hranijo v surovi obliki. Preoblikuje se šele, ko je pripravljen za uporabo. | Glavna pritožba zoper skladišča podatkov je nezmožnost ali težava, s katero se poskušajo spremeniti. |
| Ključne prednosti | Vključujejo različne vrste podatkov in postavljajo povsem nova vprašanja, saj ti uporabniki verjetno ne bodo uporabljali podatkovnih skladišč, ker bodo morda morali preseči njihove zmožnosti. | Večina uporabnikov v organizaciji deluje. Ta vrsta uporabnikov skrbi le za poročila in ključne meritve uspešnosti. |