XSTREAMData lab

MODERN DATA ARCHITECTURES II

Video

๐—ฃ๐—ฟ๐—ผ๐—ท๐—ฒ๐—ฐ๐˜ ๐—ก๐—ฒ๐˜€๐˜€๐—ถ๐—ฒ: ๐—” ๐—š๐—ถ๐˜-๐—น๐—ถ๐—ธ๐—ฒ ๐—˜๐˜…๐—ฝ๐—ฒ๐—ฟ๐—ถ๐—ฒ๐—ป๐—ฐ๐—ฒ ๐—ณ๐—ผ๐—ฟ ๐—–๐—น๐—ผ๐˜‚๐—ฑ ๐——๐—ฎ๐˜๐—ฎ ๐—Ÿ๐—ฎ๐—ธ๐—ฒ๐˜€
Concetti tipici dei database come transazione commit e rollback, necessari per il workload nei tradizionali data warehouse, non sono sufficienti per le moderne piattaforme di dati e le aziende data-driven. Project Nessie รจ un nuovo meta-store open source basato su formati di tabelle come Apache Iceberg e Delta Lake per svolgere transazioni multi-table e multi-engine. Inoltre, Nessie offre per i datalake una semantica simile a Git, compresi commit, tag e branch. Utilizzando i concetti del versioning, gli utenti possono lavorare in un modo completamente nuovo, sperimentando o preparando i dati senza andare ad impattare la visione live dei dati un mondo di possibilitร  concrete per un approccio DataOps su DataLake.

**********While database concepts like transactions, commits and rollbacks are necessary for traditional data warehousing workloads, they’re not sufficient for modern data platforms and data-driven companies. Project Nessie is a new open source metastore that builds on table formats such as Apache Iceberg and Delta Lake to deliver multi-table, multi-engine transactions. In addition, Nessie delivers Git-like semantics for data lakes, including commits, tags and branches. By using versioning concepts, users can work in an entirely new way, experimenting or preparing data without impacting the live view of the data, opening a whole world of possibilities for true DataOps on the data lake.

๐—ฅ๐˜†๐—ฎ๐—ป ๐— ๐˜‚๐—ฟ๐—ฟ๐—ฎ๐˜† รจ ๐—ข๐—ฝ๐—ฒ๐—ป ๐—ฆ๐—ผ๐˜‚๐—ฟ๐—ฐ๐—ฒ ๐—˜๐—ป๐—ด๐—ถ๐—ป๐—ฒ๐—ฒ๐—ฟ๐—ถ๐—ป๐—ด ๐—Ÿ๐—ฒ๐—ฎ๐—ฑ @๐——๐—ฟ๐—ฒ๐—บ๐—ถ๐—ผ. In precedenza ha lavorato nel settore dei servizi finanziari facendo di tutto, dal trader di obbligazioni al responsabile Data Engineering. Ryan ha un dottorato in fisica teorica ed รจ un attivo contributore open source.

๐—ฆ๐—ผ๐—ฑ๐—ฎ: ๐— ๐—ผ๐—ป๐—ถ๐˜๐—ผ๐—ฟ๐—ถ๐—ป๐—ด ๐—ฎ๐—ป๐—ฑ ๐˜๐—ฒ๐˜€๐˜๐—ถ๐—ป๐—ด ๐—ฑ๐—ฎ๐˜๐—ฎ ๐—พ๐˜‚๐—ฎ๐—น๐—ถ๐˜๐˜†
Vediamo come i Data Teams in genere gestiscono le problematiche legate alla qualitร  dei dati che impattano grandi Dataset, data lake e Data warehouse! Utilizzando la piattaforma Soda e i tools open source messi a disposizione di sviluppatori, Data Engineer, Product Owner, Consumer e Producer sono in grado di monitorare, testare e risolvere problemi sui dati prima che essi vadano ad impattare sui data products.

**********Vijay and Albin will provide an overview into how data teams are improving data quality issues and delivering trusted analytics and data products. Using the Soda platform and open source developer tools, Albin will demonstrate how data engineers, product owners, consumers and producers, are enabled to monitor, test, and resolve data issues before they have a downstream impact.

๐—”๐—น๐—ฏ๐—ถ๐—ป ๐—ž๐—ท๐—ฒ๐—น๐—น๐—ถ๐—ป รจ ๐—ฆ๐—ผ๐—น๐˜‚๐˜๐—ถ๐—ผ๐—ป๐˜€ ๐—˜๐—ป๐—ด๐—ถ๐—ป๐—ฒ๐—ฒ๐—ฟ @๐—ฆ๐—ผ๐—ฑ๐—ฎ. Ha lavorato nell’IT di aziende di dimensione enterprise per oltre 10 anni, e come solution architect and engineer presso MuleSoft e Sony Ericsson. In Soda, fa parte del team che crea per la comunity soluzioni tecniche per clienti e partner.
๐—ฉ๐—ถ๐—ท๐—ฎ๐˜† ๐—ž๐—ถ๐—ฟ๐—ฎ๐—ป รจ ๐—ฃ๐—ฟ๐—ผ๐—ฑ๐˜‚๐—ฐ๐˜ ๐—Ÿ๐—ฒ๐—ฎ๐—ฑ @ ๐—ฆ๐—ผ๐—ฑ๐—ฎ ๐—ฆ๐—ค๐—Ÿ. Esperto in Big Data Engineering con una passione per Scala, Clojure e le metodologie Agile. รˆ il Product Lead di Soda SQL

Unisciti al nostro gruppo anche su @Linkedin : bit.ly/XStreamData-Lin

Gli Speaker