V Dbt (data build tools) jsou soubory organizovány v logické struktuře. Abychom se v projektu dlouhodobě vyznali při rostoucím množství kódu, je vhodné si v souborech udělat určitý systém. Souborová struktura dbt projektu Po inicializaci prázdného dbt dostaneme adresářovou strukturu viz níže. Root je náš dbt projekt. Uvnitř najdeme konfigurační soubory dbt_project.yml a dbt_profiles.yml a… Čtěte více »
V minulém článku jsme otestovali ChatGPT bota co se týče statistické analýzy. Dnes se podíváme na matematiku. Zkusíme nechat vyřešit ChatGPT příklad na binomickou větu (středoškolská matematika – gymnázia a technické odborné školy). Uvidíme, že se to moc nepodařilo. To mě tedy poměrně dost překvapilo, protože jsem si myslel že AI bude v exaktních vědách… Čtěte více »
Jde dohromady Dbt a Snowflake? Jasně na pohodu a pokud to ještě zabalíte do nějakého ETL/orchestračního nástroje jako například Keboola (cloud) nebo Mage.ai (onprem) tak máte slušnou data mlátičku. Dnes už většina ETL frameworků (alespoň těch lepších) s dbt počítá. Lokální konfigurace Dbt a Snowflake V tomto tutoriálu počítáme s tím, že dbt máme lokálně… Čtěte více »
Minule jsme udělali takový větší deep dive do toho jak funguje Keboola storage, jak aplikace zpracovává a jak ukládá data během nějakého flow. Dneska ukážu, jak fungují v Keboole transformace. Vytvoříme si mnohem komplexnější Flow, které napočítá data ze zdroje a poté aktualizuje Power BI report. Keboola Transformace (ETL přístup) – kdy je používat Transformace… Čtěte více »
V předchozích článcích jsem ukazoval, jak jednoduché je v Keboole založit svoje první data flow a podrobněji jsme se podívali na páteřní prvky Flow což jsou Keboola komponenty a jejich nastavení. Jestliže páteřními prvky každého flow jsou komponenty, tak jedním z hlediska celé architektury je klíčová Keboola storage nebo-li úložiště souborů. Kebola úložiště (Storage) –… Čtěte více »
V Keboole jsou komponenty bloky, ze kterých se skládá Data Flow (pipeline). Jsou to prvky v ETL/ELT procesu, pomocí kterých se napojujeme na zdroj dat (source) nebo cíl dat (destination). Díky komponentám jsme schopni data přenášet. Díky demokratizačním nástrojům jako je Keboola není potřeba umět programovat, protože Keboola komponenty jsou již připraveny v aplikaci, stačí… Čtěte více »
V minulém díle nazvaném ETL | Keboola Free (zdarma) – Vytvoření projektu, základy jsme dělali základní seznámení s aplikací. Prošel jsem postup při založení projektu a také jsme orientačně prošli strukturu Kebooly a menu. Dneska bych se chtěl ukázat, jak jednoduché je vytvořit Keboola flow. Flow je v Keboole označení pro pipeline, data flow, datový tok… Čtěte více »
V předchozím článku jsme si udělali menší úvod- ETL | Keboola – Úvod, Pricing, Produkty – Alternativa Fivetran. Víme, že Keboola nabízí Freemium model, takže si můžeme tento nástroj vyzkoušet zdarma. Budeme muset pouze strpět limitace co se týče používání (limit počtu minut je 120). Podíváme se, jak vypadá prostředí v aplikaci a seznámíme se… Čtěte více »
V rámci demokratizace dat a přeměny na data-driven management firem přechází čím dál tím více firem na řešení, která tuto kulturu podporují a posilují. Data se zpřístupňují širokému okruhu uživatelů pro analýzy a reporting v nástrojích jako je třeba Power BI. Na úrovni ETL nástrojů pomocí nichž provádíme datové integrace do centrálního úložiště – datového… Čtěte více »
Dříve platilo, že správa a zpřístupňování podnikových dat interním zákazníkům (zaměstnancům jiných oddělení) byla výlučně v rukou IT oddělení. Pokud jste chtěli nějaký report nebo datovou sestavu, museli jste napsat na IT. Potom jste počkali několik dní než se na vás dostala řada a nakonec jste dostali nějaká data. Dnes už tomu (díky bohu) u… Čtěte více »
