dbt je open-source nástroj pro data engineering, který umožňuje transformaci dat v data warehouse/datamart prostředích. Dále umožňuje historizační procesy (změny nad tabulkou) a orchestraci – závislosti mezi skripty.
V Dbt (data build tools) jsou soubory organizovány v logické struktuře. Abychom se v projektu dlouhodobě vyznali při rostoucím množství kódu, je vhodné si v souborech udělat určitý systém....
Jde dohromady Dbt a Snowflake? Jasně na pohodu a pokud to ještě zabalíte do nějakého ETL/orchestračního nástroje jako například Keboola (cloud) nebo Mage.ai (onprem) tak máte slušnou data mlátičku....
Dnes jsem se pokoušel v rámci seznamování s Mage.ai provést instalaci přes Docker, protože momentálně (2024-01-26) je to jediný scénář kdy je možné rozchodit Dbt společně s Mage.ai v...
Minulý článek byl zaměřen na instalaci dbt do prostředí Mage.ai anebo samostatně a následnou inicializaci projektu nazvaného mage_dbt – Instalace Dbt (pip/conda) a inicializace projektu. Máme tedy nainstalovaný environment...
V minulém článku – ETL | Mage.ai – odlehčenější důstojná alternativa za Airflow – seznámení a instalace jsme si udělali menší představení ETL nástroje Mage.ai jako odlehčenější alternativy k Apache...