Slowly Changing Dimensions (SCD) představují způsob, jak v datovém skladu uchovávat a spravovat historické změny dimenzí v čase. Pro zopakování teorie co jsou to fakta a dimenze doporučuju před dalším pokračováním prolítnout článek – Fakta a dimenze – Tabulky v datovém skladu. V kontextu medailonové architektury, ve které pracujeme ve Fabricu, spadá generování SCD do… Čtěte více »
Ve Fabricu se pro automatizaci datových toků běžně používají Pipelines. Ty často potřebují předávat autentizační údaje, například API klíče nebo hesla (tzv. secrets), do notebooků, které vykonají nějaký kód. I když platforma umožňuje “bezpečné” uložení těchto hodnot v rámci Pipeline v typu SecureString, samotné předání do runtime prostředí Notebooku představuje určité riziko, pokud není správně… Čtěte více »
Aby bylo možné využít autentizaci Azure Service Principal, je nutné nejprve vytvořit aplikaci a její přihlašovací údaje v Entra ID (původně Azure Active Directory). Tuto metodu authentikace následně budeme potřebovat pro správné nastavení konfiguračního souboru profiles.yml pro připojení k Fabricu, kterou řešíme v článku – Fabric | dbt – Konfigurace profiles.yml pro SPN Autentizaci k… Čtěte více »
Microsoft Fabric je robustní cloudová datová platforma, která kombinuje nástroje pro uložení dat, jejich správu, analytiku a strojové učení v jednotném prostředí. Platforma a cena Fabricu je navržena tak, aby splnila různé organizačné potřeby – od malých týmů až po rozsáhlá enterprise řešení. Tento článek poskytuje přehled cenových modelů, popis jednotlivých tierů a doporučení pro… Čtěte více »
Tento článek popisuje postup konfigurace souboru profiles.yml v rámci nástroje dbt pro správné připojení k Microsoft Fabric SQL Endpointu s využitím autentizace pomocí Service Principal (SPN), kterou jsme si založili v tomto článku – Fabric | dbt – Azure Service Principal (SPN) a RBAC pro dbt. Cílem je zajistit bezpečné a automatizované spojení mezi dbt… Čtěte více »
Pro Warehouse postavený v cloudu nad MS Fabricem máme připraveno prostředí Lakehousu a DWH a máme taky kromě jiného připraven a nakonfigurován dbt projekt. Nyní nastává důležitá fáze DataOps: Musíme se zamyslet nad tím, Z jakého prostředí (ideálně serverless) budeme v budoucnu dbt projekt dávkově spouštět. Jak implementovat proces Kontinuální Integrace a Kontinuálního Doručování (CI/CD),… Čtěte více »
Microsoft Fabric je sjednocená datová platforma, která propojuje různé artefakty (funkcionality Fabricu) pro vývoj datových řešení, analytiky a BI v jednom integrovaném prostředí. Klíčovými komponentami jsou Fabric Lakehouse a Fabric Data Warehouse. Tento článek popisuje proces vytvoření Fabric Lakehouse/Warehouse, konfiguraci a následnou integraci s dbt. Upozornění na dbt-fabric adapter Dbt adapter pro Microsoft Fabric (dbt-fabric)… Čtěte více »
Microsoft Fabric představuje sjednocenou SaaS platformu, která integruje komponenty tzv. moderního datového skladu. V rámci jedné platformy je tak možné pořešit ukládání přes artefakty (Lakehouse/DWH), výpočetní prostředky (Spark/Polaris) a nástroje pro orchestraci datových toků. Fabric architektura poskytuje také nástroje pro transformační část (třeba spark), které lze napsat a následně orchestrovat v rámci Fabricu jako takového.… Čtěte více »
V minulém článku – Fabric – ADLS Gen2 a Parquet – Nastavení Úložiště a Formát Bronze Dat jsem popisoval, jak vypadá Azure ADLS Gen2 pro ukládání a archivaci našich zdrojových parquet souborů. Abychom mohli naše zdrojová data nahrát do Fabric Bronze vrstvy a následně je pomocí dbt zpracovat, tak si musíme propojit Azure storage s… Čtěte více »
Snowflake je cloudová platforma pro ukládání a analýzu dat, která poskytuje širokou škálu služeb pro práci s daty – datového skladu, datového jezera (lake), data science a sdílení dat. Byla založena v roce 2012 a od té doby se velmi rychle šíří díky své schopnosti efektivně zpracovávat velké objemy dat, jedinečné architektuře a díky škálovatelnosti… Čtěte více »
