Fabric | dbt – Shortcuts Propojení ADLS Gen2 s Fabric Lakehouse

V minulém článku – Fabric – ADLS Gen2 a Parquet – Nastavení Úložiště a Formát Bronze Dat jsem popisoval, jak vypadá Azure ADLS Gen2 pro ukládání a archivaci našich zdrojových parquet souborů. Abychom mohli naše zdrojová data nahrát do Fabric Bronze vrstvy a následně je pomocí dbt zpracovat, tak si musíme propojit Azure storage s Fabric Lakehousem.

Ve Fabricu je možné místo přímého přesunu dat využít funkci shortcut, která umožní Fabricu přistupovat k souborům přímo v ADLS Gen2 z prostředí Lakehousu, čímž se zjednodušuje integrace.

Co je shortcut ve Fabricu

Shortcut je něco jako odkaz v rámci Fabric Lakehouse, který ukazuje na externí umístění dat (v našem případě ADLS Gen2 storage). Data zůstávají fyzicky uložená v původním umístění, ale Fabric je dokáže číst a zpracovávat stejně jako lokální tabulky v Lakehouse – přes SQL nebo Python. Díky vhodné struktuře, kteoru jsme si ukázali v minulém článku se můžeme na data v ADLS Gen2 dotazovat rychle a přesně.

Pro zopakování  – jak data ukládáme

/data-lake/
   └── 01_bronze/
       └── <source_system>/
           └── <table_name>/
               └── year=<ingestion_year>/
                   └── month=<ingestion_month>/
                       └── day=<ingestion_day>/
                           └── <ingestion_timestamp>data.parquet

Postup propojení ADLS Gen2 s Fabric Lakehouse pomocí shortcutu

• Přihlášení do Fabric – otevřete svůj workspace a přejdeme pomocí naší pěkné Task flow navigace do artefaktu Lakehouse

• Vytvoření shortcutu – v Lakehouse vyberte možnost New shortcut

• Zadejte adresu složky v ADLS Gen2, kterou chcete propojit a následně vyberte root adresáře z ADLS, který chceme vytvořit.

• Nastavení přístupových práv – zkontrolujeme, že Fabric má oprávnění číst složku v ADLS Gen2 (např. pomocí Managed Identity nebo Service Principal).
• Ověření přístupu – po vytvoření shortcutu otevřeme složku v Lakehouse a otestujeme, že Fabric dokáže zobrazit soubory a jejich metadata.

Další kroky po propojení

Jakmile je shortcut vytvořen, data z ADLS Gen2 lze zpracovávat. Typicky se provádí následující:

• Načítání dat ze shortcutu do Bronze Delta tabulek pomocí fabric notebooků – zamergování zdrojových dat
• Transformace dat do Silver a historizace jako podklad pro Fabric | dbt – Slowly changing dimension (SCD 2) – Snapshots a Check Strategie v dbt s příkladem
• Transformace dat do Gold medailonů pomocí dbt
• Orchestrace procesů přes pipelines a notebooky