Fabric – Workspace a Task Flow – Organizace procesů a artefaktů (itemů), domény

Workspace a jeho role v rámci architektury Fabricu, Domains

Workspace ve Fabricu funguje jako logická jednotka pro organizaci a správu všech datových artefaktů datového řešení v rámci workspacu (podobně jako workspace v Power BI) – např. pipelines, notebooky, lakehousy, warehousy, aj. Správná organizace workspaců v organizaci je důležitá zejména z hlediska pohodlné správy datového řešení a také efektivní organizace přístupových oprávnění.

Domains – Relativně novou funkcionalitou ve Fabricu jsou tzv. domény. Ty stojí nad workspaces a jedná se o nadřazený prvek organizace, do které následně můžeme přiřadit workspaces a vytvořit tak logické celky dle obchodní nebo datové logiky. Domény tvoří klíčový prvek datově-orientované architektury vycházející z principů Data Mesh, kde  každou business doménu (stream) vlastní její garant – např. Finance, Sales, Marketing a jiné. Domény se zakládají ve Fabric Admin portálu – Domains a následně je můžete přiřadit workspacům.  ¹

Task Flow, navigace a organizace datových procesů

V Microsoft Fabric lze využít funkci Task Flow k organizaci a vizualizaci procesů a jejich artefaktů –  Typickým příkladem je tzv. Medallion Task Flow, který slouží pouze jako vizuální reprezentace datového toku mezi vrstvami medailonové architektury (Bronze -> Silver -> Gold). Tento typ flow neprovádí žádné spouštění ani orchestraci úloh – jeho cílem je zpřehlednit vztahy mezi artefakty, dokumentovat strukturu řešení a usnadnit orientaci v komplexním prostředí workspace.

Po založení nového workspace můžeme Task flow vytvořit viz. screenshot buď (a) od začátku nebo z předpřipraveného templatu. Nejefektivnější je žačít z nějakého templatu a řešení si následně přizpůsobit.

Můžeme si vytvořit flow  úplně od začátku nebo vytvořit nějak předdefinované vzory (templates). Nejjednodušší scénář by mohl obsahovat workflow rozdělené do několika tasků. Návrh struktury a samotná organizace artefaktů je čistě na vašich preferencích.

• Task 1 – Ingest surových dat (Bronze)
• Task 2 – Čištění a transformace (Silver)
• Task 3 – Agregace a obchodní logika (Gold)
• Task 4 – Aktualizace Power BI datasetů

Příklad Task flow – Medailonová architektura

Fabric nativně podporuje implementaci tzv. medailonové architektury (Medallion Architecture) jako task flow, která strukturuje data do vrstev Bronze, Silver a Gold. Tento přístup zajišťuje postupnou transformaci dat od surového vstupu až po obchodně hodnotné výstupy. Bronze vrstva uchovává zdrojová data v nezměněné podobě, Silver vrstva obsahuje očištěná a normalizovaná data připravená pro analytiku a Gold vrstva poskytuje agregované datové produkty určené pro reporting či strojové učení.

Medailonovou architekturu implementujeme i my v projektu, ze kterého vzniká tato série článků o Fabricu – koukněte na kategorii Fabric nebo na článek Fabric | dbt – Architektura a Role dbt v Medailonové Architektuře. Naše architektura vypadá takto:

Po kliknutí na Task se vám v dolní liště zobrazí všechny itemy, které jsme do daného tasku zařadili.