Microsoft Fabric je robustní cloudová datová platforma, která kombinuje nástroje pro uložení dat, jejich správu, analytiku a strojové učení v jednotném prostředí. Platforma a cena Fabricu je navržena tak, aby splnila různé organizačné potřeby – od malých týmů až po rozsáhlá enterprise řešení. Tento článek poskytuje přehled cenových modelů, popis jednotlivých tierů a doporučení pro… Čtěte více »
Tento článek popisuje postup konfigurace souboru profiles.yml v rámci nástroje dbt pro správné připojení k Microsoft Fabric SQL Endpointu s využitím autentizace pomocí Service Principal (SPN), kterou jsme si založili v tomto článku – Fabric | dbt – Azure Service Principal (SPN) a RBAC pro dbt. Cílem je zajistit bezpečné a automatizované spojení mezi dbt… Čtěte více »
Pro Warehouse postavený v cloudu nad MS Fabricem máme připraveno prostředí Lakehousu a DWH a máme taky kromě jiného připraven a nakonfigurován dbt projekt. Nyní nastává důležitá fáze DataOps: Musíme se zamyslet nad tím, Z jakého prostředí (ideálně serverless) budeme v budoucnu dbt projekt dávkově spouštět. Jak implementovat proces Kontinuální Integrace a Kontinuálního Doručování (CI/CD),… Čtěte více »
Microsoft Fabric je sjednocená datová platforma, která propojuje různé artefakty (funkcionality Fabricu) pro vývoj datových řešení, analytiky a BI v jednom integrovaném prostředí. Klíčovými komponentami jsou Fabric Lakehouse a Fabric Data Warehouse. Tento článek popisuje proces vytvoření Fabric Lakehouse/Warehouse, konfiguraci a následnou integraci s dbt. Upozornění na dbt-fabric adapter Dbt adapter pro Microsoft Fabric (dbt-fabric)… Čtěte více »
Microsoft Fabric představuje sjednocenou SaaS platformu, která integruje komponenty tzv. moderního datového skladu. V rámci jedné platformy je tak možné pořešit ukládání přes artefakty (Lakehouse/DWH), výpočetní prostředky (Spark/Polaris) a nástroje pro orchestraci datových toků. Fabric architektura poskytuje také nástroje pro transformační část (třeba spark), které lze napsat a následně orchestrovat v rámci Fabricu jako takového.… Čtěte více »
V minulém článku – Fabric – ADLS Gen2 a Parquet – Nastavení Úložiště a Formát Bronze Dat jsem popisoval, jak vypadá Azure ADLS Gen2 pro ukládání a archivaci našich zdrojových parquet souborů. Abychom mohli naše zdrojová data nahrát do Fabric Bronze vrstvy a následně je pomocí dbt zpracovat, tak si musíme propojit Azure storage s… Čtěte více »
Snowflake je cloudová platforma pro ukládání a analýzu dat, která poskytuje širokou škálu služeb pro práci s daty – datového skladu, datového jezera (lake), data science a sdílení dat. Byla založena v roce 2012 a od té doby se velmi rychle šíří díky své schopnosti efektivně zpracovávat velké objemy dat, jedinečné architektuře a díky škálovatelnosti… Čtěte více »
Dnes bych se chtěl opět podrobněji podívat jaké možnosti nabízí ChatGPT plus co se týče analýzy dat. V minulém článku jsme pomocí Chat GPT provedli finanční analýzu společnosti NVIDIA. Dnes využijeme stejnou ChatGpt funkci, která nám umožňuje nahrát data a podíváme se jak může vypadat statistická analýza v podání Chat GPT, když tomu dáme volnou… Čtěte více »
V Dbt (data build tools) jsou soubory organizovány v logické struktuře. Abychom se v projektu dlouhodobě vyznali při rostoucím množství kódu, je vhodné si v souborech udělat určitý systém. Souborová struktura dbt projektu Po inicializaci prázdného dbt dostaneme adresářovou strukturu viz níže. Root je náš dbt projekt. Uvnitř najdeme konfigurační soubory dbt_project.yml a dbt_profiles.yml a… Čtěte více »
V minulém článku jsme otestovali ChatGPT bota co se týče statistické analýzy. Dnes se podíváme na matematiku. Zkusíme nechat vyřešit ChatGPT příklad na binomickou větu (středoškolská matematika – gymnázia a technické odborné školy). Uvidíme, že se to moc nepodařilo. To mě tedy poměrně dost překvapilo, protože jsem si myslel že AI bude v exaktních vědách… Čtěte více »
