Datový sklad (DWH) & Datamart
Datový sklad nebo tržiště (datamart) je centralizované místo, kde jsou uložena data z různých informačních systémů ve formě vhodné k reportování (přes Power BI, Excel, SSAS, jiné).
Zároveň je to místo, kde dochází k transformacím dat, čištění a obohacování dat o nové informace nebo výpočty nad základními daty. Slouží jako zdroj pravdy pro reporting.
Nejčastěji při vývoji pracuji s nástroji MS SQL Server, Power BI, Excel, Visual studio, Git/Sourcetree, dokumentační software (např. Confluence) a systém na zadávání úkolů (např. JIRA, Teams)
Zavedení datového skladu - činnosti
- Vyhodnocení připravenosti společnosti na projekt, časový plán
- Business analýza - Jaké informace potřebujeme (třídění), kde se nacházejí a v jaké jsou kvalitě
- Definice metodik, jmenných konvencí, příprava prostředí (platformy, vývojové prostředí)
- Implementace - Inkrementální vrstva, historizační, prezentační
- Testování implementace
- Tvorba reportů
- Prezentace, zaškolení
- Support - Po skončení projektu jsem Vám k dispozici
Podrobně jsem se o řízení projektu datového skladu rozepsal v článku Datový sklad – Cena? Projektová dokumentace a Jak řídit projekt
Příprava
Implementace a test
Business Analýza
Reporty
Jmenné konvence
Prezentace, školení
K čemu je datový sklad dobrý?
Výhody datového skladu/datamartu
- Místo, kde se nachází pravda – nekolují excely s různými výsledky, management ví čemu může věřit
- Důležitá data na 1 místě – pohodlně jednoduše dostupná pro reporting aplikace (Excel, Power BI, atp.)
- Automatizace – data jsou do DWH nahrávána periodicky a automaticky
- Přátelské pojmenování objektů a polí – zjednodušuje používání dat pro běžné uživatele, uvolnění IT kapacit z důvodu odpadnutí požadavků na sestavy
- Flexibilita – při správně navrženém systému je možné velmi rychle vytvářet reporty i pro netechnické uživatele
- Historizace – snímkování provozních systému, možnost zobrazit stav systému k nějakému datu zpětně
Nevýhody lze při správné implementaci limitovat
- Vyšší počáteční CAPEX investice – nákup licencí, vývoj. Vhodné spíše pro střední a velké podniky
- Určité režijní náklady i po skočení projektu, při správné implementaci marginální
Blog - SQL a Datové sklady
- Datový sklad – Cena? Projektová dokumentace a Jak řídit projekt
- Instalace SQL Server 2016 – Plánování, HW a SW požadavky
- Optimalizace a zrychlení SQL dotazů – 10 tipů s ukázkou
- SQL Automatická oprava indexů v SQL Server + skript
- Základy SQL – Nejpoužívanější příkazy
- SQL, SSRS | Jak vytvořit kalkulačku pro splátkový kalendář v SQL Server – Včetně reportu s parametry
- SQL Jak poslat email přes SQL Script (sp_send_dbmail) – Database mail (Díl 5.)
- SQL Hierarchie Díl 2 – Rekurzivní dotaz do parent-child hierarchie
- BCP utilita – rychlý bulk import a export v SQL Server
- Data Masking v SQL Server – Jak Zakrýt Data v Určitém Sloupci
- SQL Automatická oprava indexů v SQL Server + skript