Archív rubriky: SSIS – Integration Services

integration services ssis package

SQL Server Integration services (SSIS) jsou nástroje a funkce pro vývoj, automatizaci a provoz datových pump a datových transformací, tedy jak přenést data z bodu A do bodu B a při tom je transformovat. Souhrnně se těmto procesům říká ETL (extract, transfer, load). SSIS nabízí řadu nástrojů a funkcí pro efektivní vývoj, správu a údržbu těchto procesů

Úvod do SQL Server Integration Services – SSIS pro datové toky (pipelines)

Níže najdete několik základních informací a navigaci na zdroje (tento blog nebo cizí pokud zde informace nemám):

  • Instalace SW komponent pro spuštění a provoz SSIS je součástí instalace SQL Server
  • SSIS balíčky (datové pumpy) jsou vytvářeny ve Visual Studio 2019 nebo starší (případně SSDT) s tím, že je potřeba aktivovat add-in SQL Server Integration services
  • Po vytvoření SSIS balíčku jej můžete nahrát (deploy) na server do SSIS katalogu a odtud tento balíček spouštět pomocí naplánovaných úloh přes SQL Server Agent. Toto je podstatou automatizace datových skladů postavených na SQL Server + SSIS datových integracích. Pouštět balíčky z localhostu neautomatizovaně můžete bez omezení. Pouštět balíčky ze serveru přes SQL Agent můžete pouze s těmito edicemi
      • SQL Server Developer – zdarma pro testování
      • SQL Server Standard
      • SQL Server Enterprise

Návody SSIS na tomto webu pro začátečníky

Seznámení s Integration services, jak připravit datovou pumpu chronologicky krok po kroku:

Pokud vám nestačí defaultní nabídka konektorů (na zdroje) a komponent pro vaše datové toky, tak můžete využít placených nástrojů třetích stran, které vám rozšíří možnost připojení na mnohem více zdrojů

Modernější alternativy k Integration Services (SSIS)

Aktuálně jsou SSIS doménou spíše onprem starších systémů, které jsou již tzv. locknuty do tohoto řešení (je příliš drahé toto řešení předělat). Nová řešení používají spíše modernější řešení pro ETL toky jako například

KingswaySoft | Automatizace ETL SSIS integrace dat – datový sklad

S nástrojem KingswaySoft spokojeně pracuji při automatizaci ETL datových toků již mnoho let a rozhodl jsem se, že k tomuto nástroji udělám článek. Kingswaysoft totiž před časem přinesl do světa integrace dat prostřednictvím SQL Server Integration Services (SSIS) menší low-code revoluci. Nejedná se o žádný start-up. Je to vendor, který je na trhu už mnoho… Čtěte více »

SSIS | Data Flow Task – ETL Datové Toky s příkladem

V článku o control flow tasku jsem popsal funkci Control Flow v SSIS balíčku. Pomocí control flow dokážeme řídit to, co balíček provádí. Nejpoužívanejším typem tasku je právě Data flow task, který obsahuje logiku datových toků (ETL procesů). Rozdíl mezi Control Flow a Data flow taskem Bohužel se tyto 2 pojmy často zaměňují. Control flow… Čtěte více »

SSIS | Control flow – Tasks, Containers, Data Flow – Integration Services

V předchozím článku SSIS | Úvod, BIDS, Project, Package, SSIS Toolbox jsem stručně představil featuru SQL Server Integration Services (SSIS) pro SQL Server. Cílem článku bylo usnadnit začátečníkům seznámení s pracovním prostředím, ve kterém můžeme vyvíjet datové integrace (ETL). Dnes se podíváme na control flow. Shrnutí minulého článku o úvodu do SSIS Víme, že datové integrace… Čtěte více »

SSIS | Integration Services pro začátečníky – Úvod, BIDS, Project, Package, SSIS Toolbox

Tento článek slouží jako seznámení se SQL Server Integration Services (SSIS) pro SQL Server. Obsahuje úvodní představení této sady nástrojů pro vývoj datových toků. SQL Server je většinou obecně chápána zejména jako databázová platforma obsahující silný database engine a klienta – Management Studio pro práci s databázemi. Stejně jako u řady jiných SW existuje řada edic,… Čtěte více »

Chyba Microsoft.ace.oledb provider is not registered on the local machine

Toto je v Business intelligence vcelku častá chybová hláška – v češtině by zněla nějak takto “Zprostředkovatel” Microsoft.ACE.OLEDB.X.X”není registrován na místním počítači”. Kdy nastává chyba ACE OLE DB provideru a jak ji opravit? Nastává pokud se pokoušíme připojit např k Excel sešitu nebo Access databázi, která běží na verzi Office, ke které nemáme nainstalovanou OLE… Čtěte více »

SSIS Connection Manager + Příklad Jednoduché Datové Pumpy

SQL Server není jen platforma na ukládání a práci s daty nebo databázemi. Je to balík služeb a kromě database enginu obsahuje také např. featury: Reporting Services (SSRS) – tvorba a úložiště reportů vč report serveru, Analysis Services (SSAS) – OLAP kostky Master data Services (MDS) – správa důležitých dat – např různé číselníky Data… Čtěte více »

SQL Parallelism, paralelní zpracování dat – 2 a více procedur současně?

Spuštění více než 1 procedury v 1 čas nemusí být tak jednoduchá úloha jak se zdá, zejména pokud jednotlivé procedury mají mezi sebou závislosti – tzn nějaká sada procedur podmiňuje spuštění jiných procedur. Jak tedy udělat paralelismus (Parallelism)? Když si zrekapitulujeme možnosti které se nám nabízejí: Parallelism procedur v jedné session v SQL skriptu –… Čtěte více »

SSIS Import Google analytics dat do SQL databáze

Následující řádky poskytují návod na to, jakým způsobem provést import google analytics dat do databáze/ datového skladu bez nutnosti programovat. Proč bysme měli něco takového mohli chtít? Třeba proto, že si chceme vytvořit vlastní reporty nebo data z google analytics zkombinovat s daty z jiných zdrojových systémů – například vnitropodnikových. Jedná se o návod pro technicky… Čtěte více »

SSIS Toolbox – Seznam všech komponent a tasků

Níže je uvedena mapa všech komponent a tasks, které jsou součástí SSIS Projektu v rámci SQL Server Data Tools 2015. Jednotlivé komponenty a tasky naleznete  v SSIS Toolbox. Postupně plánuji jednotlivé pojmy v této mapě provázat s BI slovníkem a pokud bude zájem, tak v budoucnu přidávat i tutoriály k SSIS. SSIS ToolBox 1. Data flow… Čtěte více »