SQL Server Integration services (SSIS) jsou nástroje a funkce pro vývoj, automatizaci a provoz datových pump a datových transformací, tedy jak přenést data z bodu A do bodu B a při tom je transformovat. Souhrnně se těmto procesům říká ETL (extract, transfer, load). SSIS nabízí řadu nástrojů a funkcí pro efektivní vývoj, správu a údržbu těchto procesů
- Zobrazit příspěvky z kategorie: Mapa článků v kategorii Integration services dle abecedy »
Úvod do SQL Server Integration Services – SSIS pro datové toky (pipelines)
Níže najdete několik základních informací a navigaci na zdroje (tento blog nebo cizí pokud zde informace nemám):
- Instalace SW komponent pro spuštění a provoz SSIS je součástí instalace SQL Server
- SSIS balíčky (datové pumpy) jsou vytvářeny ve Visual Studio 2019 nebo starší (případně SSDT) s tím, že je potřeba aktivovat add-in SQL Server Integration services
- Po vytvoření SSIS balíčku jej můžete nahrát (deploy) na server do SSIS katalogu a odtud tento balíček spouštět pomocí naplánovaných úloh přes SQL Server Agent. Toto je podstatou automatizace datových skladů postavených na SQL Server + SSIS datových integracích. Pouštět balíčky z localhostu neautomatizovaně můžete bez omezení. Pouštět balíčky ze serveru přes SQL Agent můžete pouze s těmito edicemi
-
- SQL Server Developer – zdarma pro testování
- SQL Server Standard
- SQL Server Enterprise
-
Návody SSIS na tomto webu pro začátečníky
Seznámení s Integration services, jak připravit datovou pumpu chronologicky krok po kroku:
- SSIS | Integration Services pro začátečníky – Úvod, BIDS, Project, Package, SSIS Toolbox
- SSIS Toolbox – Seznam všech komponent a tasků
- SSIS | Control flow – Tasks, Containers, Data Flow – Integration Services
- SSIS | Data Flow Task – ETL Datové Toky s příkladem
- SSIS Connection Manager + Příklad Jednoduché Datové Pumpy
- SSIS Import Google analytics dat do SQL databáze
Pokud vám nestačí defaultní nabídka konektorů (na zdroje) a komponent pro vaše datové toky, tak můžete využít placených nástrojů třetích stran, které vám rozšíří možnost připojení na mnohem více zdrojů
Modernější alternativy k Integration Services (SSIS)
Aktuálně jsou SSIS doménou spíše onprem starších systémů, které jsou již tzv. locknuty do tohoto řešení (je příliš drahé toto řešení předělat). Nová řešení používají spíše modernější řešení pro ETL toky jako například
- Apache Airflow – open source spíše velké enterprise společnosti (poměrně složité)
- AWS Glue – je součástí placeného cloud ekosystému AWS od Amazonu. Také spíše pro větší klienty
- Mage.ai (pokrývám zde na blogu) – nové open source alternativy jako Mage jsou skvělé z hlediska developer experience a jednoduše nainstalovatelné na pár kliků
- a mnoho dalších (Pentaho, Azure data factory, IBM, Oracle, Informatica,…)