S nástrojem KingswaySoft spokojeně pracuji při automatizaci ETL datových toků již mnoho let a rozhodl jsem se, že k tomuto nástroji udělám článek. Kingswaysoft totiž před časem přinesl do světa integrace dat prostřednictvím SQL Server Integration Services (SSIS) menší low-code revoluci. Nejedná se o žádný start-up. Je to vendor, který je na trhu už mnoho let a ke svým službám poskytuje dobrou podporu a pravidelné updaty. O co jde?

Jak Kingswaysoft šetří čas a peníze při ETL integracích?

Jedná se o doplněk do aplikace, ve které vytváříme SSIS package (Visual studio). Balíčky nám pak slouží pro ETL procesy (datové extrakce, transformace, loady) v prostředí SQL Server. Pokud tento doplněk nemáte, tak Integration services sám o sobě obsahuje sadu nástrojů, které slouží k integraci dat. Dříve jsem zpracoval článek, který ukazuje s jakými SSIS nástoji (komponentami) můžeme pracovat v základní verzi. Princip spočívá v tom, že se bez nutnosti programování jsme schopni zmigrovat data z bodu A (např Excel) do bodu B (SQL databáze). Problém je však v tom, že v základní verzi máme pouze základní konektory.

KingswaySoft přichází s bohatým arzenálem komponent pro SSIS. Díky low-code přístupu můžete intuitivně definovat extrakce, transformace a načítání dat, což výrazně urychluje vývoj a šetří čas. Na výběr je nepřeberné množství zdrojových systémů, transformací a nezapomnělo se ani na bezpečnost. Na výběr máme mnoho metod authentikace – např. oauth2 a další.

Další výhodou Kingswaysoft je to, že nemusíme z důvodu napojení na nějakou službu používat různé nástroje, programovací jazyky a služby. To s sebou nese dodatečné náklady na administrativu (vzniká bordel) a často nám to výrazně rozšiřuje technologické portfolio nutné ke správě celého řešení. To je od určitého okamžiku problém i personálně (potřebuji hodně lidí na správu).

Čím více používáme ETL nástrojů pro datové integrace, tím obtížnější je vyznat se v celém ETL řešení. Klesá zastupitelnost, vzniká čurbes v repozitáři, rostou náklady na reingeneering (dohledávání chyb, opravy), nikdo neví kde co je a data warehouse jde pomalu do kopru. S Kingswaysoftem můžeme držet většinu ETL logiky v SSIS packages, které máme přes project deployment model nahrané do katalogu, metadata držíme v databázi a můžeme si tak postavit celý orchestrační engine na 1 nebo několika málo platformách. Nečelíme tak několika vendor lockům současně.

Základní produkty Kingwaysoftu

Kingswaysoft se prodává po instalovatelných balíčcích. Developer licence je zdarma (můžeme testovat do aleluja), nicméně pokud byste chtěli nasadit balíčky v produkčním prostředí, tak potřebujete licenci. Níže najdete můj výběr nejužitečnějších produktů.

Nejčastěji používám Toolkit pro Dynamics 365 pro integraci dat z CRM a Business central 365 (účetní systém) a dále Productivity pack, tkerý obsahuje tuny konektorů na nejrůznější systémy. Můžu tak většinu času věnovat business logice a reportingu a neztrácím tolik času na datových integracích ¹

Produktové členění Kingswaysoftu

(Tip – otestováno) SSIS Integration Toolkit for Microsoft Dynamics 365

• Specializovaný toolkit pro bezproblémovou integraci dat mezi SQL Serverem a Microsoft Dynamics 365
• Snadná konfigurace a přístup ke klíčovým entitám v Dynamics 365

(Tip – otestováno) Productivity Pack

• Rozšiřuje možnosti SSIS s dodatečnými komponenty a funkcionalitou pro zvýšení produktivity
• Obsahuje například komponenty pro práci s Excel, manipulaci s daty, a další pokročilé nástroje

SSIS Integration Toolkit for Salesforce

• Umožňuje rychlou integraci dat mezi SQL Serverem a platformou Salesforce
• Intuitivní mapování polí a podpora pro Salesforce bulk operace

SSIS Integration Toolkit for Microsoft Azure

• Poskytuje nástroje pro efektivní propojení SQL Serveru s různými Azure službami
• Podpora pro Azure Storage, Azure Data Factory a Azure SQL Data Warehouse

a mnoho dalších jako např. Sharepoint, Netsuite, MS directory services.

Ukázka, instalace a ceny

Funguje to tak, že na webu si vyberete produkt, stáhnete si instalační soubor a tento jednoduše nainstalujete na server kde běží váš SQL Server. Následně spustíte licenční manažer a vložíte do něj kód, který obdržíte po nákupu předplatného (subscription). Můžete si vybrat 1 určitý balíček, který zrovna potřebujete nebo si rovnou koupíte Ultimate edition a dostanete sakum prdum všechno.

Takto vypadá data flow komponenta po instalací Kingswaysoft productivity packu – v levé části panelu máme cca 100 nových možností kam se připojit.

Možnosti low-code připojení na datové zdroje nebo cíle (source/destination)

• Azure – Blob storage, data lake, files, functions, queue, service
• Google – ads, alloy, Bigquery, cloud, drive, sheets
• Amazon – Dynamo, Redshift, S3, SQS
• Bing ads
• Cassandra
• CDM
• CosmosDB
• Couchbase
• EDI
• Email
• HDFS
• HTML
• IBM
• JSON
• XML
• Kafka
• PostgreSQL
• Excel
• Flat file
• RabbitMQ
• Redis
• REST api
• Snowflake
• Tableau
• Webservice
• a mnoho dalších

Tímto způsobem s napojím na data ze služby kterou potřebuji, můžu je integrovat do skladu a následně zahistorizovat. Vytvořené SSIS packages nahrajeme na server do katalogu odkud se dá spustit například pomocí jobu nebo ho pustíme v rámci orchestrace v jiném SSIS balíku.

Cena Ultimate edition je podlě mě v pohodě – cca 1895 USD za single server. Moc? Ani omylem, udělá to úspory klidně stovky/tisíce hodin ročně za práci programátora + má to výhody zmíněné výše. Pokud máte menší DWH prostředí a zajímáte se např. pouze o integraci Dynamics 365, tak cena bude nižší (koupíte si balíček pro 365). Kdyby vás něco zajímalo, rád odpovím.

1. kingswaysoft.com [on-line]. [cit. 2023-11-15]. Dostupné z WWW: https://www.kingswaysoft.com/products