Datový sklad v Microsoft Fabric pro rychlejší reporting PKV 

Cíl projektu

Společnost PKV měla Power BI reporting postavený přímo nad daty ze zdrojových systémů, s rozsáhlými transformacemi uvnitř jednotlivých Power BI modelů. S rostoucím objemem dat se denní refresh výrazně prodlužoval a původní řešení přestávalo být udržitelné. Cílem projektu bylo vytvořit centralizovaný datový sklad v Microsoft Fabric, integrovat data ze systémů Asana, Raynet a QI, přesunout transformace z Power BI do DWH a postavit jeden semantický model jako jednotný zdroj pravdy pro reportingové potřeby firmy. 

1

model jako zdroj pravdy

1′

refresh PBI modelu

 40

MDs / 1 měsíc

 

 

Projekt měl jasné zadání a velmi krátký časový rámec. Vzhledem k rozsahu prací a urgentní potřebě nahradit původní reporting jsme se zákazníkem nejprve nastavili detailní plán postupu, rozdělili práci do týdenních fází a identifikovali kritická místa, kde bylo nutné rychlé zapojení obou týmů.

V první fázi jsme připravili prostředí Microsoft Fabric s využitím standardizovaného intecs frameworku. Následně jsme integrovali data ze zdrojových systémů Asana, Raynet a QI a začali stavět datový sklad se zaměřením na výrobní, mzdový, personální, CRM a projektový reporting.

Klíčovým krokem byla migrace transformační logiky z původních Power BI modelů do centrálního datového skladu. Díky tomu se výpočty a datové úpravy přesunuly z jednotlivých reportů do jednoho řízeného prostředí. Výsledkem je jeden semantický model, který slouží jako společný základ pro další reporting a nahrazuje původních 5–6 samostatných modelů.

Projekt byl rozdělen do několika navazujících fází: nastavení prostředí Fabric, integrace dat ze zdrojových systémů, tvorba datového skladu, vytvoření semantického modelu, nastavení automatických refreshů dvakrát denně a příprava podkladů pro migraci reportů a validaci dat. Samotnou validaci si zákazník prováděl ve vlastní režii, s podporou připravených výstupů a struktury dat. 

Významnou výzvou bylo, že v polovině projektu původní Power BI řešení přestalo fungovat. Bylo proto nutné průběžně releasovat hotové části datového skladu a synchronizovat vývoj mezi DWH a Power BI reportingem. Jakmile byla část dat připravená, okamžitě se publikovala k validaci a dalšímu vývoji reportů. Paralelně přitom pokračovala integrace a transformace dalších datových oblastí. 

Tento postup umožnil zákazníkovi začít stavět nové reporty co nejdříve, i nad částečně připravenými daty. Projekt proto vyžadoval rychlé rozhodování, přesné plánování a několik technických kompromisů, zejména tam, kde bylo potřeba upřednostnit dostupnost dat před ideální architekturou v první fázi řešení. 

Výsledkem je centralizovaný datový sklad v Microsoft Fabric, který sjednocuje data z klíčových systémů a poskytuje stabilní základ pro reporting v Power BI. Refresh Power BI modelu se zkrátil přibližně na 1 minutu a díky nové architektuře je možné aktualizovat data vícekrát během dne. PKV tak získalo rychlejší, spolehlivější a lépe spravovatelný reportingový základ pro další rozvoj analytiky. 

 
Keďže projekt bol spustený ani nie v dvanástej hodine, ale skôr desať minút po dvanástej, išlo o skutočne intenzívny vývoj s pomerne striktnými deadlinami a potrebou detailne naplánovať každý krok. Zároveň bolo nevyhnutné čo najskôr umožniť paralelný vývoj, teda začať stavať reporty čo najskôr, aj nad čiastkovými dátami. Z tohto dôvodu bolo potrebné riešiť viacero kompromisov vo vývoji, hlavne z pohľadu optimálnosti technického riešenia. Čas a dáta zohrávali kľúčovú rolu. Veľmi oceňujem nasadenie aj zo strany zákazníka. Bez ich intenzívneho zapojenia by bolo veľmi náročné dosiahnuť očakávané výsledky v dohodnutom termíne. Veľmi si ceníme dôveru, ktorú sme dostali, aj možnosť dodatočne doladiť technický dlh z intenzívneho vývoja, aby sme spoločne mohli pokračovať v ďalšom rozvoji. 

~ Ivana Tomeková, Senior BI Consultant, intecs

Spokojený klient

„Chtěla bych vyzdvihnout profesionalitu týmu intecs, který dokázal ve velmi krátké době vytvořit datový sklad podle našich potřeb a zároveň se rychle zorientovat v business logice uplatněné v našich původních modelech. Hlavním přínosem je pro nás jednotný datový model, který slouží jako zdroj pro Power BI reporty a zajišťuje konzistentní práci s daty napříč celou organizací. Velkým přínosem je také spolehlivé a pravidelné refreshování datového modelu bez výpadků a taky výrazné zkrácení doby potřebné pro refresh dat. Ďekuji týmu Intecs za jejich nasazení a odbornost a věřím, že naše spolupráce nekončí.“

Ing. Alexandra Pániková

BI Data Analyst, PKV