Hurtownia danych – podejście techniczne czy funkcjonalne?
Pozwól sobie zaprezentować nowoczesne podejście do Inteligentnej Platformy Danych. Zajmie to tylko kilka minut. Szczególny nacisk w artykule kładziony jest na znaczenie słowa Inteligentny, niosąc ze sobą przekaz, że Hurtownia Danych w organizacji ma wywoływać zmianę nie tylko w sferze technicznej, Drugoplanowy staje się wybór narzędzi i technologii. Najcenniejsze co można uzyskać wprowadzając koncepcje Hurtowni Danych do organizacji to zmiana myślenia pracowników, wartości za jakimi podążają i najważniejszych procesów samej organizacji. W szczególności dzieje się to poprzez wymuszanie na organizacji aby nawet najniższy szczebel kadry zarządzającej, był gotowy i świadomy jak (a także dlaczego), wykorzystywać dane jakie dostarcza Inteligentna Platforma Danych.
W artykule znajdziesz rozwinięcie tej myśli w poszczególnych punktach:
- Czym jest Hurtownia Danych w nowoczesnej organizacji?
- Inteligentna Platforma Danych, rzeczywisty spadkobierca Hurtowni Danych?
- Business Intelligence – najwyższa wartość dodana w koncepcji Platformy Danych.
- Zmiana technologii, bez zmiany modelu na „organizacja oparta o wiedzę”, nie ma sensu.
Czym jest Hurtownia Danych w nowoczesnej organizacji?
Hurtownia Danych zmieniała swoje znaczenie na przestrzeni lat. Początkowo, koncepcja Hurtowni Danych rozwijała się z pobudek technologicznych, wraz z wymuszeniem na dużych organizacjach zmiany w sposobie przetwarzania i gromadzenia danych. Duży rozwój na znaczeniu tej koncepcji, nastąpił w momencie cyfryzacji stanowisk pracy na szeroką skalę. Dodatkowy impuls do zmian wynikał z rozwoju dostępu do Internetu, rozumianego jako zmiana sposobu komunikacji klientów z organizacją jak i samego modelu i procesu sprzedaży produktów, czy usług.
Historia myśli i koncepcji budowy Hurtowni Danych sięga lat 70tych i 80tych XX wieku, rozpoczęta poprzez zauważenie i zdefiniowanie głównych komponentów: wymiarów i faktów.
Co sprawia, że ten temat nadal jest aktualny, a nowoczesne organizacje wydają duże środki na budowanie i utrzymywanie tego typu systemów?
Jak można łatwo się domyślić, narzędzia i technologia wykorzystywana kilkadziesiąt lat temu jest już jedynie znana przez historyków. Zmiany technologiczne są cykliczne, migracje z jednego rozwiązania na drugie, są wykonywane co kilka lat. Akceptując taki przebieg rzeczy, nie upatrywałbym motywacji w rozwoju hurtowni, jako wyścigu do najnowocześniejszy rozwiązań. Ta gonitwa sama w sobie nie daje wartości organizacji, być może poza marketingowymi stwierdzeniami: „pracujemy na najnowocześniejszych technologiach”, które są chwytliwe dla pracowników, jednak pytając o sens biznesowy rzadko kiedy możemy to racjonalnie uargumentować.
Odwróćmy jednak to pytanie. Czy sama koncepcja od strony funkcjonalnej uległa zmianie? Zastanówmy się czy modele opisane przez R. Kimball’a w książce „The Data Warehouse Toolkit…” czy W. Inmon’a „Building the Data Warehouse” przestały być aktualne? Czy koncepcje i sposób w jaki podejdziemy do budowy struktur Hurtowni Danych mają kluczowe znaczenie? Odpowiedź brzmi: nie. W każdym z tych podejść istnieją elementy i koncepcje które przenikają się i mają zastosowanie w implementacjach. W praktyce w rozległych systemach, przy rotującej załodze pracującej nad samą architekturą, sztywne pilnowanie wybranego schematu architektonicznego dla całej Hurtowni Danych często bardziej szkodzi niż pomaga w efektach i dostarczaniu kolejnych komponentów rozwiązania. Mamy również nowocześniejsze koncepcje do budowy struktur takie jak: Data Vault 2.0 czy Snowflake.
Chciałbym tutaj mocno podkreślić ważną rzecz, która często umyka Architektom rozwiązań. Dyskusja o wyborze konkretnego schematu, to nie jest cel i ambicja rozwoju umiejętności samego Architekta. Najważniejszym jest i będzie, taki dobór koncepcji, aby komponent Business Intelligence jak najlepiej wykorzystywał pełny potencjał jaki kryje się w danych organizacji. Ocena czy praca Architekta została dobrze wykonana, powinna odbywać się poprzez wynik, czy udało się zaimplementować Inteligentną Platformę Danych, czy tylko idealną i doskonałą Hurtownię Danych, która finalnie jest daleka w w codziennym znaczeniu od przybliżania pracowników do podejmowania decyzji w oparciu o dane.
Czemu powstało określenie Inteligentna Platforma Danych?
Powrócimy do rozważań na temat znaczenia słowa „Inteligentna” w kolejnym akapicie. Spróbujmy zrozumieć czym jest i jak rozumiemy drugi komponent: „Platforma Danych”.
Wraz z rozwojem technologii koszt przetwarzania i przechowywania danych zmalał. Z drugiej strony ogrom i natłok danych jakie generuje organizacja w każdej minucie, również nie pozostał w tyle i wręcz przeciwnie – rośnie wykładniczo, wraz z rozwojem biznesu.
Platforma Danych w koncepcji jaką promujemy, jest miejscem, które łączy więcej funkcji niż Hurtownia Danych. W szczególności odbywa się to poprzez zmianę optyki, czyli dodanie kolejnego szczebla odbiorców końcowych. Największą uwagę przywiązujemy do zaopiekowania się potrzebami analitycznymi kadry zarządczej niższego szczebla. Celem jest sprawić aby menadżerowie liniowi traktowali Platformę Danych jako pierwsze miejsce do argumentacji swojej decyzji. Zbiór funkcjonalności, jak i przekrój samych danych, powinien w takim wypadku być bardzo szeroki. Rozumiemy tutaj, że codzienność poszczególnych departamentów organizacji: sprzedaży, marketingu, finansów czy samej produkcji, wymaga obróbki danych w inny sposób, poszukując innych wartości dostępnych w analizie biznesowej. Co najważniejsze, Platforma Danych ma być „wysoce jakościowym” źródłem danych, ale jednocześnie „inteligentnym” co rozumiemy, że potrafi dostarczyć funkcjonalności i narzędzia tak, że każdy z odbiorców znajdzie odpowiednią analizę dla siebie, jak i w kontekście całej organizacji. Ten komponent inteligencji wymaga aby menadżer mógł współpracować z systemem w nowoczesny sposób. Tak, jak używa urządzeń i oprogramowania w dzisiejszym świecie: intuicyjnie i w sposób zautomatyzowany. Niedopuszczalnym jest dodawać przedrostek „inteligentny” jeśli przygotowanie zestawu danych w platformie zajmuje 99% czasu, a na analizę pozostaje jedynie 1%.
Platforma Danych to miejsce, które łączy dane z wielu systemów dziedzinowych, jak CRM, ERP, WMS, etc. Co odróżnia Platformę Danych od klasycznej Hurtowni Danych to kilka aspektów:
- Zagnieżdżenie w komunikacji pomiędzy systemami, poprzez wzbogacanie komunikacji w konstelacjach systemów źródłowych.
- Elastyczna budowa: procesowanie danych strukturalnych, semi-strukturalnych, oraz niestrukturalnych.
- Wzbogacanie Inteligencji poprzez warstwę Maszynowego Uczenia i Sztucznej Inteligencji.
- Zerwanie z odwiecznym problemem braku miejsca do analitycznych ćwiczeń, zarówno dla pracowników wykorzystujących Data Science, jak i samych analityków.
Każdy z tych punktów zostanie rozwinięty przez Nas w następnych publikacjach. Zapraszam do śledzenia naszego bloga.
Powróćmy jednak do głównego wątku, czyli do odpowiedzi na pytanie: „jakie funkcjonalności są kluczowe w Inteligentnej Platformie Danych?”.
Business Intelligence - najwyższa wartość dodana do Platformy Danych.
Zapewne każdy słyszał już o popularnej koncepcji, czy klasie narzedzi, Business Intelligence, szczególnie w momencie błyskawicznego rozwoju narzędzi do tego dedykowanych, jak Power BI, Qlik, MicroStrategy, Tableau, czy inne. Śledząc rozwój tych narzędzi, trudno nie oprzeć się wrażeniu, że w początkowych latach ich rozwoju, z Inteligencją, nie miały dużo wspólnego.
Opisaliśmy w odrębnym artykule zmianę kierunku rozwój wiodącej platformy: Microsoftu – Power BI.
Zadając pytanie użytkownikowi: czym jest dla niego Power BI? Czy usłyszymy odpowiedź: Dla mnie jest to „Inteligentny Doradca w podejmowaniu decyzji”? Czy może raczej: „kolejne narzędzie wystawione przez dział IT, które daje nam dostęp do danych”? Odpowiedź druga, niosąca już informacje o odbiorze narzędzia przez końcowego użytkownika, czyli brak koncepcji idącej we wdrażaniu dodatkowych komponentów, poza technicznymi. Użytkownicy nie odnajdą się w samym narzędziu, nie zmienią i zrozumieją nowej koncepcji, wizji, czy wspomnianej Inteligencji, jedynie jak wyślemy firmowego maila do wszystkich, że w końcu mamy narzędzie klasy Business Intelligence w swojej firmie. To dopiero pierwszy krok w nadchodzącej zmianie.
Temat jest obszerny, jednak aby narzędzie Business Intelligence było Inteligentną Platformą Danych, muszą zajść następujące zmiany w procesach i wizji całej organizacji:
- Dostęp platformy i danych jest wpisany w strukturę organizacji, a odpowiedzialność za konkretne atrybuty i fakty jest określana momencie ich powstawania.
- Nie ma dwóch konkurujących platform danych w organizacji, a wybierane narzędzie nie są powiązane z danym dostawcą, a opierają się o software silne szyty na miarę potrzeb.
- Funkcje klasycznie związane z Hurtownią Danych: „jakość danych”, „zarządzanie metadanymi”, etc. zostają wyniesione na poziom przypisania ich do każdego z liderów poszczególnych działów. Staje się to obowiązkiem każdego z liderów, aby wnieść swoją cegiełkę do ekosystemu, oraz zabiegać o swoje potrzeby i rozwój funkcjonalności platformy danych.
- Przygotowanie Piaskownicy (miejsca do ćwiczeń analitycznych) wbudowanej w DNA systemu. Każdy z użytkowników musi mieć możliwość dowolnego korzystania z możliwości analizy i interaktywnej kooperacji w oparciu o system z innymi pracownikami.
Inteligencja samej Platformy Danych skierowana jest do zmiany ról i podejścia pracowników organizacji. Z jednej strony pracownicy muszą aktywnie uczestniczyć w rozwoju ekosystemu, z drugiej muszą mieć pełnie możliwości w odkrywaniu potencjału, bez martwienia się o dostępy, techniczne aspekty przetwarzania danych, generowania raportów, etc.
Zastanawiające jest jednak, często spotykane w każdej organizacji (zarówno małej jak i korporacji) przywiązanie pracownika do analiz wykonywanych w Excelu. Według mnie jest to wynikiem braków, lub skrótów, jakich dopuszczają się Architekci platform. Budując narzędzie w modelu klasycznym: uzgadniamy fakty, wymiary, budujemy procesy ETL, tworzymy pierwszy dashboard dla Zarządu. Często to koniec pierwszego etapu. Niestety, nie ma miejsca w późniejszych etapach na wbudowanie w DNA systemu wspomnianej Piaskownicy. Pracownicy to pokazują właśnie poprzez wynoszenie danych do swojej, znanej i lubianej Piaskownicy – czyli Excela.
Dodam jeszcze dla zaciekawionych, gdzie jest miejsce na Machine Learning, Sztuczną Inteligencję, Data Science i innych dobrodziejstw jakie w ostatnich latach zaczyna dostarczać nam rozwijająca się technologia. Narzędzie ma ten komponent u samych podstaw, ale aby to miejsce znaleźć, rozwinę koncepcję software silnie szyty na miarę potrzeb.
Organizacja, która cały swój rozwój platformy zwiąże z wybranym dostawcą, który często dostarcza dobre, holistycznie spójne, rozwiązanie, jest w kropce. Wspomniane nowoczesne podejścia do analizy, z wykorzystaniem Machine Learning’u (ML), będą zmuszone odnaleźć się albo w wybranym produkcie np. jako dodatek do narzędzia Power BI, albo poczekać aż będą miały dedykowaną usługę w chmurze Azure. Ma to swoje plusy, jak i minusy. W koncepcji szytej na miarę proponowane są dwa rozwiązania: Machine Learning, Sztuczna Inteligencja, Platforma Data Science, żyje i jest tam gdzie w danym momencie jest wykorzystana w organizacji. Tak to w realiach firm wygląda. Najpierw jest w piaskownicy, potem jest w Platformie Danych nabierając Inteligencji, aż staje się częścią całej Platformy. W międzyczasie może zmienić się zarówno dostawca oprogramowania, jak i koncepcja platformy. Warto wspomnieć, że zmusza to do zaprzestania budowania silosów specjalizacji. Koncepcje takie jak Maszynowe Uczenie powinny być częścią głównych procesów organizacji, jak wymienione już sprzedaż czy marketing. To Inteligentna Platforma ma pozwalać na funkcjonalność ML w oparciu o pracę z użytkownikami i menadżerami. Stoi to w opozycji do pracy danego działu ekspertyz (np. Center of Excellence), który na koniec dnia stworzy swoją platformę danych, zaburzającą wyżej wspomnianą koncepcję i stworzy bariery, które ponownie zachęcą do tworzenia narzędzi, raportów czy pojedynczych arkuszy Excel a nie spójnej wizji Inteligentnej Platformy Danych.
Zmiana technologii bez zmiany organizacji opartej o wiedzę nie ma sensu.
Technologia i jej rozwój są bardzo ważne. Nikt temu nie zaprzeczy. Często jednak osoby optujące za zmianą technologii mają zbyt mały kontekst swoich działań, lub czysto egoistycznie, uzależniają swoje kompetencje od znajomości najnowocześniejszej wersji narzędzia danego dostawcy.
W sektorze IT często obserwuje się pościg za trendami. Dla przykładu wymienię kilka: wprowadzimy w organizacji Data Lake i wykorzystamy w końcu narzędzia dedykowane do Big Daty. Przeprowadzimy migrację Hurtowni Danych do Snowflake. Zmienimy dostawcę narzędzia Business Intelligence z MicroStrategy na Power BI. Jakie za tym kryją się jednak zmiany dla organizacji? Czy to utrzymuje wizję i spójność co do Inteligentnej Platformy Danych , czy tylko ogranicza koszty funkcjonowania systemów IT?
Co z użytkownikami? Czy zmienia się ich podejście do danych przy tej zmianie, czy powoduje tylko kolejną potrzebą przeskoczenia minimalnego progu, żeby robić to samo, co dotychczas?
Zmiana w organizacji, w dobrze utrzymywanej Inteligentnej Platformie Danych, powinna odbywać się każdego dnia, w każdym modelu, czy to top-bottom, czy bottom-up. Zmiana, rozwój, dobór technologii powinna być dyskutowana na forum „odbiorca – lider obszaru / departamentu – architekt platformy”. Wybór poziomu technologiczno-infrastrukturalnego będzie oceniony, przez pryzmat meta analiz, czyli funkcjonalne wykorzystanie platformy danych. Warto robić to cyklicznie, poprzez ankietowanie pracowników i szukanie odpowiedzi na dwa kluczowe pytania:
- Czy czuję się współodpowiedzialny za rozwój Inteligentnej Platformy Danych?
- Czy mam lepsze narzędzie, ale indywidualne, pozwalające na realizację efektów Business Intelligence w mojej codziennej pracy?
W datacamel mamy cel: w momencie rozpoczęcia procesu zadać te dwa pytania, pracownikom organizacji z którą zaczynamy współpracę. W momencie odbioru zleconych prac, obowiązkiem jest dołączyć raport z porównaniem wyników kolejnej ankiety. Wyniki satysfakcjonują Nas tylko wtedy, gdy po 12 miesiącach od wdrożenia Platformy podskoczyły w obu kategoriach. Szczególnie w drugim. Wtedy organizacja przeszła zmianę, a powstała Inteligentna Platforma Danych zaczęła być jej częścią, niczym ekspresja genu w DNA.
