CZYM JEST DATA MESH — PODSTAWY ARCHITEKTURY

Data mesh to podejście architektoniczne do zarządzania danymi w dużych organizacjach, w którym odpowiedzialność za dane przenoszona jest z centralnego zespołu inżynierii danych do zespołów domenowych. Zamiast jednego, scentralizowanego jeziora danych, powstaje sieć niezależnie zarządzanych, ale wzajemnie powiązanych zasobów danych.

Geneza koncepcji

Termin data mesh został spopularyzowany w kontekście rosnącej złożoności platform danych w organizacjach wielodomenowych. Klasyczne modele — hurtownie danych i jeziora danych — opierały się na jednym, centralnym zespole odpowiedzialnym za pozyskiwanie, przetwarzanie i udostępnianie danych z całej firmy. W miarę wzrostu liczby źródeł danych i liczby odbiorców, taki zespół staje się wąskim gardłem organizacyjnym.

Data mesh proponuje odwrócenie tego modelu: dane pozostają blisko zespołów, które je najlepiej rozumieją — czyli zespołów domenowych — a rola centralnej platformy ogranicza się do dostarczania wspólnych narzędzi i standardów.

Cztery filary architektury

1. Domenowa własność danych

Każda domena biznesowa — na przykład sprzedaż, logistyka czy obsługa klienta — odpowiada za jakość, dostępność i dokumentację danych, które generuje. Zespół domenowy zna kontekst biznesowy najlepiej, dlatego to on decyduje o strukturze i semantyce udostępnianych danych.

2. Dane jako produkt (data product)

Dane udostępniane przez domenę traktowane są jak produkt — z określonym odbiorcą, dokumentacją, umową jakości (SLA) i interfejsem dostępu. Data product powinien być odkrywalny, zrozumiały, wiarygodny i bezpieczny.

3. Samoobsługowa platforma danych

Aby zespoły domenowe mogły efektywnie zarządzać danymi bez konieczności posiadania specjalistycznej wiedzy inżynieryjnej, potrzebna jest wspólna infrastruktura — platforma self-service dostarczająca gotowe komponenty: potoki danych, kontrolę dostępu, monitoring i katalogowanie.

4. Federacyjne zarządzanie obliczeniowe (federated governance)

Globalne standardy — dotyczące np. bezpieczeństwa, zgodności z przepisami czy interoperacyjności — są ustalane wspólnie przez przedstawicieli domen, a następnie egzekwowane automatycznie poprzez mechanizmy wbudowane w platformę.

Kiedy warto rozważyć data mesh

Data mesh sprawdza się przede wszystkim w dużych organizacjach z wieloma niezależnymi domenami biznesowymi, gdzie centralny zespół danych stał się wąskim gardłem, a liczba źródeł i odbiorców danych rośnie szybciej niż zdolność centralnego zespołu do ich obsługi. W mniejszych organizacjach z jedną lub dwiema domenami korzyści z decentralizacji mogą nie przewyższać kosztów wdrożenia.