DATA PRODUCTS — BUDOWA I ZARZĄDZANIE

Pojęcie data product jest centralnym elementem architektury data mesh. Traktowanie zbioru danych jak produktu oznacza, że posiada on odbiorcę, właściciela, dokumentację i mierzalną jakość — a nie jest jedynie technicznym eksportem z systemu źródłowego.

Elementy składowe produktu danych

Kompletny data product składa się zwykle z kilku warstw: warstwy danych (dane wejściowe, przetworzone, wyjściowe), warstwy metadanych (opis, schemat, słownik pojęć), warstwy interfejsu (API, tabela, plik, strumień zdarzeń) oraz warstwy operacyjnej (monitoring, logi, alerty).

Cechy dobrego data product

Odkrywalność

Produkt danych powinien być zarejestrowany w centralnym katalogu danych, wraz z opisem, właścicielem i kontekstem biznesowym, tak aby inne zespoły mogły go łatwo odnaleźć bez konieczności pytania o niego bezpośrednio.

Wiarygodność i jakość

Umowa jakości danych (data contract) określa oczekiwaną strukturę, częstotliwość aktualizacji, dopuszczalny poziom błędów oraz zasady powiadamiania o zmianach. Naruszenie kontraktu powinno być widoczne dla konsumentów danych automatycznie.

Bezpieczeństwo i kontrola dostępu

Dostęp do danych wrażliwych powinien być regulowany na poziomie produktu — poprzez mechanizmy autoryzacji zdefiniowane centralnie, ale egzekwowane lokalnie przez zespół domenowy odpowiedzialny za dany zasób.

Cykl życia produktu danych

Podobnie jak produkt oprogramowania, data product przechodzi przez fazy: projektowania, publikacji wersji, utrzymania oraz — w razie potrzeby — wycofania. Zmiany w strukturze danych powinny być wersjonowane, a konsumenci informowani z odpowiednim wyprzedzeniem o planowanych zmianach łamiących kompatybilność.