Czym jest architektura danych? Struktura zarządzania danymi

definicja architektury danych

Architektura danych opisuje strukturę logicznych i fizycznych zasobów danych organizacji oraz zasobów zarządzania danymi, zgodnie z

{{#url}}Open Group Architecture Framework (TOGAF){{/url}}{{^url}}Open Group Architecture Framework (TOGAF){{/url}}

. Jest to pochodna architektury korporacyjnej, która obejmuje modele, zasady, reguły i standardy regulujące gromadzenie, przechowywanie, aranżację, integrację i wykorzystanie danych w organizacjach. Architektura danych organizacji jest zadaniem

{{#url}}data architects {{/url}} {{^url}}data architects {{/url}}

cele architektury danych

celem architektury danych jest przełożenie potrzeb biznesowych na dane i wymagania systemowe oraz zarządzanie danymi i ich przepływem przez przedsiębiorstwo.

Reklama

Zasady architektury danych

{{#url}}według Joshuy Klahr{{/url}}{{^url}}według Joshuy Klahr{{/url}}

, vice president of product management, core products, w Splunk, a wcześniej vice president of product management w AtScale, sześć zasad stanowi podstawę nowoczesnej architektury.architektura danych:

dane są zasobem współdzielonym. Nowoczesna architektura danych musi wyeliminować wydziałowe silosy danych i dać wszystkim interesariuszom pełny obraz firmy.
użytkownicy wymagają odpowiedniego dostępu do danych. Oprócz niszczenia silosów, nowoczesne architektury danych muszą zapewniać interfejsy, które ułatwiają użytkownikom korzystanie z danych za pomocą narzędzi dostosowanych do ich zadań.
bezpieczeństwo jest niezbędne. Nowoczesne architektury danych muszą być zaprojektowane z myślą o bezpieczeństwie i muszą obsługiwać Zasady danych i kontrolę dostępu bezpośrednio na surowych danych.
wspólne słownictwo zapewnia wspólne zrozumienie. Udostępnione zasoby danych, takie jak katalogi produktów, wymiary kalendarza fiskalnego i definicje wskaźników KPI, wymagają wspólnego słownictwa, aby uniknąć sporów podczas analizy.
dane powinny być kontrolowane. Zainwestuj w podstawowe funkcje, które wykonują kuratorowanie danych (modelowanie ważnych relacji, oczyszczanie surowych danych oraz kuratorowanie kluczowych wymiarów i miar).
przepływy danych powinny być zoptymalizowane pod kątem zwinności. Zmniejsz liczbę przenoszenia danych, aby obniżyć koszty, zwiększyć świeżość danych i zoptymalizować elastyczność przedsiębiorstwa.

komponenty architektury danych

{{#url}}Dataversity{{/url}}{{^url}}dataversity{{/url}}

mówi, że architektura danych może być zsyntetyzowana w trzy ogólne komponenty:

wyniki architektury danych. Są to modele, definicje i przepływy danych często określane jako artefakty architektury danych.
działania związane z architekturą danych. Są to formularze, wdrożenia i wypełnianie intencji architektury danych.
zachowania architektury danych. Są to współpraca, nastawienie i umiejętności różnych ról, które wpływają na architekturę danych przedsiębiorstwa.

Architektura danych vs. modelowanie danych

zgodnie z

{{#url}}Data management Book of Knowledge (DMBOK 2) {{/url}}{{^url}}data Management Book of Knowledge (DMBOK 2) {{/url}}

, Architektura danych definiuje plan zarządzania zasobami danych poprzez dostosowanie do strategii organizacyjnej w celu ustalenia strategicznych wymagań danych i projektów, aby spełnić te wymagania. Z drugiej strony, DMBOK 2 definiuje modelowanie danych jako ” proces odkrywania, analizowania, reprezentowania i komunikowania wymagań danych w precyzyjnej formie zwanej modelem danych.”

podczas gdy zarówno architektura danych, jak i modelowanie danych starają się wypełnić lukę między celami biznesowymi a technologią, Architektura danych dotyczy widoku makr, który ma na celu zrozumienie i wsparcie relacji między funkcjami, technologią i typami danych organizacji. Modelowanie danych zajmuje bardziej skoncentrowany widok konkretnych systemów lub przypadków biznesowych.

struktury architektury danych

istnieje kilka struktur architektury korporacyjnej, które zwykle służą jako podstawa do budowania struktury architektury danych organizacji.

{{#url}} DAMA-DMBOK 2 {{/url}} {{^url}} DAMA-DMBOK 2{{/url}}

. Baza wiedzy o zarządzaniu danymi Dam International to ramy specjalnie do zarządzania danymi. Zawiera standardowe definicje funkcji zarządzania danymi, rezultatów, ról i innej terminologii oraz przedstawia Przewodnie zasady zarządzania danymi.
{{#url}} Zachman framework for Enterprise Architecture {{/url}} {{^url}}Zachman Framework for Enterprise Architecture {{/url}}

.

{{#url}}Zachman Framework {{/url}} {{^url}}Zachman Framework {{/url}}

to ontologia korporacyjna stworzona przez Johna Zachmana w IBM w latach 80. XX wieku.kolumna „data” w Zachman Framework obejmuje wiele warstw, w tym standardy architektoniczne ważne dla firmy, MODEL semantyczny lub koncepcyjny/korporacyjny model danych, korporacyjny/logiczny model danych, fizyczny model danych i rzeczywiste bazy danych.
{{#url}}The Open Group Architecture Framework (TOGAF) {{/url}} {{^url}}The Open Group Architecture Framework (TOGAF) {{/url}}

. TOGAF jest metodologią architektury korporacyjnej, która oferuje

{{#url}}Framework wysokiego poziomu{{/url}}{{^url}}Framework wysokiego poziomu{{/url}}

do tworzenia oprogramowania dla przedsiębiorstw. Faza C TOGAF obejmuje opracowanie architektury danych i zbudowanie mapy drogowej architektury danych.

charakterystyka nowoczesnej architektury danych

nowoczesne architektury danych muszą być zaprojektowane tak, aby wykorzystywały nowe technologie, takie jak sztuczna inteligencja (AI), automatyzacja, internet rzeczy (IoT) i blockchain. Dan Sutherland, wybitny inżynier i CTO, platformy danych, w IBM, mówi

{{#url}}nowoczesne architektury danych powinny posiadać następujące cechy w {{/url}}{{^url}}nowoczesne architektury danych powinny posiadać następujące cechy w {{/url}}

wspólne:

Reklama

cloud-native. Nowoczesne architektury danych są zaprojektowane z myślą o elastycznym skalowaniu, wysokiej dostępności, kompleksowym zabezpieczeniu danych w ruchu i danych w spoczynku oraz skalowalności kosztów i wydajności.
skalowalne potoki danych. Aby skorzystać z nowych technologii, architektury danych obsługują przesyłanie strumieniowe danych w czasie rzeczywistym i mikro-wsadowe serie danych.
Bezproblemowa integracja danych. Architektury danych integrują się ze starszymi aplikacjami przy użyciu standardowych interfejsów API. Są one zoptymalizowane pod kątem udostępniania danych w różnych systemach, lokalizacjach i organizacjach.
aktywacja danych w czasie rzeczywistym. Nowoczesne architektury danych umożliwiają wdrażanie zautomatyzowanej i aktywnej walidacji, klasyfikacji, zarządzania i zarządzania danymi.
Nowoczesne architektury danych są zaprojektowane tak, aby były luźno połączone, umożliwiając usługom wykonywanie minimalnych zadań Niezależnie od innych usług.

role w architekturze danych

oto niektóre z najpopularniejszych tytułów związanych z architekturą danych i średnim wynagrodzeniem dla każdej pozycji, zgodnie z danymi z

{{#url}}PayScale {{/url}} {{^url}} PayScale {{/url}}

{{#url}} Data architect {{/url}} {{^url}} Data architect {{/url}}

: $76K – $155K
Kierownik Projektu: $56K – $128K
architekt rozwiązań: $74K-$159K
{{#url}}Data engineer{{/url}}{{^url}}Data engineer{{/url}}

: $65K-$132K
{{#url}}Data analyst{{/url}}{{^url}}Data analyst{{/url}}

: $43K-$85K
{{#url}}Data scientist{{/url}}{{^url}}Data scientist{{/url}}

: $67K-$134K