O que é arquitetura de dados? Um framework para o gerenciamento de dados

Written by on in Articles

arquitetura de Dados de definição

arquitetura de Dados descreve a estrutura de uma organização lógica e física, ativos de dados, gerenciamento de dados e recursos, de acordo com

{{#url}}O Open Group Architecture Framework (TOGAF){{/url}}{{^url}}O Open Group Architecture Framework (TOGAF){{/url}}

. É um desdobramento da arquitetura corporativa que compreende os modelos, políticas, regras e padrões que governam a coleta, armazenamento, arranjo, integração e uso de dados nas organizações. A arquitetura de dados de uma organização é a competência de

{{#url}}data architects {{/url}} {{^url}}data architects {{/url}}

.

objetivos da arquitetura de dados

o objetivo da arquitetura de dados é traduzir as necessidades de negócios em dados e requisitos do sistema e Gerenciar dados e seu fluxo através da empresa.

Propaganda

arquitetura de Dados de princípios

{{#url}}de Acordo com Josué Klahr{{/url}}{{^url}}de Acordo com Josué Klahr{{/url}}

, vice-presidente de gestão de produtos, produtos básicos, no Splunk, e ex-vice-presidente de gerenciamento de produto da AtScale, seis princípios que constituem o alicerce da moderna arquitetura de dados:

  1. Dados é um bem comum. Uma arquitetura de dados moderna precisa eliminar silos de dados departamentais e dar a todas as partes interessadas uma visão completa da empresa.
  2. os usuários exigem acesso adequado aos dados. Além de quebrar silos, as arquiteturas de dados modernas precisam fornecer interfaces que facilitem o consumo de dados pelos usuários usando ferramentas adequadas para seus trabalhos.
  3. a segurança é essencial. As arquiteturas de dados modernas devem ser projetadas para segurança e devem suportar Políticas de dados e controles de acesso diretamente nos dados brutos.
  4. vocabulários comuns garantem um entendimento comum. Os ativos de dados compartilhados, como catálogos de produtos, dimensões do calendário fiscal e definições de KPI, exigem um vocabulário comum para ajudar a evitar disputas durante a análise.
  5. os dados devem ser selecionados. Invista em funções principais que realizam curadoria de dados (modelagem de relacionamentos importantes, limpeza de dados brutos e curadoria de dimensões e medidas-chave).
  6. os fluxos de dados devem ser otimizados para agilidade. Reduza o número de vezes que os dados devem ser movidos para reduzir custos, aumentar o frescor dos dados e otimizar a agilidade da empresa.

arquitetura de Dados de componentes

{{#url}}Dataversity{{/url}}{{^url}}Dataversity{{/url}}

diz arquitetura de dados pode ser sintetizada em três global de componentes:

  • arquitetura de Dados de resultados. Esses são os modelos, definições e fluxos de dados frequentemente chamados de artefatos de arquitetura de dados.
  • atividades de arquitetura de dados. Estes são os formulários, implanta e cumpre as intenções de arquitetura de dados.
  • comportamentos de arquitetura de dados. Estas são as colaborações, mentalidades e habilidades das várias funções que afetam a arquitetura de dados de uma empresa.

arquitetura de dados vs. modelagem de dados

Segundo

{{#url}}Data Management Book of Knowledge (DMBOK 2){{/url}}{{^url}}Data Management Book of Knowledge (DMBOK 2){{/url}}

, arquitetura de dados define o modelo de gestão de ativos de dados, alinhando com a estratégia organizacional para estabelecer estratégicas de requisitos de dados e modelos para atender a esses requisitos. Por outro lado, DMBOK 2 define modelagem de dados como “o processo de descobrir, analisar, representar e comunicar requisitos de dados de uma forma precisa chamada modelo de dados. Embora a arquitetura de dados e a modelagem de dados busquem preencher a lacuna entre os objetivos de negócios e a tecnologia, a arquitetura de dados trata da visão macro que busca entender e apoiar as relações entre as funções, a tecnologia e os tipos de dados de uma organização. A modelagem de dados tem uma visão mais focada de sistemas ou casos de negócios específicos.

data architecture frameworks

existem várias estruturas de arquitetura corporativa que geralmente servem como base para a construção da estrutura de arquitetura de dados de uma organização.

  • {{#url}}DAMA-DMBOK 2{{/url}}{{^url}}DAMA-DMBOK 2{{/url}}

    . O corpo de Conhecimento de gerenciamento de dados da DAMA International é uma estrutura especificamente para gerenciamento de dados. Ele fornece definições padrão para funções de gerenciamento de dados, entregas, funções e outras terminologias, e apresenta princípios orientadores para o gerenciamento de dados.

  • {{#url}} Zachman Framework for Enterprise Architecture {{/url}} {{^url}}Zachman Framework for Enterprise Architecture {{/url}}

    . O

    {{#url}}Zachman Framework{{/url}}{{^url}}Zachman Framework{{/url}}

    é uma empresa ontologia criada por John Zachman na IBM na década de 1980. A coluna “data” do Zachman Framework é composto de várias camadas, incluindo padrões arquitetônicos importantes para a empresa, um modelo semântico ou conceitual/modelo de dados da empresa, uma empresa/modelo lógico dos dados, uma física do modelo de dados e bancos de dados reais.

  • {{#url}} A estrutura de arquitetura de grupo aberto (TOGAF) {{/url}} {{^url}}a estrutura de arquitetura de grupo aberto (TOGAF) {{/url}}

    . TOGAF é uma metodologia de arquitetura corporativa que oferece uma estrutura de alto nível {{/url}} {{{^url}} estrutura de alto nível {{{/url}} para desenvolvimento de software corporativo. A fase C do TOGAF abrange o desenvolvimento de uma arquitetura de dados e a construção de um roteiro de arquitetura de dados.

características da arquitetura de dados moderna

as arquiteturas de dados modernas devem ser projetadas para aproveitar as tecnologias emergentes, como Inteligência artificial (IA), automação, internet das Coisas (IoT) e blockchain. Dan Sutherland, distinto engenheiro e diretor de tecnologia, plataformas de dados, da IBM, diz

{{#url}}modernas arquiteturas de dados deve conter as seguintes características em{{/url}}{{^url}}modernas arquiteturas de dados deve conter as seguintes características em{{/url}}

comum:

Publicidade

  • Nuvem-nativo. As arquiteturas de dados modernas são projetadas para suportar escalabilidade elástica, alta disponibilidade, segurança de ponta a ponta para dados em movimento e dados em repouso e escalabilidade de custo e desempenho.
  • pipelines de dados escaláveis. Para aproveitar as tecnologias emergentes, as arquiteturas de dados suportam streaming de dados em tempo real e rajadas de dados em micro-lote.
  • integração de dados contínua. As arquiteturas de dados se integram a aplicativos legados usando interfaces de API padrão. Eles são otimizados para compartilhar dados entre sistemas, geografias e organizações.
  • ativação de dados em tempo Real. As arquiteturas de dados modernas suportam a capacidade de implantar validação, classificação, gerenciamento e governança de dados automatizados e ativos.
  • dissociado e extensível. As arquiteturas de dados modernas são projetadas para serem fracamente acopladas, permitindo que os Serviços executem tarefas mínimas, independentemente de outros serviços.

arquitetura de Dados funções de

Aqui estão alguns dos mais populares títulos de trabalho relacionados com a arquitetura de dados e a média de salário para cada cargo, de acordo com dados do

{{#url}}PayScale{{/url}}{{^url}}PayScale{{/url}}

:

  • {{#url}}Arquiteto de dados{{/url}}{{^url}}arquiteto de Dados{{/url}}

    : $76K-$155 K

  • gestor de Projecto: $56K-$128 K
  • arquiteto de Soluções: $74K-$159K
  • {{#url}}Data engineer{{/url}}{{^url}}Data engineer{{/url}}

    : $65K-$132K

  • {{#url}}Data analyst{{/url}}{{^url}}Data analyst{{/url}}

    : $43K-$85K

  • {{#url}}Data scientist{{/url}}{{^url}}Data scientist{{/url}}

    : $67K-$134K

Deixe uma resposta

O seu endereço de email não será publicado.