Enterprise Data Management: use and need

introdução

nosso mundo digital é construído sobre informações. Os dados estão em toda parte e todos os usam para seus negócios diários. O gerenciamento de dados viu recentemente um aumento na popularidade entre empresas, organizações, analistas e consultores. O que impulsiona esse desenvolvimento, considerando que esse tópico geralmente não é considerado muito sexy?

os dados são uma representação dos fatos. Ao colocar os dados no contexto, as informações são criadas. A ausência de um bom gerenciamento de dados geralmente significa automaticamente que o gerenciamento e as informações operacionais não são eficazes. A longo prazo, isso paralisará uma organização na medida em que não possa mais funcionar corretamente. A razão para isso é que decisões importantes são tomadas tarde demais, porque as pessoas não podem mais confiar nas informações de gerenciamento. Além disso, o gerenciamento de processos de negócios requer tempo e esforço crescentes porque as tarefas e responsabilidades dos departamentos não estão bem alinhadas entre si. Nessa situação, todos criam e gerenciam apenas os dados necessários para a execução de suas próprias funções e, consequentemente, fazem uso de um próprio conjunto de definições de dados. Como os departamentos se acusam de imprecisão, medidas de controle são impostas em massa e as operações se tornam ainda mais viscosas, levando a uma espiral descendente para todo o empreendimento. Portanto, há uma razão comercial urgente para atribuir ao gerenciamento de dados uma posição independente e profissional dentro das organizações.

além disso, regras e regulamentos aplicam uma organização estruturada de gerenciamento de dados. Os regulamentos do Setor Financeiro, Como Basileia e solvência, exigem uma estrutura de governança a ser implementada para a qualidade dos dados e a rastreabilidade das informações usadas nos relatórios organizacionais. Nesse contexto, Basileia II afirma: “o Banco deve ter em vigor um processo para verificar as entradas de dados em um modelo estatístico de inadimplência ou previsão de perdas que inclua uma avaliação da precisão, integridade e adequação dos dados específicos para a atribuição de uma classificação aprovada.”O gerenciamento qualitativo de dados é importante para poder atender a esses critérios, mas também pode ser muito demorado de implementar. Nesse contexto, é difícil cumprir regras e regulamentos ou estabelecer acordos com fornecedores e clientes.O gerenciamento de Dados Corporativos é composto por todas as atividades dentro das organizações que visam a identificação estruturada, classificação, registro, modelagem, desbloqueio, segurança, arquivamento e exclusão de dados. Nesse quadro, o termo ‘empresa’ representa o caráter de toda a organização do gerenciamento de dados.

o fato de o gerenciamento de dados desempenhar um papel tão crucial nas operações comerciais é sublinhado por declarações de Funcionários de Nível C. Aloys Kregting, CIO do DSM, escolhido como CIO do ano em 2011, diz: “O CIO deve, acima de tudo, se preocupar com o valor da informação. Você deve saber exatamente quais pessoas precisam de quais informações quando, e facilitar esse processo também. Isso mais uma vez sublinha a importância dos relatórios e do gerenciamento de dados mestre.”Como segundo exemplo, podemos apontar para o CEO de uma empresa de exploração e produção de petróleo, que percebe que o bom gerenciamento de dados é o próximo passo no progresso de sua empresa em direção à excelência nos negócios e permitirá que ela se destaque de seus rivais:” os esforços de melhoria contínua agora se concentrarão em aproveitar essas mudanças e descobrir o valor oculto que elas oferecem. Isso significa impulsionar processos simplificados e fortalecer o gerenciamento de dados para fornecer uma tomada de decisão mais rápida e bem informada, maior capacidade de resposta às necessidades dos clientes e menos desperdício-tudo resultando em maior desempenho competitivo.’

dados como ativo

conforme mencionado acima, os dados são uma representação de fatos. Em um ambiente de negócios, isso significa “fatos relativos às operações comerciais”. Sem contexto ou estrutura, esses dados não têm valor agregado para uma empresa. Falta-lhe Conteúdo e significado para ter qualquer valor real. Aqui, fazemos uma distinção entre dados estruturados, armazenados e organizados em um banco de dados) e dados não estruturados (na forma de documentos, arquivos, imagens, mensagens de texto, formulários, vídeos ou gravações de som, que não pode ser incorporada em linhas, colunas ou registros).

sem informações suplementares, é difícil, se não impossível, classificar, registrar e desbloquear esses dados para uso. O momento em que trazemos contexto para esses dados – é quando eles adquirem significado. Em seguida, adicionamos uma referência, uma data e uma hora, o significado da mensagem, um formato. Com isso, os dados são estruturados e se tornam informações. Se conectarmos todas as várias fontes de informação, estabelecendo relacionamentos e identificando padrões, essa informação se torna conhecimento. Este é, portanto, o valor agregado do business intelligence (BI): conectando várias fontes de informação em uma organização para melhorar a tomada de decisões pela administração da empresa. Veja também a Figura 1.

Figura 1. Valor dos dados, colocados no contexto.

as organizações que são mais capazes de estruturar seus dados e abrir essas informações aos trabalhadores do conhecimento dentro da empresa terão uma vantagem competitiva. Fazer uso do poder comercial inerente desses dados dará às empresas e organizações uma liderança estratégica sobre seus concorrentes. Eric Schmidt, ex-CEO do Google, afirmou em 2010: “não acredito que a sociedade entenda o que acontece quando tudo está disponível, conhecível e gravado por todos o tempo todo.”E Gartner declara: “No setor privado, estimamos, por exemplo, que um varejista que usa big data ao máximo tem o potencial de aumentar sua margem operacional em mais de 60%.'()

mas não se trata apenas de boa estruturação e Desbloqueio de dados. Por vários anos, a ideia predominante era que o BI resolveria o problema da Informação Gerencial. A maioria das empresas e organizações globais implementou software complexo e executou programas de BI caros. No entanto, a administração não está satisfeita. Como o BI é orientado principalmente para dados estruturados, é investido esforço insuficiente para desbloquear o valor dos dados não estruturados. Além disso, as informações de gerenciamento não podem ser facilmente modificadas para acomodar as mudanças nas necessidades da empresa. A KPMG declarou: “grandes investimentos em TI não garantem necessariamente melhores informações. O que é mais importante é mudar fundamentalmente a maneira como os dados são coletados, processados e apresentados.”()

as informações expostas por meio de um data warehouse não valem nada se a qualidade do conjunto de dados subjacente for ruim. Dados não estruturados (aprox. 85% de todos os dados da empresa) não podem ser acessados por meio de um data warehouse. As perguntas são, portanto: como podemos atualizar esses dados e o que constitui um bom gerenciamento de dados para dados não estruturados? Nesse contexto, ” bom ” significa de acordo com os critérios de qualidade que a organização impôs aos dados. É evidente que “bons dados” não é algo que simplesmente aparece do nada. Uma estrutura é necessária. Essa estrutura consiste em atividades que uma empresa deve organizar e incorporar na organização de maneira lógica e precisa. Isso é chamado de gerenciamento de dados e abrange todas as atividades organizacionais direcionadas às operações de negócios, a fim de identificar, classificar, registrar, modelar, desbloquear, proteger, arquivar e excluir dados de forma estruturada. Para tais atividades, usamos o termo “gerenciamento de dados corporativos” (EDM), porque envolve atividades executadas em toda a organização. A consciência de que uma boa gestão de dados pode agregar valor às atividades da empresa e aumentar os lucros trouxe analistas e consultores para colocar dados no mesmo nível que outros recursos da empresa, como terrenos, edifícios e máquinas. Nesse contexto, os dados são definidos como um ativo da empresa. Os ativos devem ser bem gerenciados: devidamente mantidos e protegidos, com propriedade atribuída e descarte oportuno ou substituição de dados se estiverem desatualizados. Assim como outros ativos, os dados organizacionais também podem ser vendidos para extrair seu valor. Por exemplo, os concorrentes valorizarão as informações do cliente porque podem ser usadas para melhorar as vendas.

diretores de empresas líderes em todo o mundo reconheceram isso completamente. Programas relacionados a dados são proeminentes em suas listas de ações. O Grupo Hackett afirma: “o que as empresas estão reconhecendo é que eles jogaram muito dinheiro nos aplicativos, mas, sem padronizar e limpar seus dados, eles ainda estão recebendo informações que não fazem sentido. Eles têm empresas que estão usando definições diferentes, que estão calculando métricas de forma diferente, que usam hierarquias diferentes. Todo esse conceito de gerenciamento de dados mestre é absolutamente crítico para que as empresas possam chegar ao ponto em que possuem análises preditivas.”O caso de negócios para iniciar programas de gerenciamento de dados mestre (MDM) parece evidente:” até 2013, o MDM reduzirá a redundância de dados das organizações, o que pode economizar 80% dos custos associados ao gerenciamento de dados redundantes.'()

Modelos para Gerenciamento de Dados corporativos

gestão de dados tem sido objeto de muita atenção por algum tempo, e há uma abundância de modelos e métodos em todo alegando fornecer a melhor resposta para a estrutura de Gerenciamento de Dados corporativos. A Organização Internacional de padronização, mais conhecida como ISO, possui inúmeros padrões, cada um dos quais cobre um sub-aspecto do espectro de dados. Por exemplo, a ISO 27001 trata da segurança da informação. A ISO 15489 é a norma aplicada ao gerenciamento de informações a partir de uma perspectiva arquivística. ISO 23081 é o padrão para metadados. Além disso, pode-se usar a ISO 19005 como diretriz para o aparecimento de dados. Portanto, temos um excesso de padrões. Outros frameworks como COSO e frameworks como Cobit e ISF falam da importância dos dados em um sentido mais amplo, mas apenas de uma perspectiva de risco.

corpo de Conhecimento de gerenciamento de dados

um modelo mais completo parece ser o de DAMA-DMBOK. Ele contém uma coleção de melhores práticas no campo do gerenciamento de dados que foram complementadas por novos insights da prática da vida real ao longo dos anos. O guia DAMA-DMBOK (na íntegra: Data Management Body of Knowledge) é uma publicação da Data Management Association, uma organização internacional voltada para gerentes de dados e profissionais de dados para a distribuição de conhecimento sobre gerenciamento de dados.

o DMBOK identifica dez funções de dados diferentes. Essas funções são mostradas na Figura 2. Governança de dados é a função que liga os outros domínios uns aos outros. Em cada um dos domínios, deve-se dar atenção a fatores ambientais, como métodos e procedimentos de trabalho atuais, técnicas utilizadas e cultura organizacional.

Figura 2. Domínios de dados de acordo com DAMA ().

DAMA tem seus pontos fracos. Por exemplo, o fato de as funções mencionadas se referirem apenas umas às outras em termos gerais, o que significa que um usuário nem sempre reconhece ou entende a relação entre funções e, posteriormente, o significado abrangente da combinação. Além disso, a DAMA parece estar orientada para dados tradicionais e estruturados, pelo menos neste momento. Sendo este o caso, pouca atenção é dedicada à importância do conteúdo das mídias sociais. A segurança dos dados no DAMA visa principalmente a proteção tecnológica dos dados. Além disso, a diferença na forma como as gerações lidam com os dados não foi explicitamente reconhecida como um fator relevante (fator ambiental). Finalmente – e esta é talvez a maior objeção-é acima de tudo uma estrutura conceitual. Falta exemplos práticos para tornar conceitos e termos suficientemente claros para o leitor, implicando um risco de interpretação inconsistente. A forma como o quadro deve ser implementado também não é bastante clara. Isso é contrário ao objetivo principal de um corpo de conhecimento. Afinal, a aplicação desse corpo de conhecimento deve ter como objetivo estimular a consistência na aplicação do gerenciamento de dados. É por essas razões que usamos DAMA apenas para sua identificação de funções, porque essas são realmente sólidas.

KPMG Enterprise Data Management model

os modelos acima mencionados contêm elementos importantes que devem ser atendidos na realização de uma organização profissional de gerenciamento de dados. Para a operacionalização do gerenciamento de dados, no entanto, outro conjunto de aspectos também é importante, aspectos que não são cobertos por esses modelos.

em primeiro lugar, estes envolvem o fato de que os dados são trocados entre sistemas dentro da organização e entre a organização e terceiros. Portanto, o gerenciamento de dados deve garantir que sejam feitos bons acordos sobre o formato em que os dados são entregues, sobre a validação da qualidade dos dados entregues, sobre possíveis rodadas de enriquecimento antes que os dados sejam processados posteriormente e sobre quaisquer procedimentos se ocorrerem defeitos no processo. Agrupamos essas atividades sob os Termos ‘aquisição e autoria’ e ‘distribuição’.

além disso, o EDM também deve garantir que a estrutura do EDM possa ser mantida como um todo. A organização deve ter processos à sua disposição para registrar documentos e falhas identificados durante a execução operacional das atividades do EDM. Estes devem ser discutidos nos órgãos de consulta sobre a governação do MDL e devem conduzir a um ajustamento dos procedimentos e técnicas existentes. Nesse contexto, pode-se considerar uma situação em que um painel de qualidade de dados usado dentro de uma organização deve ser adaptado porque a organização deseja monitorar um novo objeto de dados. Nesses casos, deve haver um “processo de mudança” que configure a tomada de decisão sobre essa mudança e implemente a alteração do painel após a tomada da decisão.Finalmente, todas as atividades de EDM realizadas por uma organização devem ser avaliadas de acordo com sua eficácia e eficiência. Assim como acontece com os processos primários dentro de uma organização, deve haver um mecanismo de ‘planejar, fazer, verificar, agir’ para o EDM, para que se possa controlar se a execução das atividades do EDM está ou não em conformidade com os acordos feitos sobre esse assunto. O “monitoramento de processos” permite isso e permite que a organização EDM identifique independentemente quaisquer defeitos e tome medidas corretivas.

estas etapas são representadas no modelo KPMG EDM na Figura 3.

Figura 3. Modelo de gerenciamento de dados corporativos KPMG.

uma breve descrição dos elementos mais importantes do modelo é apresentada abaixo.

• a governança de dados é direcionada para a direção das atividades de gerenciamento de dados. Questões como estratégia, política, papéis, tarefas e responsabilidades entram nesta categoria.
• a arquitetura de dados está preocupada com a definição e documentação de objetos de dados e estruturas de dados em um modelo de dados. Eles formam a base para análise de informações e construção de processos e sistemas em uma organização.
• o gerenciamento de Dados Mestre diz respeito à qualidade dos dados mestre e de referência. O objetivo final é criar registros únicos (‘dourados’).
• Data Warehousing é a atividade que garante a definição da arquitetura usada para armazenar dados em bancos de dados relacionais. O Business Intelligence envolve a abertura de dados armazenados em data warehouses. Os dados devem ser fornecidos de forma a fornecer informações úteis à gestão, permitindo-lhes tomar decisões bem informadas.
• a gestão da qualidade dos dados diz respeito a uma documentação estrutural dos critérios de qualidade, à análise da qualidade real dos dados e ao relatório da qualidade dos dados.
• o gerenciamento de conteúdo é direcionado para a Classificação dos dados, a estruturação dos fluxos de documentos e o acesso a eles.
• o arquivamento é orientado para a realocação de dados inativos para outros ambientes.
• em operações de Governança, “meta-dados” refere-se a informações sobre elementos de gerenciamento de dados, como descrições técnicas e funcionais de objetos de dados e modelos de dados.
• o gerenciamento de banco de dados é direcionado ao gerenciamento técnico operacional de bancos de dados.
• a segurança de dados é direcionada para proteger os dados contra o acesso não autorizado e o uso desses dados.
• o gerenciamento de identidade, em conclusão, especifica o acesso aos dados.

para uma descrição mais detalhada de vários desses elementos EDM, referimo-lo às contribuições separadas sobre elementos EDM que foram incluídos neste compacto.

EDM de uma perspectiva organizacional

no âmbito deste artigo, resta apenas responder à questão da melhor maneira de implementar o modelo EDM na prática da vida real.

se você observar atentamente os vários componentes do EDM, conforme mostrado na Figura 3, terá a impressão de que há pouca ordem lógica nesses componentes. A figura 3 demonstra que não há proposta de priorização ou faseamento da construção e implementação dos elementos. No entanto, é evidente que a governança de dados conecta todos os outros elementos. Com isso, queremos indicar que não há classificação entre os domínios e que a ordem de sequência na qual os componentes do EDM são organizados é puramente aleatória. A governança de dados constitui uma exceção aqui. O vínculo que a governança de dados forma entre todas as outras partes do EDM mostra claramente que nenhuma atividade de gerenciamento de dados pode ser desenvolvida e implementada com sucesso se não houver governança de dados dentro da organização.

A governança de dados estabelece as bases para todas as atividades de gerenciamento de dados. Sem essa fundação, as atividades seriam apenas uma pilha de tijolos soltos sem estrutura e cimento. Isso pode significar que as soluções de BI são adquiridas e implementadas, embora existam padrões de dados ou definições de dados insuficientes. Ou pode ser que a qualidade dos dados necessária para gerar informações de gerenciamento confiáveis seja inadequada. Isso pode levar ao projeto e compra de sistemas que não são compatíveis com outros sistemas, porque não há um modelo abrangente de dados corporativos para servir de base para todos os desenvolvimentos do sistema. Em última análise, pode resultar em uma organização que faz uso ativo dos traços que os usuários da internet deixam para trás em sites, sem levar em consideração as regras de Privacidade, o que pode levar a danos à imagem e talvez reclamações.

A governança de dados garante que haja uma visão e estratégia em toda a organização para o gerenciamento de dados, apoiadas pelo gerenciamento. A visão nos informa sobre o que desejamos alcançar. Indica a ambição da organização por assim dizer. Todas as atividades relacionadas a dados devem cumprir essa visão, e a estratégia deve trazer consistência nessas atividades. A estratégia também determina o escopo do gerenciamento de dados dentro de uma organização. Ignorando o modelo abrangente da DAMA, as organizações podem preferir omitir certos aspectos da consideração porque provavelmente já estão sendo preenchidos em outro lugar, em uma unidade descentralizada. Um fenômeno consistentemente recorrente, por exemplo, é o fato de que o RH cria sua própria organização de gerenciamento de dados e faz uso limitado das diretrizes e padrões que a organização central de gerenciamento de dados desenvolveu.

A governança de dados também garante que a atenção seja dedicada à formulação de regras políticas. Neste contexto, referimo-nos à Política de segurança da informação, regras políticas relativas à arquitetura de dados, arquivamento e qualidade dos dados. Além disso, a governança de dados garante a incorporação organizacional do gerenciamento de dados. É necessário determinar: quem é o responsável final, onde e como as decisões são tomadas sobre estratégia, política, padrões, papéis, propriedade? Por exemplo, como e quando os relatórios sobre as atividades de gerenciamento de dados dentro da organização são formulados? De que forma organizamos a execução das atividades de manutenção de dados mestre?

esta visão geral terá deixado claro que a governança de dados é a base de um bom gerenciamento de dados. Independentemente do estágio de maturidade em que uma organização pode se encontrar, é sempre benéfico examinar seriamente a qualidade da governança de dados e verificar se seu alcance é ou não adequado.

Imagine que uma organização tem sua governança de dados completamente em ordem. Existem pontos de apoio disponíveis ou práticas recomendadas que podem esclarecer quais dos outros componentes de gerenciamento de dados são diretamente elegíveis para otimização, em termos de priorização? Infelizmente, este não é o caso. Em outras palavras, a experiência nos ensinou que isso depende das prioridades que surgem da agenda da própria organização.

Imagine que uma organização decide substituir um sistema de informação legado por um novo sistema ERP. Pode-se então se perguntar sobre o impacto que isso poderia ter no gerenciamento de dados. Qual deve ter a maior prioridade? Isso pode levar a que a “gestão da qualidade dos dados” seja atribuída a maior prioridade como consequência da migração necessária. Os dados poluídos são limpos, a meta-documentação é abordada e o gerenciamento de dados mestre é aprimorado. A implementação de um aplicativo de integração de dados pode levar, por exemplo, ao modelo de arquitetura de dados sendo atualizado e um aplicativo de qualidade de dados sendo selecionado e implementado para limpar e enriquecer dados antes de serem compartilhados com outras plataformas.

Figura 4. Relação entre modelo de negócio e EDM.

concluindo, acreditamos que, com base na governança de dados e dependendo da agenda de negócios da organização, devem ser perseguidas as atividades de gerenciamento de dados que mais agregam valor na realização da agenda em um determinado momento. Os detalhes são mostrados na Figura 4. Centrado na visão e na estratégia, o modelo de Negócio necessário para realizar os objetivos declarados na visão e estratégia é construído. Esse modelo de negócios exige os processos primários e de suporte. Os recursos são necessários para permitir que esses processos funcionem e, posteriormente, podem ser subdivididos em mão de obra, dados e recursos de TI. Exatamente o que e quanto é necessário no lado dos dados em um caso específico é determinado pela agenda de negócios. A EDM oferece uma base para a maneira como isso deve ser organizado. Isso compreende uma abordagem sob medida e não pode ser encapsulado em um padrão fixo de atividades de gerenciamento de dados.

conclusão

nesta contribuição, demos uma introdução ao EDM como uma abordagem para o gerenciamento de todos os dados que uma organização gera ou adquire. Uma implementação adequada dessa abordagem garante que esses dados estejam em conformidade com os requisitos de qualidade de dados da organização e que os dados necessários para executar processos e permitir que o gerenciamento tome decisões bem fundamentadas sejam corretos, completos e disponíveis em tempo hábil. Quando esse é o caso, os dados são um ativo que deve ser gerenciado como todos os outros ativos da empresa. Posteriormente, definimos ainda mais as partes constituintes do EDM. Assim, surgiu uma estrutura de atividades de gerenciamento que formam a base para a qualidade dos dados. Por fim, argumentamos que a implementação das partes constituintes não pode ocorrer de acordo com um padrão fixo. Na operacionalização, é a estratégia e priorização da empresa que determinam quais dos componentes do EDM são selecionados e otimizados. Um papel crucial é atribuído à governança de dados, o que garante a visão e a estratégia patrocinadas pela organização e pela gestão.