A modelagem de dados simplifica drasticamente as interações entre desenvolvedores, analistas e profissionais de marketing, assim como o próprio processo de relatório. Portanto, traduzi o artigo do IBM Cloud Education sobre o valor da modelagem e adicionei informações por conta própria sobre como transformar dados para modelagem.
Modelagem de dados
Aprenda como a modelagem de dados usa abstração para representar e entender melhor a natureza dos dados em um sistema de informações corporativas.
O que é modelagem de dados
A modelagem de dados é a criação de uma representação visual de todo o sistema de informação ou parte dele. O objetivo é ilustrar os tipos de dados que são usados e armazenados no sistema, as relações entre esses tipos de dados, como os dados são agrupados e organizados e seus formatos e atributos.
Os modelos de dados são construídos com base nas necessidades de negócios. As regras e requisitos para o modelo de dados são determinados antecipadamente com base no feedback do negócio, para que possam ser incluídos no desenvolvimento de um novo sistema ou adaptados a um existente.
Os dados podem ser modelados em vários níveis de abstração. O processo começa com a coleta de requisitos de negócios das partes interessadas e usuários finais. Essas regras de negócios são então traduzidas em estruturas de dados. O modelo de dados pode ser comparado a um roteiro, um projeto de arquiteto ou qualquer esquema formal que contribua para uma compreensão mais profunda do que está sendo desenvolvido.
A modelagem de dados usa esquemas padronizados e métodos formais. Isso fornece uma maneira consistente e previsível de gerenciar dados dentro ou fora da organização.
Idealmente, os modelos de dados são documentos vivos que evoluem com as necessidades dos negócios. Eles desempenham um papel importante no suporte aos processos de negócios e no planejamento da arquitetura e estratégia de TI. Os modelos de dados podem ser compartilhados com fornecedores, parceiros e colegas.
, , - . , :
.
.
.
.
-.
, .
. . , .
. : , - . . , (, ), , , . .
. . . agile DevOps-. , . , .
, , -. , , . :
. , , , . .
. , , . , «» , , , .. «» , , .
. , . « » . «», . (UML).
. , , . () . - , .
. — , () . , , , , . , , .
. — , .
(), .
« » . , . IBM Information Management System (IMS) 1966 , . , , (XML) ().
IBM . . 1970 . , . . , .
(SQL) . . , .
ER- . ER- , . , ER-, «-» (Entity-Relationship diagram). ER- , (, ).
- - 1990- . «» — . . - , . .
. ER- , , . OLAP.
— «» «». «» ( ) ( ), . «» «», , .
CASE- , , . :
erwin Data Modeler — , IDEF1X, , .
Enterprise Architect — , , . - .
ER/Studio — , . , .
, Open ModelSphere.
, , , , Google BigQuery, Scheduled Queries AppScript. , SQL, Scheduled Queries . , - .
SQL-, , dbt Dataform.
dbt (ferramenta de construção de dados) é uma estrutura de código aberto para executar, testar e documentar consultas SQL que traz um elemento de engenharia de software para o processo de análise de dados. Ajuda a otimizar o trabalho com consultas SQL: use macros e templates JINJA para não repetir os mesmos trechos de código pela centésima vez.
O principal problema que as ferramentas especializadas resolvem é a redução do tempo necessário para suporte e atualizações. Ele faz isso às custas da facilidade de depuração.