Data lineage na prática: como saber de onde veio um dado até chegar ao seu dashboard
Quando um indicador cai 8%, alguém precisa reconstruir o caminho do dado. Este artigo mostra como mapear origem, transformações e dependências, e o que muda quando esse rastro existe.

Neste artigo
Considere o seguinte cenário, provavelmente familiar. Na reunião de segunda-feira, o gerente industrial aponta para o painel e pergunta: “por que a eficiência da Linha 2 caiu 8%?”. É uma pergunta simples. A resposta, quase sempre, não é.
Antes de responder qualquer coisa sobre a operação, a equipe de dados precisa responder sobre o dado:
- De onde veio esse número exibido no painel?
- Qual sistema originou os apontamentos — MES, supervisório, planilha de turno?
- Qual tabela alimenta esse gráfico, e em qual camada ela vive?
- Quais transformações foram aplicadas entre a origem e essa tabela?
- Qual pipeline processou, com qual frequência, e ele rodou com sucesso?
- Qual regra de negócio define 'eficiência' nesse cálculo?
- Quando esse dado foi atualizado pela última vez?
Enquanto essas perguntas não têm resposta, ninguém sabe se houve queda de eficiência ou queda de qualidade do dado. É exatamente esse conjunto de respostas que data lineage organiza.
1. O que é data lineage
Data lineage é o rastreamento do caminho percorrido por um dado desde sua origem, passando por todas as transformações, até o ponto de consumo. Ele responde três perguntas em qualquer ponto da arquitetura: de onde este dado veio, o que foi feito com ele, e quem depende dele.
- 01FonteSensor, PLC, MES, ERP, planilha
- 02IngestãoColeta, broker, conector, carga
- 03TransformaçãoLimpeza, junção, cálculo, regra
- 04ArmazenamentoData lake, warehouse, camadas
- 05ConsumoDashboard, relatório, API, modelo
Em uma arquitetura industrial, o caminho concreto de uma variável de processo costuma se parecer com isto:
Sensor → Gateway → Broker/Pipeline → Data Lake → Transformação → Data Warehouse → Dashboard
Cada seta é um lugar onde o dado pode ser alterado, atrasado, duplicado ou perdido. Lineage é o registro explícito dessas setas — não a suposição de que elas existem.
2. Por que a origem do dado importa
Confiabilidade
Dois relatórios divergem em 3%. Com lineage, dá para mostrar que um usa apontamento manual de turno e o outro o contador do supervisório. A divergência deixa de ser um mistério e passa a ser uma escolha de fonte.
Troubleshooting
Um indicador congela. O lineage aponta em minutos que a última carga da tabela de origem falhou, em vez de a equipe abrir seis sistemas para descobrir isso.
Impact analysis
Antes de renomear uma coluna ou trocar a unidade de um tag, é possível listar todos os painéis, extrações e modelos que dependem dela.
Controle de mudanças
Quando a definição de 'produção líquida' muda, dá para identificar todos os cálculos que precisam ser revistos na mesma janela.
Governança
Cada ativo de dado tem origem declarada e responsável identificável, o que torna possível atribuir manutenção e correção.
Auditoria e compliance
Auditorias pedem evidência de como o número foi produzido. Lineage é essa evidência, documentada em vez de reconstruída de memória.
Investigação de inconsistências
Quando um valor negativo aparece em um total, o rastro mostra em qual transformação o sinal foi invertido.
Note que todos os itens acima são atividades que a equipe já faz. A diferença é que, sem lineage, elas são feitas por investigação manual a cada ocorrência; com lineage, são consultas.
3. Data lineage na prática
Vamos rastrear um indicador concreto: a eficiência da Linha 2 exibida no painel gerencial. Lido de trás para frente — do consumo até a origem — o caminho fica assim:
| Camada | Ativo | O que acontece aqui |
|---|---|---|
| Dashboard | Painel Operacional / cartão 'Eficiência Linha 2' | Exibe o valor agregado por turno, com filtro de período aplicado na visualização |
| Indicador | Métrica 'eficiência_linha' | Fórmula documentada: tempo produtivo x desempenho x qualidade, com a definição de tempo programado usada pela planta |
| Tabela analítica | fato_oee_turno | Uma linha por linha de produção e turno, já com metas e referência histórica |
| Transformação | job de cálculo de OEE | Junta apontamentos, paradas e refugo; aplica regras de arredondamento e exclusão de paradas programadas |
| Pipeline | carga incremental de produção | Executa a cada 15 minutos; registra sucesso, volume e atraso |
| Armazenamento | camada bruta no data lake / warehouse | Guarda os registros originais sem alteração, com data de ingestão |
| Sistema de produção | MES da planta | Origem dos apontamentos de ordem, quantidade e paradas |
| Fonte original | Contadores de linha e registros de parada do supervisório | Sinal físico coletado e associado ao ativo |
Com esse mapa, a pergunta da reunião muda de natureza. Não se investiga mais “o painel está errado?”, e sim “em qual camada o comportamento mudou?”. Se a camada bruta manteve o volume esperado e o job de cálculo passou a excluir um tipo de parada que antes entrava na conta, o problema é de regra, não de operação. Se o volume da camada bruta caiu, o problema é de coleta.
4. Lineage técnico e lineage de negócio
Os dois existem, servem a públicos diferentes e não se substituem. O lineage técnico descreve objetos:
Tabela A → View B → Tabela C → Dashboard D
O lineage de negócio descreve significados:
Temperatura do equipamento → Condição operacional → Eficiência do processo → Indicador gerencial
| Aspecto | Lineage técnico | Lineage de negócio |
|---|---|---|
| Pergunta que responde | Quais objetos alimentam este objeto? | Qual conceito de negócio este número representa? |
| Público | Engenharia de dados, plataforma | Operação, engenharia de processo, gestão |
| Uso típico | Depuração, análise de impacto, migração | Interpretação do indicador, alinhamento de definições |
| Como é obtido | Em boa parte automatizável a partir de metadados e consultas | Depende de definição humana e documentação de regras |
Ter apenas o técnico produz um grafo correto que ninguém da operação consegue ler: a resposta “o número vem da fato_oee_turno” não explica por que a eficiência caiu. Ter apenas o de negócio produz um discurso coerente sem verificação: ninguém consegue confirmar se a fórmula descrita é a que está de fato rodando. Os dois juntos permitem que a conversa entre operação e dados aconteça sobre o mesmo objeto.
5. O que acontece quando não existe lineage
Considere o custo real de uma ausência. Segunda, 9h: o indicador de eficiência aparece 8% abaixo. A operação afirma que a semana foi normal. Começa a investigação manual.
- Um analista abre o painel e tenta identificar qual consulta o alimenta — a documentação está desatualizada.
- Ele localiza a tabela analítica, mas não sabe qual job a escreve nem com qual frequência.
- Consulta o time de plataforma, que encontra três jobs com nomes parecidos, dois deles herdados de um projeto anterior.
- Descobre que uma regra de exclusão de paradas foi ajustada na semana passada, sem registro de quem pediu ou por quê.
- Ninguém sabe quais outros painéis usam a mesma tabela, então a correção é aplicada sem saber o que mais será afetado.
- Dois dias depois, um relatório de custos apresenta valores inconsistentes com o painel corrigido.
Nada nessa sequência é falha de competência. É o resultado previsível de uma arquitetura em que o caminho do dado só existe implicitamente, dentro do código e da memória das pessoas. O custo se manifesta em horas de engenharia consumidas por investigação repetida, em decisões postergadas por desconfiança e — o mais caro — na perda gradual de credibilidade dos painéis. Quando a operação passa a manter planilhas próprias “para conferir”, o investimento em plataforma já está sendo pago duas vezes.
6. Como implementar uma estratégia de lineage
Não é necessário mapear tudo. É necessário mapear primeiro o que sustenta decisão. Um roteiro que funciona bem em ambientes industriais:
1. Mapear as fontes
Liste sistemas de origem com dono, protocolo, frequência e criticidade: supervisórios, MES, ERP, laboratório, planilhas que ainda alimentam relatórios oficiais.
2. Identificar ativos de dados
Catalogue tabelas, views, tópicos e arquivos que realmente são consumidos. Comece pelos que aparecem nos painéis mais usados.
3. Mapear pipelines
Registre o que move dados entre camadas, com agendamento, dependências e comportamento em caso de falha.
4. Registrar transformações
Documente o que cada etapa faz em linguagem verificável — filtros, junções, conversões de unidade, agregações, arredondamentos.
5. Identificar dependências
Para cada ativo, saiba quem consome: painéis, extrações, APIs, modelos. Sem isso não existe análise de impacto.
6. Ligar regra técnica e regra de negócio
Cada indicador precisa de definição em linguagem de negócio associada ao cálculo que roda de fato.
7. Registrar responsáveis
Cada fonte e cada indicador com um responsável nomeado — quem decide sobre mudanças e responde por inconsistências.
8. Monitorar alterações
Versione definições e mudanças de esquema, com registro de quem alterou, quando e por quê. Sem histórico de mudanças, o lineage envelhece em semanas.
7. Checklist de data lineage
- Consigo identificar a origem dos principais dados que sustentam decisões?
- Sei quais transformações foram aplicadas entre a origem e o indicador?
- Sei quais dashboards e relatórios dependem de uma determinada tabela?
- Consigo prever o impacto de uma mudança antes de aplicá-la?
- Existe um responsável nomeado para cada fonte e cada indicador crítico?
- Existe documentação atualizada das regras de negócio dos indicadores?
- Consigo investigar uma inconsistência em minutos, e não em dias?
- Mudanças de esquema e de regra ficam registradas com autor e data?
Conclusão
Data lineage não é documentação técnica para satisfazer auditoria. É a infraestrutura que permite responder rápido a duas perguntas que aparecem toda semana: “este número é confiável?” e “o que acontece se eu mudar isto?”. Sem ela, cada resposta custa horas de investigação e chega tarde demais para a decisão que a motivou.
Quanto mais complexa a arquitetura de dados, mais importante se torna saber exatamente de onde cada informação veio e onde ela é utilizada. Vale começar pelo indicador que mais gera discussão — mapeá-lo de ponta a ponta costuma revelar, de uma vez, tanto o problema imediato quanto os pontos frágeis da arquitetura.
Veja como o Athenas organiza os dados da sua operação
Uma demonstração de aproximadamente 40 minutos mostrando a conexão das fontes, o catálogo, o UNS ISA-95 e a distribuição dos dados em tempo real.
Continue lendo

