Identity Resolution entre fontes de vendas
Como relacionar compradores e passageiros quando documentos, nomes e contatos chegam incompletos?
Proposta de arquiteturaEste trabalho apresenta um estudo de arquitetura em desenvolvimento.
O problema
Uma pessoa pode aparecer com nomes abreviados, contatos diferentes ou documentos ausentes em fontes distintas de vendas. Comprador e passageiro também podem ter papéis diferentes na mesma operação.
Proposta
Organizar os registros recebidos, gerar pares candidatos por regras de bloqueio e avaliar as evidências de correspondência. O desenho considera processamento incremental e rastreabilidade das decisões de vínculo.
Decisões e trade-offs
Restringir candidatos reduz o custo das comparações e pode excluir pares válidos. Um telefone compartilhado pode conectar pessoas distintas. O estudo considera revisão de vínculos ambíguos e preservação das evidências que motivaram cada decisão.
Arquitetura proposta
Apache Iceberg sobre S3, consulta por Athena ou Trino, transformações com dbt e orquestração com Airflow. A combinação representa a stack proposta para o estudo.
Como avaliar
Comparar falsos positivos e pares perdidos em um conjunto de registros revisado manualmente. Testar a reavaliação de um vínculo quando chegam novos atributos e verificar se a origem da decisão pode ser recuperada.