O problema operacional
Um arquivo pode conter espaços extras, nomes de colunas diferentes ou linhas que não pertencem ao processo. Corrigir cada entrega manualmente dificulta repetir as mesmas regras e explicar por que um registro ficou de fora.
A ordem também importa: comparar um valor textual antes de convertê-lo pode produzir uma seleção diferente da regra numérica esperada. Você precisa de um desenho que mostre o que acontece em cada etapa.
Como Dova ajuda
O editor de Mappings do Dova conecta componentes de origem, transformação e destino em um canvas. O motor implementa limpeza de texto, seleção e renomeação de campos, conversão de tipos e filtragem de linhas, entre outras transformações documentadas.
Configure campos e opções de cada componente, valide o desenho e publique uma versão para executar por meio de uma Session. Assim, as regras ficam revisáveis e a estrutura reutilizável, separada dos caminhos concretos dos arquivos. Compare o resultado com uma saída esperada definida independentemente.
Como funciona
Defina a saída esperada
Identifique campos, tipos e critérios de inclusão. Prepare registros sintéticos válidos, com campos vazios e com valores exatamente no limite do filtro.
Conecte origem e transformações
Adicione Flat File input e os componentes necessários: por exemplo Clean text para um nome, Convert type para um valor e Row filter para seleção.
Configure regras explícitas
Escolha campos e operações de limpeza; defina tipo e tratamento do erro de conversão. Use um operador de filtro disponível e um valor compatível com o tipo.
Valide e publique
Revise portas, colunas e sequência. Salve o rascunho, publique o Mapping e associe-o a uma Session com caminhos de laboratório e um worker compatível.
Compare os registros
Execute um Workflow de teste e consulte Monitor. Compare linhas incluídas e excluídas, tipos e valores; ajuste a regra antes de utilizá-la em um fluxo operacional.
O que você precisa
- Uma amostra de entrada e regras de limpeza, conversão ou filtragem acordadas com o responsável pelo dado.
- Permissões para editar e publicar o Mapping, além de uma Session, um Workflow e um worker compatíveis.
- Um destino de teste independente e uma saída esperada que possa ser verificada além do estado da execução.
Limites a considerar
- Row filter usa os operadores disponíveis na configuração; não é uma linguagem SQL aberta e não executa instruções arbitrárias.
- Calculated field substitui valores em modelos de texto. Não deve ser tratado como um editor geral de fórmulas aritméticas.
- O filtro descarta linhas conforme a regra. Ele não cria um arquivo de rejeições por conta própria; as regras de qualidade também não implicam quarentena automática.
Exemplo de demonstração
Exemplo ilustrativo com dados sintéticos. Não representa um resultado de cliente nem uma captura do produto.
Demonstração: nomes normalizados e linhas ativas
Configure Clean text com trim e upper sobre nome, seguido de Row filter com status equals ativo. A saída esperada conserva o registro 1 com DEMO UM e exclui o registro 2. É um teste proposto de configuração, não uma captura ou resultado produtivo.
id,nome,status
1, demo um ,ativo
2,demo dois,inativo