O problema operacional
Seu processo recebe arquivos CSV no Amazon S3, mas levá-los ao SQL Server exige repetir decisões de formato, colunas e destino. Quando muda o delimitador ou aparece um valor inválido, a carga fica menos previsível e é difícil explicar o que a tabela recebeu.
Transferir linhas é apenas parte do trabalho. Você precisa acordar a estrutura do arquivo, identificar a tabela e verificar se os valores carregados respeitam o contrato do processo.
Como Dova ajuda
Dova pode ler um CSV armazenado no Amazon S3 por meio de Object storage input e conectá-lo a Database output para SQL Server. O Mapping seleciona conexões, objeto, formato e destino; a Session fornece o contexto de execução e um worker compatível.
Um Workflow invoca a Session e Monitor permite revisar a tentativa. Separar desenho e contexto ajuda a manter uma carga reutilizável. Este caso utiliza um arquivo já disponível no S3 e uma tabela SQL Server existente; a aceitação final inclui consultar a tabela e comparar seu conteúdo.
Como funciona
Defina o CSV e a tabela
Acorde cabeçalho, delimitador, codificação UTF-8 e tipos compatíveis. Coloque uma amostra sintética em um bucket S3 autorizado e prepare uma tabela de teste existente.
Configure as duas conexões
Prepare acesso de leitura ao objeto S3 e uma conexão SQL Server por usuário e senha. A conta de destino precisa gravar na tabela; mantenha credenciais nos mecanismos previstos.
Desenhe o Mapping
Conecte Object storage input a Database output. Selecione objeto S3, formato CSV, delimitador e campos; configure conexão, esquema e tabela SQL Server com Append no primeiro ensaio.
Associe o contexto e execute
Publique o Mapping e configure uma Session com o worker e os parâmetros previstos. Publique o contexto e execute um Workflow de laboratório com permissões autorizadas.
Verifique a carga
Consulte a tentativa em Monitor e compare linhas, chaves e valores no SQL Server. Defina como reconhecer um lote repetido antes de carregar novamente.
O que você precisa
- Um CSV já armazenado no Amazon S3, com cabeçalho não vazio, nomes de campos únicos, UTF-8 e delimitador conhecido.
- Conexões autorizadas: leitura do objeto S3 e autenticação por usuário e senha no SQL Server, com tabela existente e permissão de escrita.
- Um worker elegível com dependências de S3 e SQL Server, conectividade e transporte seguro; permissões para publicar e executar.
Limites a considerar
- Este caso começa com um CSV no Amazon S3. Não descreve carga direta de um arquivo enviado no navegador ou de um caminho local para SQL Server.
- Append pode inserir as linhas novamente quando o lote é repetido. Chaves e reconciliação devem fazer parte do desenho.
- A tabela precisa existir: não se pressupõe criação automática. Também não se promete autenticação integrada do Windows, Kerberos ou tokens do Azure para SQL Server nem desempenho para qualquer volume.
Exemplo de demonstração
Exemplo ilustrativo com dados sintéticos. Não representa um resultado de cliente nem uma captura do produto.
Demonstração: vendas de um objeto S3
Armazene estas duas linhas sintéticas em um objeto de um bucket de laboratório autorizado. Configure essa origem e uma tabela de teste compatível. O percurso esperado é CSV no S3 → Dova → SQL Server. Compare as duas chaves e valores após a tentativa; isto não é apresentado como uma carga já executada.
venda_id,valor
DEMO-001,125.50
DEMO-002,80.00