Qué te llevarás de esta lectura
- Definir el contrato del dataset con quienes producen y consumen los datos.
- Separar disponibilidad, vigencia y calidad; una ejecución exitosa no garantiza las tres.
- Usar linaje y responsables para identificar impacto y resolver incidentes.
- Permitir que la IA proponga reglas sin delegarle la definición del significado del negocio.
Un indicador verde no garantiza datos útiles
Un job puede cargar todas sus filas y aun así duplicar pedidos, mezclar monedas o entregar ventas del día anterior. Para analítica e IA, esos defectos se propagan a indicadores, búsquedas y respuestas. En octubre de 2026, una prioridad práctica es operar la confianza del dato como parte del servicio: definir qué se espera, medirlo y saber quién actúa cuando no se cumple. Las reglas ejecutables de calidad y el linaje aportan mecanismos concretos para hacerlo [1][2].
El contrato empieza con preguntas de negocio
Antes de automatizar controles, acuerde claves, tipos, significado de campos, zona horaria, moneda, periodicidad y responsable. Documente qué cambios requieren una nueva versión y quiénes consumen el dataset. Un contrato debe distinguir un campo técnicamente válido de un valor útil: un importe numérico sin moneda puede ser imposible de interpretar. La IA puede ayudar a redactar reglas a partir de metadatos y ejemplos; el propietario del dato valida las condiciones y excepciones.
| Acuerdo | Ejemplo para pedidos |
|---|---|
| Identidad | La clave combina origen e identificador de pedido. |
| Semántica | Importe y moneda se interpretan juntos; las devoluciones tienen una regla propia. |
| Vigencia | La hora de corte y la zona horaria están documentadas. |
| Evolución | Un cambio incompatible exige versión nueva y aviso a consumidores. |
Ejemplo: controlar ventas antes del reporte diario
Una empresa recibe archivos de ventas y los carga en staging. El proceso valida campos obligatorios, claves duplicadas, códigos de moneda y fechas dentro del periodo permitido. Los registros dudosos pasan a una zona de revisión con motivo, lote y responsable; los errores que alteran totales críticos detienen la publicación. Al corregir el origen, el lote se reprocesa sin duplicar ventas. Este es un diseño ilustrativo, no un caso de éxito ni una funcionalidad atribuida automáticamente a Dova.
No descarte silenciosamente las filas incorrectas para conseguir un resultado verde. Databricks documenta opciones para conservar, descartar o detener ante reglas incumplidas [1]. Elegir la acción depende del impacto de negocio y debe quedar visible para el consumidor.
Señales distintas y objetivos explícitos
| Señal | Medición y decisión |
|---|---|
| Disponibilidad | ¿El dataset se puede consultar? Registrar fallos de acceso y duración. |
| Vigencia | ¿Hasta qué evento del origen está actualizado? Comparar la marca de agua con el corte acordado. |
| Calidad | ¿Qué reglas pasan y qué filas fallan? Separar reglas críticas de advertencias. |
| Deriva | ¿Cambian volumen o distribución? Comparar periodos equivalentes y validar la causa. |
Un SLO es un objetivo de servicio acordado con el consumidor. Defina su ventana, denominador y respuesta ante incumplimiento. Evite un promedio global que oculte una regla crítica fallida. Las variaciones estacionales pueden explicar cambios de volumen; una alerta de deriva señala una investigación, no demuestra por sí sola que los datos estén mal. Google Cloud documenta reglas y mediciones de calidad gestionadas como código [3].
Del síntoma al origen con linaje
El linaje relaciona orígenes, transformaciones y salidas. OpenLineage define metadatos interoperables de jobs, ejecuciones y datasets [2]. Su valor operativo es responder qué lote cambió, qué transformación participó y qué consumidores pueden estar afectados. La cobertura debe verificarse: una transformación manual o un proceso no instrumentado puede dejar un vacío. Complementar el grafo con propietario y procedimiento de recuperación convierte un mapa técnico en una herramienta de respuesta.
Empezar por un dataset que importe
- Elegir un dataset con consumidor y responsable identificados.
- Acordar reglas críticas, horario de publicación y tratamiento de excepciones.
- Versionar reglas y probarlas con fallos conocidos antes de activarlas.
- Mostrar resultados por lote y regla, incluyendo registros retenidos o excluidos.
- Ensayar un incidente y medir detección, diagnóstico y recuperación hasta la validación del consumidor.
Dova documenta mappings, workflows, sesiones, workers y monitoreo para operar integraciones. Un programa de calidad puede organizarse alrededor de esos flujos, pero contratos, linaje completo y SLO requieren definición e implementación específicas. No se presume que el producto incorpore todos estos componentes.
Preguntas que vale la pena hacer
¿Calidad de datos equivale a que no existan nulos?
No. Depende del propósito: claves, consistencia, significado, vigencia y reglas de negocio también importan. Algunos campos pueden admitir nulos de forma válida.
¿La IA puede definir todas las reglas?
Puede sugerir controles, pero no conoce automáticamente las excepciones y compromisos del negocio. El responsable debe validar y versionar las reglas.
¿Hace falta controlar todos los datasets desde el inicio?
No. Priorice un flujo importante, demuestre detección y recuperación, y amplíe la cobertura con lo aprendido.
Dónde encaja Dova
Una integración gobernada puede hacer visibles responsabilidades y ejecución. Revisa la documentación de Dova sobre mappings, workflows y monitoreo, y define las reglas de calidad de negocio que necesita implementar tu equipo.
Fuentes y lecturas recomendadas
- Manage data quality with pipeline expectationsDatabricks · Consultado
Official documentation for executable quality constraints and retaining, dropping or failing records that do not meet expectations.
- About OpenLineageOpenLineage · Consultado
Official specification overview for interoperable lineage metadata describing jobs, runs and datasets.
- Auto data quality overviewGoogle Cloud · Consultado
Official quality scan documentation reached from the former Dataplex URL. Describes quality rules, measurement and managing rules as code; no October 2026 release claim is made.
Guía práctica de la edición octubre 2026. Las fuentes respaldan los principios técnicos; los ejemplos son ilustrativos, no anuncios de productos ni resultados de clientes.