Una guía de 6 pasos para evaluaciones de calidad de datos (DQA)

Los expertos en monitoreo responsables de la gestión de datos y la presentación de informes son cada vez más cuestionados sobre la validez, confiabilidad, integridad y puntualidad de los datos. En resumen, las personas quieren saber si pueden confiar en los datos. Para responder a estas preguntas, se lleva a cabo una evaluación de la calidad de los datos (DQA). Una DQA puede llevarse a cabo internamente (por el equipo de M&E del proyecto), o una agencia donante puede contratar a un experto DQA externo para realizar la evaluación.

DQA es un proceso sistemático para evaluar las fortalezas y debilidades de un conjunto de datos y para informar a los usuarios sobre la "salud" de los datos. La evaluación se centra principalmente en los siguientes aspectos de los datos:

DQA es un proceso de múltiples etapas que involucra varios pasos, cada uno con sus propias actividades y entregables. Las siguientes secciones brindan detalles sobre los seis pasos involucrados en la realización de un DQA.

Si le gusta este artículo, no olvide registrarse en el boletín informativo ActivityInfo para recibir nuevas guías, artículos y seminarios web sobre diversos temas de M&E!

Paso 1: Selección de indicadores

Dado que DQA es un proceso que consume mucho tiempo y recursos, los expertos aconsejan la selección de un número mínimo de indicadores. Idealmente, no se deben seleccionar más de tres indicadores en una misión/asignación de DQA utilizando los siguientes criterios:

• indicadores que son de gran importancia, como "el número de puestos de trabajo creados"
• indicadores que reportan un alto progreso a lo largo del tiempo (o los de metas altas)
• indicadores que no han estado bajo el DQA anteriormente
• cualquier indicador con problemas de calidad de datos sospechosos (o progreso inusual)
• Indicadores que fueron previamente DQAed y la calidad de sus datos fue calificada como "pobre"

Paso 2: Revisión de documentos/conjuntos de datos disponibles y preparación para la fase de campo

En el segundo paso, el experto en DQA debe revisar los informes anteriores de DQA (si corresponde) para comprender el sistema de recopilación y gestión de datos, así como los hallazgos y las recomendaciones. Además, también se revisan todos los informes disponibles, como los informes narrativos de progreso. En el caso de un DQA externo, el experto también debe revisar los conjuntos de datos proporcionados por el proyecto/organización. El experto también puede solicitar (u obtener) el plan o las pautas de M&E del proyecto para comprender el sistema de M&E. La información puede usarse para desarrollar una matriz de DQA que incluya las preguntas clave, las subpreguntas, las fuentes de datos para las preguntas de DQA y las herramientas y métodos que se usarán para responder esas preguntas.

Paso 3: Revisión/evaluación del sistema de recopilación y gestión de datos

Una vez finalizada la fase preparatoria, el experto en DQA organiza reuniones con el personal del proyecto pertinente (incluido el equipo de M&E) para comprender el sistema de recopilación y gestión de datos. El enfoque debe estar en:

• verificar el plan de M&E (si está disponible)
• revisar los metadatos de los indicadores (u hojas de referencia de los indicadores)
• evaluar la adecuación de los métodos y herramientas
• comprensión del proceso de flujo de datos, funciones y responsabilidades (antecedentes/experiencia) del equipo responsable de la recopilación y gestión de datos
• comprensión de las herramientas y mecanismos establecidos para garantizar la integridad de los datos. El experto puede solicitar documentos de respaldo para triangular los detalles proporcionados por el equipo en respuesta a los elementos anteriores.

Paso 4: Revisión de la implementación/operacionalización del sistema de recopilación y gestión de datos

Durante esta etapa, el experto debe centrarse en las siguientes preguntas:

• ¿Se han recopilado y gestionado los datos de conformidad con el diseño del sistema de recopilación de datos?
• ¿Se recopilan y analizan los datos de manera suficientemente oportuna para influir en la toma de decisiones de gestión?
• ¿Se están llevando a cabo procedimientos adecuados de verificación de datos (excluyendo la verificación y validación a nivel de campo)?
• ¿Se han analizado y notificado los datos de conformidad con el diseño del sistema de recopilación de datos?

Las preguntas anteriores se responden mediante la revisión de los datos reales y el análisis. Se consultan los documentos de respaldo y se verifica el sistema o la base de datos para garantizar que el sistema de recopilación y gestión de datos se ajuste al diseño del sistema de recopilación de datos.

Paso 5: Verificación y validación de datos

En esta etapa, el experto realiza un ejercicio de verificación para validar los datos informados. Esto se hace seleccionando una muestra de datos y verificándolos físicamente a través de documentos de respaldo, así como la verificación física de los datos.

Paso 6: Compilación del informe DQA

Una vez finalizadas las fases de revisión y de campo, el experto en DQA elabora un informe. Idealmente, un informe DQA debería incluir lo siguiente:

• Resumen ejecutivo
• Antecedentes / Introducción del proyecto
• Indicadores seleccionados para el DQA: a. Proceso y metodología seguida para el DQA, b. Hallazgos clave (por indicador por separado), c. Flujo de datos (pasos), d. Diseño del sistema de gestión de datos, e. Implementación/Operacionalización del Diseño del Sistema de Gestión de Datos
• Verificación/validación de datos
• Puntuaciones y calificación general (por indicador)
• Recomendaciones (por separado para cada indicador)
• Conclusión
• Anexos

En resumen, el proceso de DQA implica seleccionar indicadores, revisar los documentos y conjuntos de datos disponibles, evaluar el sistema de recopilación y gestión de datos, revisar su implementación/funcionamiento, verificar y validar los datos y compilar un informe de DQA. El informe sirve como una herramienta para identificar debilidades y fortalezas en el sistema de recopilación y gestión de datos y para hacer recomendaciones para mejorar.

El equipo de ActivityInfo quisiera agradecer al Sr. Maheed Ullah Fazli Wahid por este artículo.

Maheed Ullah Fazli Wahid es un destacado experto en M&E con experiencia demostrada en el diseño y la gestión de sistemas de M&E para programas multimillonarios centrados en intervenciones humanitarias y de desarrollo. Actualmente, es el Gerente Principal del Sistema de M&E para el Fondo de la UE para los Refugiados en Turquía (FRiT), que es un programa que consta de más de 100 proyectos que cubren proyectos en sectores como Educación, Salud, Medios de subsistencia, Distribución de efectivo, Protección, Infraestructura municipal y Gestión de Migraciones.