Un guide en six étapes pour les évaluations de la qualité des données (EQD)

Les experts en surveillance responsables de la gestion des données et des rapports sont de plus en plus interrogés sur la validité, la fiabilité, l'intégrité et l'actualité des données. En bref, les gens veulent savoir s'ils peuvent faire confiance aux données. Afin de répondre à ces questions, une évaluation de la qualité des données (EQD) est réalisée. Une EQD peut être effectuée en interne (par l'équipe de S&E du projet), soit un organisme donateur peut engager un expert externe en EQD pour mener l'évaluation.

L'EQD est un processus systématique pour évaluer les forces et les faiblesses d'un ensemble de données et pour informer les utilisateurs de la « santé » des données. L'évaluation porte principalement sur les aspects suivants des données :

L'EQD est un processus en plusieurs étapes chacune avec ses propres activités et livrables. Les sections suivantes fournissent des détails sur les six étapes impliquées dans la réalisation d'une EQD.

Si vous aimez cet article, n'oubliez pas de vous inscrire à la newsletter ActivityInfo pour recevoir de nouveaux guides, articles et webinaires sur divers sujets de S&E !

Étape 1 : Sélection des indicateurs

Étant donné que l'EQD est un processus long et gourmand en ressources, les experts conseillent de sélectionner un nombre minimum d'indicateurs. Idéalement, pas plus de trois indicateurs ne devraient être sélectionnés dans une mission/EQD en utilisant les critères suivants :

• des indicateurs de grande importance comme « le nombre d’emplois créés »
• des indicateurs qui font état de progrès importants dans le temps (ou ceux d'objectifs élevés)
• indicateurs qui n'ont pas été sous le EQD auparavant
• tout indicateur présentant des problèmes suspects de qualité des données (ou des progrès inhabituels)
• indicateurs qui ont été précédemment EQDed et dont la qualité des données a été jugée «médiocre»

Étape 2 : Examen des documents/ensembles de données disponibles et préparation de la phase de terrain

Dans la deuxième étape, l'expert EQD doit examiner les rapports EQD précédents (le cas échéant) pour comprendre le système de collecte et de gestion des données ainsi que les conclusions et les recommandations. De plus, tous les rapports disponibles, tels que les rapports d'avancement narratifs, sont également examinés. Dans le cas d'une EQD externe, l'expert doit également examiner les ensembles de données fournis par le projet/l'organisation. L'expert peut également demander (ou obtenir) le plan ou les directives de S&E du projet pour comprendre le système de S&E. Les informations peuvent être utilisées pour développer une matrice d'EQD qui comprend les questions clés, les sous-questions, les sources de données pour les questions d'EQD, et les outils et méthodes à utiliser pour répondre à ces questions.

Étape 3 : examen/évaluation du système de collecte et de gestion des données

Une fois la phase préparatoire terminée, l'expert en EQD organise des réunions avec le personnel du projet concerné (y compris l'équipe de S&E) pour comprendre le système de collecte et de gestion des données. L'accent doit être mis sur :

• vérifier le plan de S&E (si disponible)
• examiner les métadonnées des indicateurs (ou les fiches de référence des indicateurs)
• évaluer l'adéquation des méthodes et des outils
• comprendre le processus de flux de données, les rôles et les responsabilités (contexte/expérience) de l'équipe responsable de la collecte et de la gestion des données
• comprendre les outils et mécanismes mis en place pour assurer l'intégrité des données L'expert peut demander des pièces justificatives pour trianguler les précisions données par l'équipe en réponse aux éléments ci-dessus.

Étape 4 : Examen de la collecte des données et de la mise en œuvre/opérationnalisation du système de gestion

Au cours de cette étape, l'expert doit se concentrer sur les questions suivantes :

• Les données ont-elles été collectées et gérées conformément à la conception du système de collecte de données ?
• Les données sont-elles collectées et analysées suffisamment rapidement pour influencer la prise de décision de la direction ?
• Des procédures adéquates de vérification des données sont-elles menées (à l'exclusion de la vérification et de la validation sur le terrain) ?
• Les données ont-elles été analysées et communiquées conformément à la conception du système de collecte de données ?

On répond aux questions ci-dessus en examinant les données et l'analyse réelles. Les pièces justificatives sont consultées et le système/la base de données est vérifié pour s'assurer que le système de collecte et de gestion des données est conforme à la conception du système de collecte des données.

Étape 5 : Vérification et validation des données

A ce stade, l'expert procède à un exercice de vérification pour valider les données rapportées. Cela se fait en sélectionnant un échantillon de données et en le vérifiant physiquement au moyen de pièces justificatives ainsi qu'en vérifiant physiquement les données.

Étape 6 : Compilation du rapport EQD

Une fois les phases de revue et de terrain terminées, l'expert EQD produit un rapport. Idéalement, un rapport EQD devrait inclure les éléments suivants :

• Résumé
• Contexte / Présentation du projet
• Indicateurs sélectionnés pour l'EQD : a. Processus et méthodologie suivis pour l'EQD, b. Principaux résultats (séparément par indicateur), c. Flux de données (étapes), d. Conception du système de gestion des données, e. Mise en œuvre/opérationnalisation de la conception du système de gestion des données
• Vérification/validation des données
• Scores et note globale (par indicateur)
• Recommandations (séparément pour chaque indicateur)
• Conclusion
• Annexes

En résumé, le processus d'EQD implique la sélection d'indicateurs, l'examen des documents et des ensembles de données disponibles, l'évaluation du système de collecte et de gestion des données, l'examen de sa mise en œuvre/opérationnalisation, la vérification et la validation des données et la compilation d'un rapport d'EQD. Le rapport sert d'outil pour identifier les faiblesses et les points forts du système de collecte et de gestion des données et pour formuler des recommandations d'amélioration.

L'équipe d'ActivityInfo tient à remercier M. Maheed Ullah Fazli Wahid pour ce guide pratique.

Maheed Ullah Fazli Wahid est un expert de haut niveau en S&E avec une expérience démontrée dans la conception et la gestion de systèmes de S&E pour des programmes de plusieurs milliards de dollars axés sur les interventions humanitaires et de développement. Actuellement, il est le gestionnaire principal du système de S&E pour la Facilité de l'UE pour les réfugiés en Turquie (FRiT), qui est un programme composé de plus de 100 projets couvrant des projets dans des secteurs tels que l'éducation, la santé, les moyens de subsistance, la distribution d'argent, la protection, les infrastructures municipales et gestion des migrations.