7 étapes pour mettre en place un système de suivi et d'évaluation

La conception d'un système de suivi et d'évaluation, ou système de S&E, est une tâche complexe qui implique généralement le personnel de différentes unités. Cet article décrit le développement d'un tel système en 7 étapes (1). Chaque étape est liée à des questions clés, qui visent à stimuler une discussion sur l'état actuel du système de S&E dans un projet ou dans une organisation. Par conséquent, les 7 étapes ne représentent pas une séquence chronologique stricte pour le développement d'un système de S&E. Toutes les étapes doivent être considérées dès le début :

• Étape 1 : Définir l'objectif et la portée du système de S&E
• Étape 2 : S'accorder sur les résultats et les objectifs - Théorie du changement (y compris les indicateurs)
• Étape 3 : Planifier la collecte et l'analyse des données (y compris le développement d'outils)
• Étape 4 : Planifier l'organisation des données
• Étape 5 : Planifier le flux d'informations et les exigences en matière de rapports (comment et pour qui ?)
• Étape 6 : Planifier des processus de réflexion et des événements
• Étape 7 : Planifiez les ressources et les compétences nécessaires

Téléchargez l'outil "M&E gap analysis" pour travailler sur ces 7 étapes.

Souhaitez-vous obtenir plus d'informations sur la conception d'une base de données au niveau du projet pour vos activités de S&E ? Ensuite, jetez également un coup d'œil à Le guide complet pour une base de données de S&E au niveau du projet.

Regardez à quoi ressemblerait une base de données d'aide au développement pour les projets via ce modèle de base de données.

Explorez une base de données pour le suivi des indicateurs pour le S&E mondial dans ce modèle de base de données.

Si vous aimez cet article, n'oubliez pas de vous inscrire à la newsletter ActivityInfo pour recevoir de nouveaux guides, articles et webinaires sur divers sujets de S&E !

Étape 1 : Définir l'objectif et la portée du système de S&E

Il est crucial de définir la portée du système de S&E dès le début. Une question à laquelle il faudra probablement répondre est de savoir si le système doit être axé sur l'impact et si nous voulons même surveiller les impacts de plus haut niveau, ou si l'équipe du projet se contente d'enregistrer simplement la bonne mise en œuvre des activités et leurs résultats. Les deux peuvent avoir du sens et être corrects, selon les circonstances et ce qui est nécessaire pour pouvoir améliorer le projet de la meilleure façon possible. Bien sûr, un suivi de haut niveau axé sur les résultats est généralement préférable, mais il peut également échouer en raison des capacités disponibles. De plus, il devrait être clair dès le début qui continuera à travailler avec les résultats du S&E plus tard.

Un défi dans cette première étape consiste à engager le personnel et à le convaincre que le temps et les efforts supplémentaires nécessaires pour mettre en place un système de S&E en valent la peine afin d'améliorer le pilotage du projet et donc la qualité des résultats du projet ou du programme. Il existe des activités nombreuses et variées qui peuvent être menées à cette fin. Pour certaines équipes de projet/programme, un atelier ou une présentation peut être utile pour convaincre de l'utilité du suivi ; dans d'autres cas, diverses discussions en face à face peuvent être plus appropriées. L'approche doit finalement être décidée par la personne responsable du S&E et dépend des ressources disponibles et des personnes clés impliquées. Une consultation préalable à ce sujet peut être utile.

Étape 2 : S'accorder sur les résultats et les objectifs - Théorie du changement (y compris les indicateurs)

Une théorie du changement (TdC) est une description de comment et pourquoi les activités devraient conduire à des résultats à court, moyen et long terme sur une période de temps. Il ne s'agit pas seulement d'identifier les résultats et les objectifs. En fait, une table des matières est un ensemble d'hypothèses ou d'hypothèses d'impact qui peuvent être décrites comme un diagramme visuel, un récit ou les deux. Une fois qu'il y a une TdC ou quelque chose de similaire, le personnel saura mieux quelles données de S&E collecter.

Les TdC ne sont pas nécessairement complexes, mais elles fournissent un moyen de résumer la complexité d'une situation et de la clarifier. Au mieux, cela permet à un large éventail de parties prenantes de parvenir à une compréhension commune du pourquoi et du comment les activités conduiront aux résultats souhaités. De plus amples informations et des exemples de ToC sont fournis par Culligan & Sherriff dans "A Guide to the MEAL DPro".

Il est utile d'impliquer une variété de parties prenantes lors de l'élaboration de la ToC - cela pourrait inclure le personnel, les bénéficiaires, les partenaires, les bailleurs de fonds et même d'autres experts qui connaissent le thème technique. Le processus de développement et la réflexion impliquée sont souvent aussi importants que le diagramme ou le récit produit. Cependant, si cela semble prendre trop de temps, une bonne pratique courante consiste à produire un premier projet, qui peut ensuite être discuté avec d'autres parties prenantes clés. Le résultat de ce travail devrait être une description complète mais pas trop compliquée des activités et de ses résultats, avec des résultats prioritaires pour la mesure et des indicateurs SMART (2) pour collecter des données les concernant.

Bien entendu, les TdC doivent être régulièrement révisées, car le contexte et les besoins changent également. Mais les résultats et les impacts de haut niveau sont généralement valables pendant quelques années.

Il convient de noter qu'une critique importante de la théorie du changement est qu'elle néglige les réalités sociales et les éventuels effets négatifs du projet et qu'elle pourrait réduire la vision des objectifs du projet/programme planifié.

Étape 3 : Planifier la collecte et l'analyse des données (y compris le développement d'outils)

Pour cette étape, il est recommandé de créer un plan de travail de S&E, une matrice de S&E ou une combinaison des deux. Selon les besoins d'un programme ou d'un projet, la conception d'un tel document peut varier considérablement. Cependant, pour s'assurer que les activités de S&E sont mises en œuvre, il est conseillé de déterminer dans une telle matrice des responsabilités claires avec des délais ou des fréquences de collecte de données. Evaluation Toolbox fournit un modèle qui peut être personnalisé en fonction de ces besoins.

Les méthodes de collecte des données dépendent des informations nécessaires. Par exemple, si des informations quantitatives sur les emplois créés sont nécessaires, une enquête avec un questionnaire standardisé peut être utile alors que si des informations sur les raisons des changements de comportement des groupes soutenus sont nécessaires, des entretiens qualitatifs ou une combinaison d'entretiens et d'une enquête standardisée peuvent être utiles. plus utile. Les outils de collecte de données (par exemple, les directives d'entretien et les questionnaires) doivent être pré-testés avant d'être effectivement utilisés. Des conseils importants sur la façon de développer de tels outils peuvent également être trouvés dans la boîte à outils d'évaluation susmentionnée et sur les sites Web d'INTRAC. Certains membres du personnel impliqués doivent probablement avoir des compétences analytiques (par exemple, des compétences statistiques dans le cas de l'analyse de questionnaires). Si de telles compétences font défaut ou si le temps manque pour développer les outils requis ou pour analyser les données collectées, l'embauche d'un expert externe en S&E pourrait être envisagée.

Pour certains programmes ou projets, il peut y avoir un agent de S&E qui coordonne ces activités de S&E. Si ce n'est pas le cas, alors il faudra que le personnel coordonne les activités entre eux. Il sera alors encore plus important d'attribuer des responsabilités claires au sein de l'équipe.

Étape 4 : planifier l'organisation des données

Pour utiliser les données collectées, les informations doivent être stockées et partagées avec les personnes concernées, quel que soit leur emplacement. On peut stocker des données physiquement ou numériquement à l'aide d'un système d'information. Cela signifie que les systèmes de S&E et la gestion des données vont de pair. Le système de gestion des données doit être conçu en fonction des besoins, de la taille et de la complexité du projet ou du programme. Le personnel engagé dans les activités de S&E peut avoir besoin d'assurer la liaison avec le support informatique de son organisation. Dans tous les cas, il est important d'étiqueter et d'organiser clairement les éléments stockés (chronologique, par lieu, par contenu ou toute autre catégorie jugée utile).

Une bonne gestion des données comprend le stockage sécurisé des données pour éviter tout accès non autorisé, vol ou destruction involontaire de données et pour se conformer à toutes les exigences légales, telles que la législation sur la protection des données. Cela implique souvent des méthodes de protection informatique, telles que des mots de passe, des pare-feu et des contrôles antivirus. Mais cela peut aussi signifier simplement avoir une serrure sur un classeur. L'organisation de collaboration mondiale BetterEvaluation synthétisant les conseils du UK Data Archive (3) recommande : de ne pas stocker de données numériques sur des serveurs ou des ordinateurs en réseau externe ; l'installation de pare-feu et de systèmes de sécurité pour se protéger contre les logiciels malveillants et les virus ; l'existence de systèmes informatiques protégés par mot de passe ; le cryptage des matériaux sensibles (même lors du transfert de données par e-mail) ; la signature d'accords de non-divulgation. S'il est important qu'une enquête inclue des données personnelles, telles que l'adresse ou le nom, il est essentiel d'obtenir au préalable l'autorisation du répondant.

Lors de l'utilisation d'un logiciel externe pour les besoins de gestion des données, les conditions d'utilisation, la protection et la confidentialité des données, ainsi que l'emplacement des serveurs doivent être vérifiés.

La gestion des données est également liée à l'assurance qualité des données : il est important d'éviter de collecter des données de mauvaise qualité et de s'assurer que les données sont « nettoyées » de toute erreur. Les données collectées peuvent servir de base à d'autres décisions. Les méthodes de qualité des données peuvent inclure l'utilisation de plusieurs sources de données, telles que la triangulation des données et la formation et la supervision des enquêteurs. Il convient de clarifier parmi le personnel qui est responsable de l'assurance qualité des données et comment.

Étape 5 : Planifier le flux d'informations et les exigences en matière de rapports (comment et pour qui ?)

Pour être utiles, les informations obtenues grâce au S&E doivent être communiquées aux différentes parties prenantes. Très probablement, certaines exigences en matière de rapports sont fixées par les donateurs. Cependant, il est de bonne pratique de diffuser et de discuter des résultats parmi d'autres groupes de parties prenantes afin que l'apprentissage du S&E ait une portée plus large. À tout le moins, les résultats du S&E devraient également être discutés avec les communautés et les groupes soutenus.

Il existe de nombreuses façons de communiquer les informations de S&E aux groupes de parties prenantes. La meilleure méthode de communication dépendra de l'audience et de la façon dont l'information sera utilisée. Par exemple, les chefs de projet peuvent avoir besoin d'informations beaucoup plus détaillées sur les progrès réalisés ; les directeurs de programme peuvent exiger des rapports récapitulatifs courts et réguliers sur différents projets et programmes, avec des tableaux et des statistiques agrégés ; les décideurs politiques pourraient bénéficier d'un bref résumé résumant les principaux problèmes et formulant des recommandations de changement ; un membre du public qui soutient une organisation par des dons pourrait préférer voir une histoire de changement, une photographie ou une courte vidéo qui permet de se connecter avec les bénéficiaires sur le plan émotionnel.

Parfois, en particulier lors de la communication d'informations à des partenaires ou à des groupes soutenus, il est utile de discuter au préalable des méthodes de communication avec le public. Il s'agit d'un élément central du S&E participatif. Il convient également de tenir compte de la manière dont les informations peuvent être communiquées aux personnes ayant un handicap auditif ou visuel, ou de la possibilité pour les parties prenantes d'accéder aux lieux des réunions. Lors de la communication d'informations à des personnes analphabètes ou semi-analphabètes, présenter les informations sous forme écrite est de peu d'utilité.

Il est également important de savoir quand l'information doit être communiquée. Par exemple, si des réunions de prise de décision ont lieu tous les trimestres, il est important de communiquer les résultats du S&E avant la tenue de ces réunions. De même, lorsqu'on cherche à influencer une politique gouvernementale, il est important de fournir l'information au bon moment pour qu'elle ait le maximum de chances d'atteindre son objectif.

L'utilisation de stratégies de communication ou de plans de diffusion facilitera l'organisation du flux d'informations. Le point clé est d'être très clair sur qui a besoin de quelles informations de S&E, quand et où. Les récits (rapports officiels, études de cas, bulletins d'information, communiqués de presse, notes d'orientation) sont le moyen le plus courant de communiquer les résultats du S&E. D'autres moyens de communication sont à travers des photographies, des vidéos, des images et des dessins animés. Le grand avantage de ces derniers canaux de communication mentionnés est qu'ils peuvent communiquer des informations provenant des communautés et des groupes pris en charge directement à différents publics, sans être filtrés par un rapport. En outre, les conclusions du S&E peuvent être communiquées verbalement lors de réunions et d'ateliers, par le biais de séances de rétroaction et même de conversations informelles. S'adresser directement à un public cible permet d'adapter les messages à l'individu ou au groupe, et permet également de discuter des résultats.

En outre, des méthodes de communication plus artistiques et traditionnelles telles que les poèmes, le théâtre, le mime et la chanson peuvent être utilisées pour partager des informations de S&E avec d'autres. L'utilisation de telles activités peut aider à empêcher que le S&E ne devienne un exercice stérile et peut favoriser une compréhension et des discussions plus larges sur le changement.

Les progrès technologiques récents offrent un autre moyen de communiquer les informations de S&E. Les sites Web et les sites de médias sociaux, les podcasts et les webinaires ont rendu beaucoup plus facile la présentation et la communication d'informations de manière nouvelle et innovante. La communication via les téléphones portables et les tablettes offre d'autres opportunités dans la communication des informations de S&E, bien qu'à ce jour, cela ait été principalement utilisé pour la collecte de données (par exemple, l'enquête par SMS) plutôt que pour la communication des résultats du S&E (4).

Le plan de diffusion ci-dessous, extrait du site Internet du Centre technique de coopération agricole et rurale, donne un bon exemple de ce à quoi pourrait ressembler un tel plan. D'autres exemples sont proposés par les sites de BetterEvaluation et de l'initiative MEAL DPro.

Source : Site Internet du CTA. Centre technique de coopération agricole et rurale, sous licence Creative Commons Attribution-Share Alike 3.0 Unported.

Dans certaines organisations, il y a un chargé de communication responsable des communications externes et de l'organisation de la circulation de l'information ; dans d'autres, en particulier les petites organisations, cette tâche incombe à un agent de S&E ou à l'équipe de projet elle-même.

Étape 6 : Planifier des processus de réflexion et des événements

Cette étape va un peu plus loin et veut non seulement communiquer les résultats, mais aussi discuter des conclusions du S&E avec les parties prenantes afin que chacun apprenne les uns des autres. Encore une fois, les formats de discussion et d'apprentissage peuvent varier considérablement. Il peut s'agir d'ateliers, de visites d'échange, de séminaires, de conférences, d'examens après action (AAR) (5) pour n'en nommer que quelques-uns. Cependant, l'apprentissage ne se fait pas en une seule séance. Il est important que des moments de réflexion aient lieu régulièrement tout au long de la vie du projet ou du programme. L'incorporation d'événements d'apprentissage dans le cycle du projet/programme est essentielle. À cet égard, les examens annuels ou semestriels sont des occasions d'apprentissage essentielles pour tirer des conclusions sur les réalisations et les échecs. La séquence optimale des événements d'apprentissage suit les lignes hiérarchiques de la prise de décision. Il convient de s'assurer que les bonnes personnes sont impliquées dans ces examens. Par conséquent, il peut parfois être important d'inclure les décideurs dans les revues (afin qu'ils apprennent en même temps que leur personnel et prennent donc les décisions appropriées), mais il peut être difficile de s'assurer que cela n'affecte pas la transparence des conversations. Il pourrait être très utile que le personnel soit formé pour faciliter les processus d'apprentissage intentionnel en groupe.

Les réunions d'équipe régulières sont une autre occasion importante de réflexion. Les membres de l'équipe peuvent inclure le personnel du projet, les partenaires de mise en œuvre et les principaux représentants des parties prenantes - cela dépend de la façon dont le projet est structuré. Les réunions hebdomadaires sont courantes, mais si d'autres parties prenantes sont impliquées, cela peut être nécessaire moins fréquemment. Dans chaque contexte de projet, il existe généralement des forums où les partenaires de mise en œuvre interagissent les uns avec les autres. Ces événements offrent une autre occasion de réflexion.

Il est recommandé d'attribuer des rôles et des responsabilités pour diriger les événements d'apprentissage. De plus, l'apprentissage et les conclusions qui en résultent pour les actions futures doivent être bien documentés, en mettant l'accent sur la documentation de « l'action nécessaire », de la « personne responsable de la mise en œuvre », de la « date limite » et des « personnes responsables du suivi ». Une telle documentation pourrait être sous forme de tableau (voir l'exemple ci-dessous), mais toute autre forme convient tant qu'elle enregistre les éléments les plus importants.

Source: propre composition

Enfin, il convient de mentionner ici que l'apprentissage dans le contexte du S&E consiste à avoir une culture qui encourage la réflexion intentionnelle et les processus qui soutiennent cette culture. Toutes les équipes apprennent au fur et à mesure de la mise en œuvre des activités du projet. Mais pour tirer parti de cet apprentissage et le traduire systématiquement en une pratique améliorée, l'apprentissage doit être planifié et géré.

Étape 7 : Planifiez les ressources et les compétences nécessaires

Il est bon de commencer à planifier le budget de S&E dès la phase de conception du projet/programme afin que des fonds adéquats soient alloués et ensuite disponibles pour les activités de S&E. Il n'existe pas de formule standard pour déterminer le budget du système de S&E d'un projet/programme. Une norme de l'industrie est qu'entre 3 et 10 % du budget d'un projet/programme doivent être alloués au S&E (6). Un tableau de planification des principales activités de S&E peut être utile à cet égard. Il est particulièrement important de budgétiser tous les éléments coûteux, tels que les enquêtes de base et les évaluations.

De plus, un système de S&E efficace nécessite des personnes compétentes. Par conséquent, lors de la définition des rôles et des responsabilités en matière de S&E, une attention particulière doit être accordée aux qualifications et aux attentes en matière de S&E, y compris la proportion approximative de temps nécessaire à chaque personne pour soutenir le système. Une première étape dans la planification des ressources humaines de S&E consiste à déterminer l'expérience de S&E disponible au sein de l'équipe du projet/programme, des organisations partenaires, des communautés cibles et de tout autre participant potentiel au système de S&E. Cela informera le besoin de renforcement des capacités ou d'expertise extérieure. Pour les projets/programmes à long terme et plus importants, il peut être utile de créer un calendrier de formation en S&E. Idéalement, la collecte de données, l'analyse et la formation au S&E impliquent les personnes les plus concernées par ces processus et ces décisions (7).

L'une des principales considérations de planification est de savoir qui aura la responsabilité globale du système de S&E. Il est important d'identifier clairement qui coordonnera toutes ces activités de S&E et vers qui les autres se tourneront pour obtenir des conseils en matière de S&E. La personne ou l'équipe responsable doit superviser les fonctions de S&E et avoir une vue d'ensemble de tous les problèmes qui pourraient survenir.

Cet article a été écrit avec l'intention de soutenir les petites organisations dans leurs activités de S&E. Espérons que les informations ont été utiles et d'une utilité pratique dans la mise en place des systèmes de S&E. L'auteur accueille les suggestions, les ajouts et les commentaires.

Téléchargez l'outil "M&E gap analysis" pour travailler sur ces 7 étapes.

Si vous aimez cet article, n'oubliez pas de vous inscrire à la newsletter ActivityInfo pour recevoir de nouveaux guides, articles et webinaires sur divers sujets de S&E !

L'équipe d'ActivityInfo tient à remercier chaleureusement Mme Susanne Neymeyer pour ce guide perspicace et détaillé sur la mise en place d'un système de suivi et d'évaluation. Mme Neymeyer est partenaire d'ActivityInfo Education depuis juillet 2020.

Susanne Neymeyer est une consultante indépendante en S&E avec plus de 15 ans d'expérience dans le domaine de la coopération au développement et de l'aide humanitaire. Elle a une formation universitaire en travail social, en éducation des adultes et en évaluation. Susanne a commencé à travailler en tant que consultante indépendante en S&E en 2009. Depuis lors, elle a évalué et soutenu un large éventail de projets et de programmes de développement et humanitaires dans le monde entier. Avant de devenir consultante internationale, elle a travaillé pour diverses organisations internationales de développement et humanitaires en tant que coordinatrice et gestionnaire de projets.

Notes de bas de page, références et lectures complémentaires

• (1) : Dans d'autres notes d'orientation, le développement d'un système de S&E est décrit en 6 ou 10 étapes. J'ai une préférence pour 7 étapes, mais une représentation du processus avec moins ou plus d'étapes est bien sûr tout aussi bonne.

• (2) : Les indicateurs SMART sont spécifiques, mesurables, atteignables, pertinents et limités dans le temps. De plus amples informations sur les indicateurs SMART et sur la manière de les concevoir sont fournies par l'ONGI People in Need (PIN).

• (3) : Van den Eynden, V., Corti, L., Woolard, M., Bishop, L. et Horton, L. (2011). Gestion et partage des données : bonnes pratiques pour les chercheurs. Archives de données du Royaume-Uni, Université d'Essex : Essex.

• (4): Plus d'informations sur les outils innovants peuvent être trouvées sur Glenn O'Neil. (2017) Un guide : Intégrer la communication dans l'évaluation.

• (5) : Une analyse après action (AAR) est un processus simple utilisé par une équipe pour saisir les leçons tirées des succès et des échecs passés dans le but d'améliorer les performances futures. Pour plus d'informations sur la RAA et d'autres méthodes de partage des connaissances, consultez la boîte à outils de partage des connaissances développée entre autres par l'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO) et le Fonds des Nations Unies pour l'enfance (UNICEF).

• (6) : FICR. (2011). Guide de suivi et d'évaluation (S&E) des projets/programmes

• (7) : En fin de compte, le degré de participation des communautés soutenues variera selon le projet/programme et le contexte. Quelques exemples de participation au S&E comprennent, entre autres activités : des évaluations des capacités de vulnérabilité ; implication des représentants locaux dans la conception du projet/programme et l'identification des indicateurs ; un suivi participatif où les représentants élus de la communauté rendent compte des principaux indicateurs de suivi ; partager les résultats du suivi et de l'évaluation avec les membres de la communauté pour une analyse participative et l'identification de recommandations.