7 pasos para configurar un sistema de Seguimiento y Evaluación

Diseñar un sistema de Seguimiento y Evaluación, o sistema de S&E, es una tarea compleja que generalmente involucra personal de diferentes unidades. Este artículo describe el desarrollo de dicho sistema en 7 pasos (1). Cada paso está vinculado con preguntas clave, cuyo objetivo es estimular una discusión sobre el estado actual del sistema de S&E en un proyecto o en una organización. Por lo tanto, los 7 pasos no representan una secuencia cronológica estricta para el desarrollo de un sistema de S&E. Todos los pasos deben ser considerados desde el principio:

• Paso 1: Definir el propósito y el alcance del sistema de S&E
• Paso 2: Acordar resultados y objetivos - Teoría del cambio (incluidos los indicadores)
• Paso 3: Planificar la recopilación y el análisis de datos (incluido el desarrollo de herramientas)
• Paso 4: Planificar la organización de los datos
• Paso 5: Planificar el flujo de información y los requisitos de presentación de informes (¿cómo y para quién?)
• Paso 6: Planificar procesos y eventos de reflexión
• Paso 7: Planifique los recursos y habilidades necesarios

Descargue la herramienta "Diseño del sistema de seguimiento y evaluación: análisis de las deficiencias" para trabajar en estos 7 pasos.

¿Desea obtener más información sobre el diseño de una base de datos a nivel de proyecto para sus actividades de M&E? Luego, eche un vistazo a "La guía completa para una base de datos de M&E a nivel de proyecto" también .

Eche un vistazo a cómo se vería una base de datos de asistencia para el desarrollo de proyectos a través de esta plantilla de base de datos.

Explore una base de datos para el seguimiento de indicadores para M&E global en esta plantilla de base de datos.

Si le gusta este artículo, no olvide registrarse en el boletín informativo ActivityInfo para recibir nuevas guías, artículos y seminarios web sobre diversos temas de M&E!

Paso 1: Definir el propósito y el alcance del sistema de S&E

Es crucial definir el alcance del sistema de S&E desde el principio. Una pregunta que probablemente deba responderse es si el sistema debe estar orientado al impacto y si incluso queremos monitorear los impactos de mayor nivel, o si el equipo del proyecto está satisfecho con simplemente registrar la implementación adecuada de las actividades y sus resultados. Ambos pueden tener sentido y ser correctos, dependiendo de las circunstancias y de lo que se necesite para poder mejorar el proyecto de la mejor manera posible. Por supuesto, el monitoreo orientado a resultados de alto nivel suele ser preferible, pero también podría fallar debido a las capacidades disponibles. Además, debe quedar claro desde el principio quién continuará trabajando con los hallazgos de S&E más adelante.

Un desafío en este primer paso es involucrar al personal y convencerlo de que el tiempo y el esfuerzo adicionales para establecer un sistema de S&E valen la pena para mejorar la dirección del proyecto y, por lo tanto, la calidad de los resultados del proyecto o programa. Son muchas y variadas las actividades que se pueden llevar a cabo con este fin. Para algunos equipos de proyectos/programas, un taller o una presentación puede ser útil para convencerlos de la utilidad del monitoreo; en otros casos, varias discusiones cara a cara pueden ser más apropiadas. El enfoque debe ser decidido en última instancia por la persona responsable de S&E y depende de los recursos disponibles y las personas clave involucradas. La consulta previa sobre estos puede ser útil.

Paso 2: Acordar resultados y objetivos - Teoría del cambio (incluidos los indicadores)

Una teoría del cambio (ToC) es una descripción de cómo y por qué se espera que las actividades conduzcan a resultados a corto, mediano y largo plazo durante un período de tiempo. Esto es más que simplemente identificar resultados y objetivos. De hecho, una TdC es un conjunto de supuestos o hipótesis de impacto que se pueden describir como un diagrama visual, una narrativa o ambos. Una vez que haya una TdC o algo similar, el personal sabrá mejor qué datos de S&E recopilar.

Las TdC no son necesariamente complejas, pero proporcionan una manera de resumir la complejidad de una situación y aportar claridad. En el mejor de los casos, esto permite que una amplia gama de partes interesadas lleguen a un entendimiento compartido de por qué y cómo las actividades conducirán a los resultados deseados. Culligan & Sherriff proporciona más información y ejemplos de ToC en "A Guide to the MEAL DPro".

Es útil involucrar a una variedad de partes interesadas al desarrollar la TdC; esto podría incluir personal, beneficiarios, socios, financiadores e incluso otros expertos que estén familiarizados con el tema técnico. El proceso de desarrollo y el pensamiento involucrado son a menudo tan importantes como el diagrama o la narrativa producida. Sin embargo, si esto parece llevar demasiado tiempo, una buena práctica común es producir un primer borrador, que luego se puede discutir con otras partes interesadas clave. El resultado de este trabajo debe ser una descripción completa pero no demasiado complicada de las actividades y sus resultados, con resultados priorizados para la medición e indicadores SMART (2) para recopilar datos contra ellos.

Por supuesto, las TdC necesitan una revisión periódica porque, a medida que cambian el contexto y las necesidades, también lo hacen. Pero los resultados e impactos de alto nivel suelen ser válidos durante algunos años.

Vale la pena señalar que una crítica importante de TdC es que descuida las realidades sociales y los posibles efectos negativos del proyecto y que podría limitar la visión de los objetivos planificados del proyecto/programa.

Paso 3: Planificar la recopilación y el análisis de datos (incluido el desarrollo de herramientas)

Para este paso, se recomienda crear un plan de trabajo de S&E, una matriz de S&E o una combinación de ambos. Dependiendo de las necesidades de un programa o proyecto, el diseño de dicho documento puede variar mucho. Sin embargo, para garantizar que se implementen las actividades de S&E, es recomendable determinar en dicha matriz responsabilidades claras con plazos o frecuencias de recopilación de datos. Evaluation Toolbox proporciona una plantilla que se puede personalizar de acuerdo con estas necesidades.

Los métodos para recopilar los datos dependen de la información necesaria. Por ejemplo, si se necesita información cuantitativa sobre los puestos de trabajo creados, una encuesta con un cuestionario estandarizado puede ser útil, mientras que si se requiere información sobre las razones de los cambios de comportamiento de los grupos apoyados, se pueden realizar entrevistas cualitativas o una combinación de entrevistas y una encuesta estandarizada más útil. Las herramientas de recopilación de datos (p. ej., pautas para entrevistas y cuestionarios) deben probarse previamente antes de que realmente se utilicen. También se puede encontrar una guía importante sobre cómo desarrollar dichas herramientas en la Caja de herramientas de evaluación antes mencionada y en los sitios web de INTRAC. Parte del personal involucrado probablemente necesite tener habilidades analíticas (por ejemplo, habilidades estadísticas en el caso del análisis de cuestionarios). Si faltan tales habilidades o no hay tiempo para desarrollar las herramientas requeridas o para analizar los datos recopilados, se podría considerar la contratación de un experto externo en S&E.

Para algunos programas o proyectos, puede haber un oficial de S&E que coordine tales actividades de S&E. Si este no es el caso, entonces será necesario que el personal coordine las actividades entre ellos. Entonces será aún más importante asignar responsabilidades claras dentro del equipo.

Paso 4: Planificar la organización de los datos

Para utilizar los datos recopilados, la información debe almacenarse y compartirse con las personas involucradas, independientemente de su ubicación. Uno puede almacenar datos física o digitalmente utilizando un sistema de información. Esto significa que los sistemas de S&E y la gestión de datos van de la mano. El sistema de gestión de datos debe diseñarse de acuerdo con las necesidades, el tamaño y la complejidad del proyecto o programa. Es posible que el personal que participa en actividades de S&E deba vincularse con el soporte de TI de su organización. En cualquier caso, es importante etiquetar y organizar claramente los elementos almacenados (cronológicamente, por ubicación, por contenido o cualquier otra categoría que se considere útil).

Una buena gestión de datos incluye el almacenamiento seguro de datos para evitar el acceso no autorizado, el robo o la destrucción no intencionada de datos y para cumplir con los requisitos legales, como la legislación de protección de datos. Esto a menudo involucra métodos de protección de TI, como contraseñas, firewalls y controles de virus. Pero también podría significar simplemente tener un candado en un archivador. La organización de colaboración global BetterEvaluation, que sintetiza los consejos del Archivo de datos del Reino Unido (3), recomienda: no almacenar datos digitales en servidores o computadoras conectados en red externamente; la instalación de firewalls y sistemas de seguridad para proteger contra malware y virus; la existencia de sistemas informáticos protegidos con contraseña; el cifrado de materiales confidenciales (incluso cuando se transfieren datos por correo electrónico); la firma de acuerdos de confidencialidad. Si es importante que una encuesta incluya datos personales, como dirección o nombre, es imprescindible obtener previamente el permiso del encuestado.

Cuando se utilice software externo para las necesidades de gestión de datos, se deben comprobar las condiciones de uso, la protección y confidencialidad de los datos y la ubicación de los servidores.

La gestión de datos también está relacionada con el aseguramiento de la calidad de los datos: es importante evitar recopilar datos de baja calidad y asegurarse de que los datos se "limpien" de cualquier error. Los datos recopilados pueden ser la base para futuras decisiones. Los métodos de calidad de datos pueden incluir el uso de múltiples fuentes de datos, como la triangulación de datos y la capacitación y supervisión de los entrevistadores. Debe aclararse entre el personal quién es responsable del aseguramiento de la calidad de los datos y cómo.

Paso 5: Planificar el flujo de información y los requisitos de presentación de informes (¿cómo y para quién?)

Para que sea útil, la información obtenida a través del S&E debe comunicarse a las diferentes partes interesadas. Lo más probable es que los donantes establezcan ciertos requisitos de presentación de informes. Sin embargo, es una buena práctica difundir y discutir los hallazgos entre otros grupos de partes interesadas para que el aprendizaje del S&E tenga un alcance más amplio. Como mínimo, los resultados de S&E también deben discutirse con las comunidades y grupos apoyados.

Hay muchas maneras de comunicar la información de S&E a los grupos de partes interesadas. El mejor método de comunicación dependerá de la audiencia y de cómo se utilizará la información. Por ejemplo, los gerentes de proyecto pueden requerir información mucho más detallada sobre el progreso realizado; los directores de programas pueden requerir informes resumidos breves y regulares sobre diferentes proyectos y programas, con tablas y estadísticas agregadas; los formuladores de políticas podrían beneficiarse de un breve resumen que resuma los principales problemas y haga recomendaciones para el cambio; un miembro del público que apoya a una organización a través de donaciones puede preferir ver una historia de cambio, una fotografía o un video corto que le permita conectarse con los beneficiarios en un nivel emocional.

A veces, especialmente cuando se comunica información a socios o grupos apoyados, es útil discutir de antemano los métodos de comunicación con la audiencia. Este es un elemento central del S&E participativo. También se debe considerar cómo se puede comunicar la información a las personas con discapacidades auditivas o visuales, o si las partes interesadas pueden acceder a los lugares para las reuniones. Cuando se comunica información a personas analfabetas o semianalfabetas, la presentación de información en forma escrita es de poca utilidad.

También es importante saber cuándo es necesario comunicar la información. Por ejemplo, si las reuniones de toma de decisiones se llevan a cabo trimestralmente, entonces es importante comunicar los hallazgos de S&E antes de que se celebren esas reuniones. De igual manera, cuando se busca influir en una política de gobierno, es importante brindar la información en el momento adecuado para que tenga la máxima probabilidad de lograr su propósito.

El uso de estrategias de comunicación o planes de difusión facilitará la organización del flujo de información. El punto clave es tener muy claro quién necesita qué información de S&E, cuándo y dónde. Las narrativas (informes formales, estudios de casos, boletines, comunicados de prensa, resúmenes de políticas) son la forma más común de comunicar los hallazgos de S&E. Otros medios de comunicación son a través de fotografías, videos, imágenes y dibujos animados. La gran ventaja de los últimos canales de comunicación mencionados es que pueden comunicar información de comunidades y grupos apoyados directamente a diferentes audiencias, sin ser filtrada a través de un informe. Además, los hallazgos de S&E se pueden comunicar verbalmente en reuniones y talleres, a través de sesiones de retroalimentación e incluso a través de conversaciones informales. Hablar directamente a un público objetivo permite que los mensajes se adapten al individuo o al grupo, y también permite un debate sobre los hallazgos.

Además, se pueden utilizar métodos de comunicación más artísticos y tradicionales, como poemas, obras de teatro, mímica y canciones, para compartir la información de S&E con otros. El uso de tales actividades puede ayudar a evitar que el S&E se convierta en un ejercicio estéril y puede fomentar una comprensión y debates más amplios sobre el cambio.

Los avances tecnológicos recientes ofrecen otra forma de comunicar la información de S&E. Los sitios web y los sitios de redes sociales, los podcasts y los seminarios web han hecho que sea mucho más fácil presentar y comunicar información de formas nuevas e innovadoras. La comunicación a través de teléfonos móviles y tabletas ofrece más oportunidades en la comunicación de información de S&E, aunque hasta la fecha, esto se ha utilizado principalmente para la recopilación de datos (por ejemplo, encuestas a través de mensajes de texto) en lugar de para la comunicación de los hallazgos de S&E (4).

El siguiente plan de difusión, tomado del sitio web del Centro Técnico para la Cooperación Agrícola y Rural, proporciona un buen ejemplo de cómo podría ser un plan de este tipo. Otros ejemplos son ofrecidos por los sitios web de la iniciativa BetterEvaluation y MEAL DPro initiative.

Fuente: Sitio web de la CTA. Centro Técnico de Cooperación Agrícola y Rural, licenciado bajo Creative Commons Attribution-Share Alike 3.0 Unported License

En algunas organizaciones, hay un oficial de comunicaciones responsable de las comunicaciones externas y de organizar el flujo de información; en otras, especialmente en organizaciones más pequeñas, esta tarea es responsabilidad de un oficial de S&E o del propio equipo del proyecto.

Paso 6: Planificar procesos y eventos de reflexión

Este paso va un poco más allá y quiere no solo comunicar los resultados, sino también discutir los hallazgos de S&E con las partes interesadas para que todos aprendan unos de otros. Nuevamente, los formatos de discusión y aprendizaje pueden variar ampliamente. Estos podrían incluir talleres, visitas de intercambio, seminarios, conferencias, revisiones posteriores a la acción (AAR) (5), por nombrar algunos. Sin embargo, el aprendizaje no sucede en una sola sesión. Es importante que los momentos de reflexión tienen lugar regularmente a lo largo de la vida del proyecto o programa. La incorporación de eventos de aprendizaje en el ciclo del proyecto/programa es clave. En este sentido, las revisiones anuales o semestrales son oportunidades críticas de aprendizaje para llegar a conclusiones sobre logros y fracasos. La secuencia óptima de eventos de aprendizaje sigue las líneas de información de la toma de decisiones. Debe garantizarse que las personas adecuadas participen en dichas revisiones. Por lo tanto, a veces puede ser importante incluir a los tomadores de decisiones en las revisiones (para que aprendan al mismo tiempo que su personal y, por lo tanto, tomen las decisiones adecuadas), pero puede ser un desafío asegurarse de que esto no afecte la apertura de la conversaciones Podría ser muy útil si el personal está capacitado para facilitar procesos de aprendizaje grupal intencional.

Las reuniones regulares del equipo son otra oportunidad importante para la reflexión. Los miembros del equipo pueden incluir personal del proyecto, socios implementadores y representantes de las principales partes interesadas; esto depende de cómo esté estructurado el proyecto. Las reuniones semanales son comunes, pero si están involucradas otras partes interesadas, esto puede ser necesario con menos frecuencia. En el contexto de cada proyecto, suele haber foros en los que los socios implementadores interactúan entre sí. Estos eventos ofrecen otra oportunidad para la reflexión.

Se recomienda asignar roles y responsabilidades para liderar los eventos de aprendizaje. Además, el aprendizaje y las conclusiones resultantes para futuras acciones deben documentarse bien, centrándose en documentar la “acción necesaria”, la “persona responsable de la implementación”, la “fecha límite” y las “personas responsables del seguimiento”. Dicha documentación podría ser tabular (vea el ejemplo a continuación), pero cualquier otra forma está bien siempre que registre los elementos más importantes.

Por último, vale la pena mencionar aquí que el aprendizaje en el contexto de S&E se trata de tener una cultura que fomente la reflexión intencional y procesos que apoyen esta cultura. Todos los equipos aprenden a medida que implementan las actividades del proyecto. Pero para aprovechar este aprendizaje y traducirlo consistentemente en una práctica mejorada, el aprendizaje debe planificarse y gestionarse.

Paso 7: Planifique los recursos y habilidades necesarios

Es bueno comenzar a planificar el presupuesto de S&E ya en la fase de diseño del proyecto/programa para que se asignen los fondos adecuados y luego estén disponibles para las actividades de S&E. No existe una fórmula estándar para determinar el presupuesto para el sistema de S&E de un proyecto/programa. Un estándar de la industria es que entre el 3 y el 10 por ciento del presupuesto de un proyecto/programa debe asignarse a S&E (6). Una tabla de planificación para actividades clave de S&E puede ser útil en este sentido. Es particularmente importante presupuestar cualquier elemento costoso, como encuestas y evaluaciones de línea de base.

Además, un sistema de S&E eficaz requiere personas capaces. Por lo tanto, al definir roles y responsabilidades para el S&E, se debe dar consideración específica a las calificaciones y expectativas del S&E, incluida la proporción aproximada de tiempo para que cada persona apoye el sistema. Un primer paso en la planificación de los recursos humanos de S&E es determinar la experiencia de S&E disponible dentro del equipo del proyecto/programa, las organizaciones asociadas, las comunidades objetivo y cualquier otro participante potencial en el sistema de S&E. Esto informará la necesidad de creación de capacidad o experiencia externa. Para proyectos/programas a largo plazo y más grandes, puede ser útil crear un cronograma de capacitación de S&E. Idealmente, la recopilación de datos, el análisis y la capacitación en S&E involucran a las personas con las que más se relacionan estos procesos y decisiones(7).

Una consideración clave de planificación es quién tendrá la responsabilidad general del sistema de S&E. Es importante identificar claramente quién coordinará todas estas actividades de S&E y a quién recurrirán los demás para recibir orientación sobre S&E. La persona o equipo responsable debe supervisar las funciones de S&E y tener una visión general de cualquier problema que pueda surgir.

Este artículo fue escrito con la intención de apoyar especialmente a las organizaciones más pequeñas en sus actividades de S&E. Esperamos que la información haya sido útil y de uso práctico para establecer sistemas de S&E. El autor agradece sugerencias, adiciones y comentarios.

Descargue la herramienta "Diseño del sistema de seguimiento y evaluación: análisis de las deficiencias" para trabajar en estos 7 pasos.

Si le gusta este artículo, no olvide registrarse en el boletín informativo ActivityInfo para recibir nuevas guías, artículos y seminarios web sobre diversos temas de M&E!

El equipo de ActivityInfo quisiera agradecer a la Sra. Susanne Neymeyer por esta guía perspicaz y detallada sobre cómo configurar un sistema de Seguimiento y Evaluación. La Sra. Neymeyer es socia educativa de ActivityInfo desde julio de 2020.

Susanne Neymeyer es consultora independiente de S&E con más de 15 años de experiencia en el campo de la cooperación al desarrollo y la ayuda humanitaria. Su formación académica es en trabajo social, educación de adultos y evaluación. Susanne comenzó a trabajar como consultora independiente de S&E en 2009. Desde entonces, ha evaluado y apoyado una amplia gama de proyectos y programas humanitarios y de desarrollo en todo el mundo. Antes de convertirse en consultora internacional, trabajó para varias organizaciones humanitarias y de desarrollo internacional como coordinadora y gerente de proyectos.

Notas al pie, referencias y lecturas adicionales

• (1): En otras notas de orientación, el desarrollo de un sistema de S&E se describe en 6 o 10 pasos. Tengo una preferencia por los 7 pasos, pero una representación del proceso con menos o más pasos es, por supuesto, igual de buena.

• (2)(: Los indicadores SMART son específicos, medibles, alcanzables, relevantes y de duración determinada. La ONGI People in Need (PIN) proporciona más información sobre los indicadores SMART y cómo diseñarlos.

• (3)(: Van den Eynden, V., Corti, L., Woolard, M., Bishop, L. y Horton, L. (2011). Managing and sharing data: Best practice for researchers. UK Data Archive, University of Essex: Essex.

• (4): Puede encontrar más información sobre herramientas innovadoras en Glenn O'Neil. (2017) A Guide: Integrating Communication in Evaluation

• (5)(: Una revisión posterior a la acción (AAR) es un proceso simple utilizado por un equipo para capturar las lecciones aprendidas de los éxitos y fracasos del pasado con el objetivo de mejorar el desempeño futuro. Para obtener más información sobre AAR y otros métodos de intercambio de conocimientos, consulte el kit de herramientas para compartir conocimientos desarrollado, entre otros, por la Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO) y el Fondo de las Naciones Unidas para la Infancia (UNICEF).

• (6)(: FICR. (2011). Project/programme monitoring and evaluation (S&E) guide

• (7)(: En última instancia, el grado de participación de las comunidades apoyadas variará según el proyecto/programa y el contexto. Algunos ejemplos de participación en S&E incluyen, entre otras actividades: evaluaciones de capacidad de vulnerabilidad; involucramiento de representantes locales en el diseño del proyecto/programa y la identificación de indicadores; monitoreo participativo donde representantes electos de la comunidad informan sobre indicadores clave de monitoreo; compartir los hallazgos del seguimiento y la evaluación con los miembros de la comunidad para el análisis participativo y la identificación de recomendaciones.