Descripción

Esta guía le introduce en lo que implica la medición del impacto. Le mostramos cómo desarrollar su propio sistema de medición de impacto en cinco pasos y le ofrecemos consejos prácticos sobre la marcha. Este capítulo incluye ejemplos de la experiencia de nuestro socio Wij.landde la restauración del paisaje en los Países Bajos.

Para empezar con su enfoque de seguimiento, lea el capítulo de la guía 4 Retornos Seguimiento de los 4 Retornosque introduce el 4 Menú indicador de retornos.

Objetivo de la medición de impacto: una visión más amplia

Antes de que se dé cuenta, la medición del impacto desempeña un papel en su proyecto. Cada vez que reflexiona sobre el progreso de su proyecto y sus efectos, hace valoraciones intuitivas basadas en los conocimientos disponibles. Contar con un sistema de medición del impacto estructura de forma transparente tus reflexiones y observaciones, y las de los demás, para que puedas comunicarte de forma fiable con las partes interesadas.

Medir el impacto ayuda a un proyecto y a sus partes interesadas a comprender el progreso de sus esfuerzos y su repercusión. Esto puede ayudar a:

1. mejorar el impacto de los proyectos en dificultades
2. animar a otros a reproducir proyectos que hayan tenido éxito,
3. inspirar a los financiadores para que sigan financiando allí donde puedan ver los progresos realizados.

Este capítulo le introduce en lo que implica la medición del impacto. Le mostramos cómo desarrollar su propio sistema de medición de impacto en cinco pasos y le ofrecemos consejos prácticos sobre la marcha.

No necesita experiencia previa para leer este capítulo. Sin embargo, un consejo vital es contratar a un especialista para garantizar que la medición de su impacto es creíble y sólida. Esto ayuda tanto en la comunicación como en la inversión y la financiación. En otras palabras, es una función que se amortiza con creces.

¿Cuándo es importante medir el impacto?

Integrar la medición del impacto desde el principio de su proyecto la hace más eficaz y útil. Así dispondrá de mejores datos cuando la medición del impacto se formalice en el último paso de los cinco elementos del proceso 4 Retornos.

Buenos ejemplos de integración temprana son:

• Una investigación de referencia que sirva de base para establecer las prioridades a la hora de elaborar el plan paisajístico. Una línea de base incluye el uso de las pruebas y la literatura existentes sobre intervenciones eficaces, lo que le ahorrará mucho tiempo de investigación.
• Realice una rutina de medición del impacto a medida que vaya creando prototipos de nuevos proyectos y programas. Esto le permitirá extraer lecciones de su impacto pasado, lo que le permitirá mejorar continuamente su trabajo.
• Piense en la medición del impacto en su presupuesto y planificación. Asigne dinero suficiente para contratar personal cualificado y cree un espacio en su planificación y en los acuerdos con los financiadores para la gestión adaptativa.

Medición del impacto paso a paso

Aunque recomendamos contratar a un especialista para la medición del impacto, la mayoría de las personas implicadas en un proyecto de 4 Retornos participarán en él de alguna manera. Estos pasos le ayudarán a entender qué ocurre en la medición del impacto, por qué cada paso tiene sentido y cómo encajan entre sí.

Paso 1: Determine sus objetivos para la medición del impacto

Piense por qué mide su impacto. Averigua qué objetivos son más importantes para ti, porque eso determina en parte el diseño de tu sistema de medición del impacto.

Suelen destacarse tres objetivos:

• Rendir cuentas a las partes interesadas más importantes, como los financiadores, el personal y las comunidades de su entorno, que quieren ver pruebas de que lo que usted hace funciona.
• Comunicación: contar su historia a un público más amplio para difundir su trabajo e implicar a nuevas partes interesadas. Su sistema de medición del impacto y sus esfuerzos para contar historias (véase capítulo "Storytelling para los 4 Retornos) deben estar bien integrados.
• Conocer la eficacia de tu trabajo. Al investigar los efectos y el funcionamiento interno de tu proyecto, puedes aprender qué funciona y ajustar tu estrategia en consecuencia.

Una vez que conozca sus prioridades para la medición del impacto, es menos probable que recopile datos que no vaya a utilizar, y esto le ahorrará dinero y tiempo. Además, establecer prioridades le ayuda a determinar lo que no hará, porque estos tres objetivos pueden ser contradictorios. Por ejemplo, los datos para la comunicación son muy diferentes de los que se utilizan para el aprendizaje, y sólo se puede invertir tiempo y dinero una vez.

En Wij.land comenzó en 2017, implantaron inmediatamente un sistema de medición sencillo con el fin de rendir cuentas a los financiadores. De este modo, mostraron de forma transparente en qué gastaba tiempo y dinero la organización. Desde entonces, todas las actividades, la adopción de prácticas y las relaciones que se establecen se guardan en su sistema de gestión de datos. Ahora que Wij.land está creciendo, están pensando en cómo utilizar los datos para el aprendizaje de la organización.

Paso 2: Dedicar presupuesto y tiempo

La investigación es cara. Incorporarla a tu presupuesto y a tu contratación garantiza que tus ambiciones puedan alcanzarse. Tu presupuesto es la condición que limita la viabilidad de los siguientes pasos.

Presupuesto

Como regla general, entre 5 y 10% del presupuesto total de su proyecto se destinará a la medición del impacto. Si está innovando y necesita datos para mejorar rápidamente, esta cifra puede ser mayor. El presupuesto incluye personal, sistemas de gestión de datos y herramientas técnicas.

Consejo: contrate al personal adecuado

Una elección importante que puede romper o hacer su medición de impacto es contratar a las personas adecuadas. Algunas habilidades necesarias son:

• una sólida formación en investigación o medición de impacto típica
• Las competencias de investigación incluyen técnicas de análisis cuantitativo y cualitativo, como la elaboración de encuestas y entrevistas, y la capacidad de aplicarlas y analizarlas.
• trabajar con herramientas informáticas básicas (como Word, Excel o GIS)
  comunicación eficaz, por ejemplo, hablar la lengua local, ser considerado neutral por la población destinataria y alguien en quien confían.
• Experiencia con los temas en los que trabaja: por ejemplo, trabajo con agricultores o en la rehabilitación de tierras.

Marco temporal

Obtener resultados concretos lleva tiempo. Establecer un sistema de medición bien probado suele llevar un año. Los cinco pasos de este capítulo llevarán algunos meses. Después, recopilar, analizar y evaluar el primer lote de datos -incluidos los datos de referencia- llevará al menos medio año. Un análisis de tendencias significativo requiere al menos tres años de datos. Por tanto, tómese su tiempo antes de esperar resultados concretos.

Afortunadamente, recopilar las primeras percepciones no tiene por qué llevar tanto tiempo. Además, no todas las organizaciones miden el impacto de sus actividades desde el principio. Emprender una investigación retrospectiva para intentar reconstruir lo que ha sucedido lleva menos tiempo.

Consejo: cuente con revisar su sistema de medición cada 4-5 años. La mayoría de las organizaciones cambian sus estrategias y actividades cada 4-5 años, centrándose en nuevas prioridades, grupos destinatarios y socios. Cambiar de estrategia significa también adaptar el sistema de medición. Esto no significa que al cabo de cinco años toda la información recopilada sea inútil, pero sí que algunos análisis de tendencias pueden no tener continuidad.

Paso 3: Identificar las preguntas de aprendizaje

Las preguntas de aprendizaje formulan el impacto que se quiere medir, de modo que se pueden elaborar los métodos adecuados para la recogida de datos. Ejemplos de preguntas de aprendizaje

• ¿se producen realmente los cambios que esperamos de nuestras actividades? Por ejemplo, con los 4 Retornos: ¿creamos inspiración? ¿O creamos retornos sociales? Etcétera.
• ¿Por qué, o por qué no creamos este cambio? ¿Cuáles son los factores de éxito o qué obstaculiza nuestro impacto?
• ¿qué ocurre cuando un rendimiento, como los retornos de inspiración, baja?
• ¿podemos ahorrar dinero haciendo las cosas de otra manera?

Consejo: La clave está en establecer prioridades

Una vez que empiezas a preguntar a la gente sus dudas sobre aprendizaje, suelen tener un montón de sugerencias. Nuestro consejo es que empieces poco a poco, porque es fácil que generes mucho trabajo innecesario. Siempre puedes hacer más una vez que algunas de tus preguntas de aprendizaje hayan sido respondidas.

Consejo: Involucrar a las partes interesadas

Involucre a las partes interesadas más importantes para identificar sus necesidades de aprendizaje. Por ejemplo, si el objetivo que determinó en el paso 1 es la rendición de cuentas ante los financiadores, pregunte a sus (potenciales) financiadores cuáles son sus necesidades de aprendizaje más importantes.

El primer paso en la identificación de las preguntas de aprendizaje es la determinación del alcance: establecer los límites de las intervenciones de las que se desea conocer el impacto. Esto es especialmente importante si trabaja en una organización con muchos proyectos diferentes: priorice qué proyectos son el centro del sistema de medición del impacto.

Existen cinco categorías de preguntas de aprendizaje, según la OCDE-CAD. Conocerlas puede ayudarle a establecer prioridades:

• ¿Es pertinente nuestro planteamiento? ¿Necesita la gente este cambio?
• ¿Es eficaz nuestro planteamiento? ¿Funciona como pensábamos y qué hipótesis debemos comprobar?
• ¿Es nuestro enfoque eficaz? ¿Crea los cambios que deseamos? También puedes ir un poco más allá: ¿crea tu planteamiento efectos negativos o no deseados?
• ¿Es sostenible nuestro planteamiento? ¿Son duraderos los cambios que genera?
• ¿Es eficaz nuestro planteamiento? ¿Utiliza sus recursos de la mejor manera posible?

Utilización de una Teoría del Cambio para priorizar las cuestiones de aprendizaje

Para establecer prioridades, es habitual utilizar una Teoría del Cambio. Una Teoría del Cambio muestra cómo cree que todas sus actividades conducen al cambio y al impacto, visualizado en vías de impacto. Por lo general, las vías de impacto constan de 4 a 8 pasos que muestran la lógica de cómo sus actividades generan el cambio. El total de todas las vías de impacto y pasos es igual al total de preguntas de aprendizaje que puede formular en torno a la eficacia (categoría de preguntas 2) y el impacto (categoría de preguntas 3). Encontrará un ejemplo de Teoría del Cambio de AlVelAl en el capítulo de la Guía de los 4 Retornos Planificación estratégica.

Cada paso de la Teoría del Cambio representa una pregunta de aprendizaje: ¿lleva un cambio a otro? Por lo tanto, además de servir para muchos otros fines (véase, por ejemplo, el capítulo 7 "Elaboración de estrategias", donde la Teoría del Cambio se utiliza como herramienta para el diseño de estrategias). Una Teoría del Cambio es una buena forma de mostrar las preguntas de aprendizaje y ayuda a comprender cuánto trabajo supone investigarlo todo. A menudo sólo es factible priorizar dos o tres vías de impacto. He aquí una plantilla para desarrollar su propia Teoría del Cambio, y He aquí una guía detallada sobre cómo desarrollar una Teoría del Cambio.

Consejo: No priorice únicamente los cambios "últimos", por ejemplo, "más biodiversidad" o "mejores políticas", ya que no puede vincularlos a sus propias actividades. Debe medir sus actividades (resultados) y los cambios de orden inferior (por ejemplo, "mayor concienciación entre los responsables políticos") que conducen a los de orden superior (por ejemplo, "un cambio en las prácticas agrícolas").

Alternativa para la Teoría del Cambio: investigación exploratoria

En contextos menos predecibles, utilizamos la investigación exploratoria en lugar de una Teoría del Cambio para determinar las preguntas de aprendizaje. La investigación exploratoria significa que suspendemos las expectativas sobre los cambios que encontraremos. Por ejemplo, al trabajar en zonas de guerra, de catástrofes naturales o de agitación social, nos acercamos al terreno con la mente abierta y recogemos los cambios que observamos. Vemos dónde están conectados estos cambios con nuestras propias actividades. Una metodología útil y de eficacia probada en la investigación exploratoria es la recolección de resultados.

Paso 4: Diseñar métodos de medición

Una vez que conozca las preguntas de aprendizaje y las respuestas que necesita de la medición del impacto, puede trasladar esto al diseño del sistema de medición. En este punto puede perderse fácilmente: hay muchas metodologías de investigación diferentes que puede utilizar y muchas opciones que elegir. Por eso le aconsejamos que contrate a alguien con una sólida y diversa experiencia en investigación, que pueda guiarle a través de este proceso técnico. Por ejemplo, en el caso de Wij.land una persona de un equipo de diecisiete se encarga de medir el impacto, gestionar la agenda de investigación, instruir a los colegas y gestionar el aprendizaje organizativo.

Incluimos este capítulo técnico (y quizá difícil) con la esperanza de que le aporte más claridad sobre las decisiones que hay que tomar, los productos y herramientas que hay que diseñar y, por tanto, la capacidad que necesita. A partir de este capítulo puedes hacerte este tipo de preguntas:

• ¿Somos capaces de llevar nosotros mismos el diseño y la implantación de un sistema de medición de impacto, con nuestra capacidad actual, o necesitamos contratar a alguien?
• ¿Qué requiere la medición del impacto de nuestras partes interesadas y socios, y pueden y quieren contribuir a ello?
• ¿Qué pasos debemos dar para empezar y con qué rapidez o lentitud queremos desarrollar nuestro sistema de medición de impacto?

Empezar explorando la bibliografía y las bases de datos existentes

La bibliografía y las bases de datos existentes son un buen primer paso para responder a sus preguntas de aprendizaje. Empieza escribiendo determinadas palabras clave en scholar.google.com. Incluso sin licencia, los resúmenes suelen proporcionar la información importante que necesitas. También puedes investigar publicaciones creíbles de código abierto. En Base de datos WOCAT muestra el efecto de muchas prácticas diferentes de gestión sostenible de la tierra. Una buena base de datos sobre gestión de áreas protegidas es la Base de datos mundial de zonas protegidasy un resumen de las especies amenazadas que puede encontrar en la Lista Roja de la UICN. Otra aplicación útil es consensus.app, una herramienta basada en IA para obtener las conclusiones más importantes de los artículos.

Consejo 6: a menudo, la bibliografía es más adecuada para responder a preguntas relacionadas con impactos superiores. Por ejemplo: supongamos que una pregunta de aprendizaje es si la formación de agricultores en agricultura regenerativa les ayuda a adoptar nuevas prácticas, lo que mejora la calidad del suelo, la regulación del agua y la biodiversidad. La bibliografía existente no le dirá si su formación afecta al agricultor. Pero sí le dirá más sobre los vínculos con mayores impactos, es decir, de las prácticas de la agricultura regenerativa sobre la calidad del suelo o la biodiversidad. Además, le proporcionará información sobre las mejores prácticas en materia de formación de agricultores y sobre otros factores importantes que facilitan o dificultan la transición de los agricultores. Esto también le ayudará a diseñar su enfoque.

Registre sus actividades y resultados

A continuación, registre sus actividades y resultados. Por ejemplo, el número de árboles plantados, el número de actos organizados, el número de participantes en estos actos y el número de hectáreas alcanzadas. Sus resultados constituyen la base de su sistema de medición del impacto. A continuación, relacione estos resultados con sus efectos "superiores" en su Teoría del Cambio. Registrar los resultados ya es mucho trabajo. Empezar pronto permite a la organización acostumbrarse a recopilar datos y le da una mejor estimación de la viabilidad de medir los efectos de orden superior. También le permite comunicar sobre su trabajo a corto plazo.

Indicadores de diseño

Para cada pregunta de aprendizaje identificada en el paso 3, desarrolle uno o más indicadores que, en conjunto, proporcionen una indicación de la respuesta a las preguntas de aprendizaje.

En nuestro ejemplo de formación de agricultores, una indicación de que la formación ha sido eficaz para los agricultores es poner a prueba sus conocimientos al principio y al final, para ver una diferencia en la puntuación. Se puede añadir una encuesta de satisfacción en la que los agricultores indiquen si han aprendido algo nuevo y cómo evalúan la formación. Los indicadores en estos casos serían: 1) la diferencia de puntuación en la prueba, y 2) la evaluación de los participantes sobre la novedad del material de la formación.

En 2018 Commonland junto con sus socios diseñó el primer conjunto de indicadores para medir los 4 Retornos. Estos pueden servir tanto de inspiración como de orientación para desarrollar sus propios indicadores relacionados con su propia Teoría del Cambio.

Elegir los métodos de medición

Hay que elegir un método de medición y desarrollar herramientas de medición cualitativas o cuantitativas para cada indicador. Las herramientas cuantitativas se traducen en cifras y gráficos que responden a la pregunta "qué". Los métodos cualitativos se traducen en historias, textos y citas que dan sentido a las cifras y responden mejor a las preguntas "por qué" y "cómo". Nuestro consejo es que utilice un enfoque de "método mixto" que emplee métodos cuantitativos y cualitativos. Cualquiera que sea el método que utilice, deberá estar bien formado en él o contar con un supervisor experimentado.

Algunos métodos utilizados con frecuencia son:

Betterevaluation.org ofrece ejemplos de muchos más métodos de investigación. Si se pierde, le sugerimos que vuelva a los anteriores.

Otras opciones

Quedan algunas opciones para finalizar el sistema de medición.

1. Frecuencia: ¿con qué frecuencia va a medir cada indicador? Las frecuencias más comunes son evaluaciones anuales más pequeñas ("seguimiento"), o evaluaciones más amplias cada 2-3 años ("evaluaciones").
2. Grupo de investigación: dónde y de quién se recogen los datos. A menudo se trata de la población destinataria de su intervención. Sin embargo, un grupo de control de comparación investigará a personas ajenas a su proyecto. Además, un grupo de investigación debe ser capaz de reflexionar sobre los cambios, lo que no siempre ocurre con la población objetivo. Entonces hay que encontrar personas alternativas que puedan reflexionar sobre los cambios que observan.
3. Investigador: quien realiza la investigación. Debe ser alguien con las aptitudes necesarias y la posición adecuada respecto al grupo de investigación, imparcial y sin relaciones tensas.

En un archivo Excel maestro, muestre un indicador por fila. Las columnas muestran las preguntas de aprendizaje a las que se refieren y sus opciones para los factores anteriores.

Consulte

Ahora revise sus indicadores y compruebe 1) su relación con los objetivos de su sistema de medición de impacto (paso 1), y 2) si su medición es factible para su tiempo y presupuesto. Ajuste su sistema de medición hasta que pueda responder positivamente a ambas preguntas.

Para investigar los efectos de orden superior en su Teoría del Cambio, Wij.land coopera con institutos de conocimiento y universidades, incluyendo varios estudios sobre cómo las diferentes prácticas afectan a la calidad del suelo. Wij.land está desarrollando ahora nuevos métodos de medición para investigar los efectos de orden medio en la Teoría del Cambio, por ejemplo, la utilidad de las nuevas herramientas para los agricultores. Esta investigación requiere más capacidad del equipo, tanto en tiempo como en conocimientos.

Consejo: La triangulación de datos consiste en recopilar el mismo indicador entre diferentes grupos de investigación y diferentes métodos. Intente aplicarla en la medida de lo posible dentro de los medios de que disponga. En nuestro ejemplo de trabajo, hemos mencionado anteriormente la combinación de una encuesta de satisfacción entre los agricultores con una prueba de conocimientos que da una puntuación. Este es un ejemplo de triangulación de datos: ambos son pruebas de la pregunta de aprendizaje: ¿están aprendiendo los agricultores de la formación?

Paso 5: Desarrollar herramientas, instalar rutinas y estructuras de gestión de datos

El último paso es desarrollar las aplicaciones y herramientas necesarias para:

• Recogida de datos: las encuestas, los formatos de las entrevistas, etc.
• Almacenamiento de datos: aplicaciones y herramientas utilizadas para la recopilación y el almacenamiento de datos, como Survey Monkey, Google Formularios, etc.
• Análisis: aplicaciones y herramientas como aplicaciones de análisis estadístico, como STATA o SPSS, y aplicaciones de visualización, como Excel o PowerBI).

En su análisis de datos, asegúrese de registrar todos los cambios que realice en los datos, para que el análisis pueda reproducirse.

Consejo: Gestión de datos: su ángel investigador.

Si se diseña bien, un buen sistema de gestión de datos ahorra mucho tiempo y frustraciones y merece la pena una inversión inicial. Muchos errores de investigación se derivan de datos que no se almacenan y analizan bien, y su corrección es costosa. Tenga en cuenta que la información personal, como nombres y datos de contacto, está sujeta a la legislación sobre privacidad. Deben almacenarse de forma segura y eliminarse al cabo de cierto tiempo. Una forma de evitarlo es anonimizar los datos en la medida de lo posible.

Desarrollar rutinas de recogida, análisis e interpretación de datos de impacto.

Además de desarrollar todas las aplicaciones y herramientas, también hay que crear rutinas internas para recopilar, analizar e interpretar los datos y asegurarse de que los miembros del equipo están bien instruidos. Parte de esto ya está determinado en el paso 4, cuando diseñó la frecuencia de la medición de los indicadores. Sin embargo, la frecuencia con la que se recogen y analizan los datos no se traduce automáticamente en cómo y con qué frecuencia se debaten, utilizan y reflexionan los resultados. Le aconsejamos que establezca rutinas claras, para que todos los miembros de la asociación sepan cuándo hay que entregar qué datos, cuándo se analizan y discuten y cuándo se comunican, en función de los objetivos para los que se utilicen. Muchas organizaciones tienen ciclos anuales, que a menudo culminan cuando se publica el informe anual, o hacia reorientaciones estratégicas.

• En el caso de Wij.land, los procedimientos y rutinas funcionaron realmente bien. Algunos ejemplos de las herramientas desarrolladas por Wij.land son:
• Un diagrama de flujo que indica cuándo y cómo deben recopilar datos todos los miembros del equipo y de qué manera deben introducirlos en su sistema de gestión de datos. El equipo debate y actualiza periódicamente este organigrama para que todos lo utilicen de la forma más eficaz.
• Un manual para los miembros del equipo en el que se explique por qué es importante medir el impacto y qué se espera de cada uno.
• El sistema de gestión de datos se ha simplificado al máximo y cuenta con una interfaz accesible que permite a cada cual utilizarlo a su manera.
• Cada año, el equipo actualiza su agenda de conocimiento y aprendizaje, priorizando las preguntas de aprendizaje más importantes y determinando cómo deben responderse.

¿Cuáles son las principales prácticas y sistemas de su organización para medir el impacto? ¿Ha aprendido algo nuevo de este capítulo? Háganoslo saber en los comentarios.

Y para dar el siguiente paso en la puesta en práctica de la supervisión, lea el capítulo de la guía 4 Retornos Seguimiento de los 4 Retornosque introduce el 4 Menú indicador de retornos.