Beschrijving

Deze gids laat je zien wat impactmeting inhoudt. We laten zien hoe je in vijf stappen je eigen impactmeetsysteem kunt ontwikkelen en geven onderweg praktische tips. Dit hoofdstuk bevat voorbeelden uit de ervaring van onze partner Wij.land, een facilitator van landschapsherstel in Nederland.

Om aan de slag te gaan met uw monitoringaanpak, leest u het hoofdstuk over 4 Returns in de handleiding De 4 Returns bewakendie de 4 Menu met indicator Returns.

Doel van impactmeting: het grotere plaatje

Voor je het weet speelt impactmeting een rol in je project. Elke keer dat je nadenkt over de voortgang van je project en de effecten ervan, maak je intuïtieve beoordelingen op basis van de beschikbare kennis. Een systeem voor impactmeting structureert op transparante wijze de reflecties en observaties van jou en anderen, zodat je op een betrouwbare manier kunt communiceren met belanghebbenden.

Het meten van de impact helpt een project en zijn belanghebbenden om inzicht te krijgen in de voortgang van hun inspanningen en de impact ervan. Dit kan helpen om:

1. de impact van worstelende projecten verbeteren
2. anderen aanmoedigen om succesvolle projecten over te nemen,
3. financiers inspireren om te blijven financieren waar ze vooruitgang uit het verleden kunnen zien.

In dit hoofdstuk leer je wat impactmeting inhoudt. We laten je zien hoe je in vijf stappen je eigen impactmeetsysteem kunt ontwikkelen en geven onderweg praktische tips.

Je hebt geen ervaring nodig om dit hoofdstuk te lezen. Een belangrijke tip is echter om een specialist in te huren om ervoor te zorgen dat je impactmeting geloofwaardig en robuust is. Dit helpt zowel bij de communicatie als bij de investering en financiering. Met andere woorden, het is een rol die zichzelf meer dan terugbetaalt.

Wanneer wordt impactmeting belangrijk?

Het integreren van impactmeting vanaf het begin van uw project maakt het efficiënter en nuttiger. Dit betekent dat u betere gegevens bij de hand hebt wanneer de effectmeting wordt geformaliseerd in de laatste stap van de 4 Returns vijf proceselementen.

Goede voorbeelden van vroege integratie zijn:

• Basisonderzoek dat informatie geeft over de prioriteiten bij het opstellen van je landschapsplan. Een basisonderzoek omvat het gebruik van bestaand bewijsmateriaal en literatuur over effectieve interventies, waardoor je veel tijd bespaart door zelf onderzoek te doen.
• Maak van impactmeting een routine wanneer je nieuwe projecten en programma's opzet. Zo kun je lering trekken uit de impact in het verleden, waardoor je je werk voortdurend kunt verbeteren.
• Denk na over impactmeting in je budget en planning. Trek voldoende geld uit om bekwame mensen in te huren en creëer ruimte in je planning en overeenkomsten met financiers voor adaptief beheer.

Stapsgewijze impactmeting

Hoewel we aanraden om een specialist in te huren voor impactmeting, zullen de meeste mensen die betrokken zijn bij een 4 Returns project hier op de een of andere manier bij betrokken zijn. Deze stappen helpen u te begrijpen wat er gebeurt bij impactmeting, waarom elke stap zinvol is en hoe ze bij elkaar passen.

Stap 1: Bepaal je doelen voor impactmeting

Denk na over waarom je je impact meet. Zoek uit welke doelen voor jou het belangrijkst zijn, want dat bepaalt voor een deel het ontwerp van je impactmeetsysteem.

Drie doelen zijn vaak prominent aanwezig:

• Verantwoording afleggen aan je belangrijkste belanghebbenden, zoals financiers, medewerkers en gemeenschappen in je omgeving die bewijs willen zien dat wat je doet werkt.
• Communicatie: je verhaal vertellen aan een breder publiek om je werk te verspreiden en nieuwe belanghebbenden erbij te betrekken. Je impactmeetsysteem en je inspanningen op het gebied van storytelling (zie hoofdstuk 'Verhalen vertellen voor de 4 Returns) moet goed geïntegreerd zijn.
• Leren over de effectiviteit van je werk. Door de effecten en innerlijke werking van je project te onderzoeken, kun je leren wat werkt en je strategie daarop aanpassen.

Als je eenmaal weet wat je prioriteiten voor impactmeting zijn, is de kans kleiner dat je gegevens verzamelt die je niet gaat gebruiken, en dat bespaart je geld en tijd. Bovendien helpt het stellen van prioriteiten je om te bepalen wat je niet gaat doen, omdat deze drie doelen tegenstrijdig kunnen zijn. Gegevens voor communicatie zijn bijvoorbeeld heel anders dan gegevens die worden gebruikt om te leren, en je kunt je tijd en geld maar één keer uitgeven.

Wanneer Wij.land begon in 2017, hebben ze meteen een eenvoudig meetsysteem geïmplementeerd om verantwoording af te leggen aan financiers. Op deze manier lieten ze transparant zien waar de organisatie tijd en geld aan besteedde. Sindsdien worden alle activiteiten, adoptie van praktijken en relaties die zijn opgebouwd bijgehouden in hun datamanagementsysteem. Nu Wij.land groeit, denken ze na over hoe ze de gegevens kunnen gebruiken om te leren van de organisatie.

Stap 2: Budget en tijd vrijmaken

Onderzoek is duur. Door het op te nemen in je budget en in je aanwerving, zorg je ervoor dat je ambities kunnen worden bereikt. Je budget is de beperkende voorwaarde voor de haalbaarheid van de volgende stappen.

Budget

Als vuistregel geldt dat 5-10% van je totale projectbudget naar impactmeting gaat. Als je innoveert en gegevens nodig hebt voor snelle verbetering, kan dit hoger zijn. Het budget omvat mensen, datamanagementsystemen en technische hulpmiddelen.

Tip: Neem de juiste mensen aan

Een belangrijke keuze die je impactmeting kan breken of maken, is het aannemen van de juiste mensen. Enkele noodzakelijke vaardigheden zijn:

• een degelijke onderzoeksachtergrond of typische impactmeting
• onderzoeksvaardigheden omvatten kwantitatieve en kwalitatieve analysevaardigheden, zoals het opzetten van enquêtes en interviewformats en het kunnen uitvoeren en analyseren hiervan.
• werken met basiscomputertools (zoals Word, Excel of GIS)
  effectieve communicatie, bijv. de lokale taal spreken, door de doelgroep als neutraal worden gezien en als iemand die ze vertrouwen.
• Ervaring met de thema's waar je aan werkt - bijvoorbeeld werken met boeren of in landherstel.

Tijdframe

Concrete resultaten behalen kost tijd. Het opzetten van een goed getest meetsysteem duurt over het algemeen een jaar. De vijf stappen in dit hoofdstuk zullen enkele maanden in beslag nemen. Vervolgens kost het verzamelen, analyseren en evalueren van de eerste gegevens - inclusief de basisgegevens - minstens een half jaar. Voor een zinvolle trendanalyse is minstens drie jaar aan gegevens nodig. Gun jezelf dus wat tijd voordat je concrete resultaten verwacht.

Gelukkig hoeft het verzamelen van de eerste inzichten niet zo lang te duren. Bovendien meten niet alle organisaties vanaf het begin de impact van hun activiteiten. Achteraf onderzoek doen om te proberen te reconstrueren wat er is gebeurd, kost minder tijd.

Tip: reken erop dat je je meetsysteem om de 4-5 jaar herziet. De meeste organisaties veranderen hun strategie en activiteiten eens in de 4-5 jaar, waarbij ze zich richten op nieuwe prioriteiten, doelgroepen en partners. Het veranderen van je strategie betekent ook het aanpassen van je meetsysteem. Dit betekent niet dat alle verzamelde informatie na vijf jaar nutteloos is, maar het betekent wel dat sommige trendanalyses misschien niet worden voortgezet.

Stap 3: Leervragen identificeren

Leervragen formuleren de impact die je wilt meten, zodat je de juiste methoden voor gegevensverzameling kunt uitwerken. Voorbeelden van leervragen zijn:

• Gebeuren de veranderingen die we van onze activiteiten verwachten ook echt? Bijvoorbeeld bij de 4 Returns: creëren we inspiratie? Of creëren we sociaal rendement? Etcetera.
• waarom, of waarom niet, creëren we deze verandering? Wat zijn succesfactoren of wat belemmert onze impact?
• Wat gebeurt er als een rendement, zoals het rendement van inspiratie, daalt?
• kunnen we geld besparen door dingen anders te doen?

Tip: Prioriteiten stellen is de sleutel

Als je eenmaal begint met mensen hun leervragen te stellen, hebben ze vaak een heleboel suggesties. Ons advies is om klein te beginnen, want je creëert gemakkelijk een hoop onnodig werk. Je kunt altijd meer doen als je een aantal leervragen hebt beantwoord.

Tip: Betrek belanghebbenden erbij

Betrek je belangrijkste belanghebbenden om hun leervragen te identificeren. Als het doel dat je in stap 1 hebt bepaald bijvoorbeeld verantwoording afleggen aan financiers is, vraag dan je (potentiële) financiers naar hun belangrijkste leerbehoeften.

De eerste stap in het identificeren van leervragen is scoping: grenzen stellen aan de interventies waarvan je de impact wilt weten. Dit is vooral belangrijk als je in een organisatie werkt met veel verschillende projecten: prioriteer welke projecten de focus zijn van het effectmeetsysteem.

Er zijn vijf categorieën leervragen, volgens de OESO-DAC. Als je dit weet, kan het je helpen prioriteiten te stellen:

• Is onze aanpak relevant: hebben mensen deze verandering nodig?
• Is onze aanpak effectief: werkt het zoals we dachten dat het zou werken en welke aannames moeten we testen?
• Heeft onze aanpak effect: creëert het de veranderingen die we willen? Hierbij kun je ook iets verder kijken: creëert je aanpak negatieve of onbedoelde effecten?
• Is onze aanpak duurzaam: zijn de veranderingen die het teweegbrengt blijvend?
• Is onze aanpak efficiënt: worden uw middelen op de best mogelijke manier gebruikt?

Een veranderingstheorie gebruiken om leervragen te prioriteren

Voor het stellen van prioriteiten is het gebruikelijk om een veranderingstheorie te gebruiken. Een veranderingstheorie laat zien hoe je denkt dat al je activiteiten leiden tot verandering en impact, gevisualiseerd in impactpaden. Over het algemeen bestaan impacttrajecten uit 4-8 stappen die de logica laten zien van hoe je activiteiten verandering teweegbrengen. Het totaal van alle impacttrajecten en stappen is gelijk aan het totaal van leervragen die je kunt formuleren rond effectiviteit (vraagcategorie 2) en impact (vraagcategorie 3). Een voorbeeld van een Theory of Change van AlVelAl is te vinden in het hoofdstuk van de 4 Returns gids. Strategische planning.

Elke stap in de Theorie van Verandering vertegenwoordigt een leervraag: leidt de ene verandering tot de andere? Daarom dient de Theory of Change niet alleen vele andere doelen (zie bijvoorbeeld hoofdstuk 7 Strategievorming, waar de Theory of Change wordt gebruikt als hulpmiddel bij het ontwerpen van strategieën). Een Theory of Change is een goede manier om leervragen te laten zien en helpt om te begrijpen hoeveel werk het is om alles te onderzoeken. Vaak is het slechts haalbaar om prioriteit te geven aan twee of drie impacttrajecten. Hier is een sjabloon voor het ontwikkelen van je eigen veranderingstheorie en hier is een uitgebreide gids over het ontwikkelen van een veranderingstheorie.

Tip: Geef niet alleen prioriteit aan 'ultieme' veranderingen, bijvoorbeeld 'meer biodiversiteit' of 'beter beleid', omdat je die niet kunt koppelen aan je eigen activiteiten. Je moet je activiteiten meten (output) en veranderingen van lagere orde (bijv. 'meer bewustzijn onder beleidsmakers') die leiden tot veranderingen van hogere orde (bijv. 'een verandering in landbouwpraktijken').

Alternatief voor de veranderingstheorie: verkennend onderzoek

In minder voorspelbare contexten gebruiken we exploratief onderzoek in plaats van een Theory of Change om leervragen te bepalen. Verkennend onderzoek betekent dat we verwachtingen over welke veranderingen we zullen vinden opschorten. Als we bijvoorbeeld in oorlogsgebieden, gebieden met natuurrampen of sociale onrust werken, benaderen we het veld met een open geest en oogsten we de veranderingen die we zien. We kijken waar deze veranderingen verband houden met onze eigen activiteiten. Een goed geteste en nuttige methodologie in exploratief onderzoek is 'outcome harvesting'.

Stap 4: Meetmethoden ontwerpen

Als je eenmaal weet wat de leervragen zijn en welke antwoorden je nodig hebt van impactmeting, kun je dit vertalen naar het ontwerpen van het meetsysteem. Op dit punt kun je gemakkelijk verdwalen: er zijn veel verschillende onderzoeksmethoden die je kunt gebruiken en veel keuzes die je moet maken. Daarom raden we je aan om iemand in te huren met een gedegen en diverse onderzoeksachtergrond, die je door dit technische proces heen kan loodsen. In het geval van Wij.land is bijvoorbeeld één persoon in een team van zeventien verantwoordelijk voor impactmeting, het beheren van de onderzoeksagenda, het instrueren van collega's en het managen van organisatieleren.

We nemen dit technische (en misschien moeilijke) hoofdstuk op in de hoop dat het je meer duidelijkheid geeft over de keuzes die gemaakt moeten worden, de producten en hulpmiddelen die ontworpen moeten worden en dus welke capaciteit je nodig hebt. Op basis van dit hoofdstuk kun je jezelf dit soort vragen stellen:

• Zijn we in staat om het ontwerp en de implementatie van een impactmeetsysteem zelf te dragen, met onze huidige capaciteit, of moeten we iemand inhuren?
• Wat vraagt impactmeting van onze stakeholders en partners en zijn zij in staat en bereid om hieraan bij te dragen?
• Met welke stappen moeten we beginnen en hoe snel of langzaam willen we ons impactmeetsysteem ontwikkelen?

Begin met het onderzoeken van bestaande literatuur en databases

Bestaande literatuur en databanken zijn een goede eerste stap om je leervragen te beantwoorden. Begin met het intypen van bepaalde sleutelwoorden in scholar.google.com. Zelfs zonder licentie geven de samenvattingen vaak de belangrijke informatie die je nodig hebt. Of je kunt onderzoek doen naar geloofwaardige open-source publicaties. De WOCAT-database toont het effect van veel verschillende duurzame landbeheerpraktijken. Een goede database over het beheer van beschermde gebieden is de Werelddatabase van beschermde gebiedenen een overzicht van bedreigde soorten die je kunt vinden op de Rode Lijst IUCN. Een andere handige app is consensus.app, een op AI gebaseerde tool om de belangrijkste conclusies uit artikelen te halen.

Tip 6: Vaak is literatuur geschikter om vragen te beantwoorden die betrekking hebben op hogere effecten. Bijvoorbeeld: stel dat een leervraag is of het trainen van boeren in regeneratieve landbouw hen helpt om nieuwe praktijken toe te passen, wat leidt tot betere bodemkwaliteit, waterregulering en biodiversiteit. Bestaande literatuur zal je niet vertellen of je training invloed heeft op de boer. Maar het zal je wel meer vertellen over de verbanden met hogere effecten, d.w.z. van praktijken van regeneratieve landbouw op bodemkwaliteit of biodiversiteit. Bovendien geeft het je kennis over best practices met betrekking tot het trainen van boeren en wat andere belangrijke factoren zijn die boeren in hun transitie ondersteunen of belemmeren. Dit geeft ook informatie over het ontwerp van je aanpak.

Registreer je activiteiten en output

Registreer vervolgens je activiteiten en resultaten. Bijvoorbeeld het aantal geplante bomen, het aantal georganiseerde evenementen, het aantal deelnemers aan deze evenementen en het aantal bereikte hectares. Je outputs vormen de basis van je effectmeetsysteem. Vervolgens relateer je deze outputs aan je 'hogere' effecten in je Theory of Change. Het registreren van je outputs is al veel werk. Door vroeg te beginnen kan de organisatie wennen aan het verzamelen van gegevens en krijgt de organisatie een betere inschatting van de haalbaarheid van het meten van hogere orde effecten. Het stelt je ook in staat om op korte termijn over je werk te communiceren.

Ontwerpindicatoren

Ontwikkel voor elke in stap 3 geïdentificeerde leervraag een of meer indicatoren die samen een indicatie geven van het antwoord op de leervragen.

In ons voorbeeld van een boerentraining is een indicatie van een effectieve training voor boeren het testen van hun kennis aan het begin en aan het einde, om een verschil in de score te zien. Je kunt een tevredenheidsonderzoek toevoegen waarin boeren aangeven of ze iets nieuws hebben geleerd en hoe ze de training evalueren. De indicatoren in deze gevallen zouden zijn: 1) het verschil in scores op de test, en 2) de evaluatie van de deelnemers van de nieuwheid van het materiaal in de training.

In 2018 heeft Commonland samen met haar partners de eerste set indicatoren ontworpen om de 4 Returns te meten. Deze kunnen gebruikt worden ter inspiratie en als leidraad bij het ontwikkelen van je eigen indicatoren gerelateerd aan je eigen Theory of Change.

Meetmethoden kiezen

Je moet een meetmethode kiezen en kwalitatieve of kwantitatieve meetinstrumenten ontwikkelen voor elke indicator. Kwantitatieve instrumenten resulteren in cijfers en visuals, die de 'wat'-vraag beantwoorden. Kwalitatieve methoden resulteren in verhalen, tekst en citaten, die betekenis geven aan getallen en meer vertellen over de 'waarom' en 'hoe' vraag. Ons advies is om een 'gemengde methode' te gebruiken, waarbij zowel kwantitatieve als kwalitatieve methoden worden gebruikt. Welke methode je ook gebruikt, je moet er goed in getraind zijn of een ervaren begeleider hebben.

Enkele veelgebruikte methoden zijn:

Betterevaluatie.org geeft voorbeelden van nog veel meer onderzoeksmethoden. Als u de weg kwijtraakt, raden we u aan terug te keren naar de bovenstaande pagina's.

Andere keuzes

Er blijven nog een paar keuzes over om het meetsysteem af te ronden.

1. Frequentie: hoe vaak ga je elke indicator meten? De meest voorkomende frequenties zijn jaarlijkse kleinere beoordelingen ('monitoring'), of grotere beoordelingen om de 2-3 jaar ('evaluaties').
2. Onderzoeksgroep: waar en bij wie verzamel je de gegevens. Vaak is dit de doelgroep van je interventie. Bij een vergelijking met een controlegroep onderzoek je echter mensen buiten je projectsfeer. Bovendien moet een onderzoeksgroep kunnen reflecteren op veranderingen, wat niet altijd het geval is bij de doelgroep. Dan moet je op zoek naar alternatieve mensen die kunnen reflecteren op de veranderingen die ze zien.
3. Onderzoeker: die het onderzoek uitvoert. Dit moet iemand zijn met de nodige vaardigheden en de juiste positie ten opzichte van de onderzoeksgroep, onbevooroordeeld en zonder gespannen relatie.

Toon in een Excel-bestand één indicator per rij. De kolommen tonen de leervragen waarop ze betrekking hebben en je keuzes voor de factoren hierboven.

Beoordeling

Ga nu terug naar je indicatoren en evalueer 1) hoe goed ze gerelateerd zijn aan de doelen van je impactmeetsysteem (stap 1), en 2) of hun meting haalbaar is voor je tijd en budget. Pas je meetsysteem aan totdat je beide vragen positief kunt beantwoorden.

Voor het onderzoeken van hogere orde effecten in de Theory of Change werkt Wij.land samen met kennisinstituten en universiteiten, waaronder verschillende onderzoeken naar de invloed van verschillende praktijken op de bodemkwaliteit. Wij.land ontwikkelt nu nieuwe meetmethoden om middenorde-effecten in de Theory of Change te onderzoeken, bijvoorbeeld het nut van nieuwe tools voor boeren. Dit onderzoek vergt meer capaciteit van het team, zowel in tijd als in vaardigheden.

Tip: Datatriangulatie is het verzamelen van dezelfde indicator bij verschillende onderzoeksgroepen en verschillende methoden. Probeer dit zoveel mogelijk toe te passen binnen de beschikbare middelen. In ons werkvoorbeeld noemden we eerder het combineren van een tevredenheidsonderzoek onder boeren met een kennistest die een score geeft. Dit is een voorbeeld van datatriangulatie - beide testen de leervraag - leren de boeren van de training?

Stap 5: Tools, installatieroutines en gegevensbeheerstructuren ontwikkelen

De laatste stap is het ontwikkelen van de apps en tools die daarvoor nodig zijn:

• Gegevensverzameling: de enquêtes, interviewformats enz.
• Datawarehousing: apps en tools die worden gebruikt voor het verzamelen en opslaan van gegevens, zoals Survey Monkey, Google Forms, enz.
• Analyse: apps en tools zoals apps voor statistische analyse, zoals STATA of SPSS, en apps voor visualisatie, zoals Excel of PowerBI).

Zorg er bij je gegevensanalyse voor dat je alle wijzigingen die je aanbrengt in de gegevens logt, zodat de analyse herhaald kan worden.

Tip: Gegevensbeheer: uw onderzoeksengel.

Als het goed ontworpen is, bespaart een goed gegevensbeheersysteem veel tijd en frustratie en is het een investering vooraf waard. Veel onderzoeksfouten komen voort uit gegevens die niet goed zijn opgeslagen en geanalyseerd - en het kost veel geld om ze te corrigeren. Wees je ervan bewust dat persoonlijke informatie zoals namen en contactgegevens onder de privacywetgeving vallen. Ze moeten veilig worden opgeslagen en na een bepaalde tijd worden verwijderd. Een manier om dit te omzeilen is om gegevens zoveel mogelijk te anonimiseren.

Routines ontwikkelen voor het verzamelen, analyseren en interpreteren van impactgegevens

Naast het ontwikkelen van alle apps en tools, moet je ook interne routines creëren voor het verzamelen, analyseren en interpreteren van de gegevens en ervoor zorgen dat teamleden goed geïnstrueerd zijn. Een deel hiervan is al bepaald in stap 4, toen je de frequentie van het meten van de indicatoren hebt ontworpen. Hoe vaak gegevens worden verzameld en geanalyseerd, vertaalt zich echter niet automatisch in hoe en hoe vaak de bevindingen worden besproken, gebruikt en op gereflecteerd. Wij adviseren u om duidelijke routines te hanteren, zodat iedereen in het partnerschap weet wanneer welke gegevens moeten worden aangeleverd, wanneer deze worden geanalyseerd en besproken en wanneer hierover wordt gecommuniceerd, afhankelijk van de doelen waarvoor ze worden gebruikt. Veel organisaties hebben jaarlijkse cycli, die vaak uitmonden in het uitbrengen van het jaarverslag, of in strategische heroriëntaties.

• In het geval van Wij.land, procedures en routines hebben ze heel goed gewerkt. Een paar voorbeelden van de tools die Wij.land heeft ontwikkeld, zijn:
• Een stroomschema dat weergeeft wanneer en hoe iedereen in het team gegevens moet verzamelen en op welke manier ze dit in hun datamanagementsysteem moeten zetten. Het team bespreekt en actualiseert dit stroomschema regelmatig, zodat iedereen het op de meest effectieve manier gebruikt.
• Een handleiding voor de teamleden waarin wordt uitgelegd waarom impactmeting belangrijk is en wat er van iedereen wordt verwacht.
• Het gegevensbeheersysteem is zo eenvoudig mogelijk gemaakt en heeft een toegankelijke interface, zodat iedereen het op zijn eigen manier kan gebruiken.
• Elk jaar werkt het team de kennis- en leeragenda bij, waarbij de belangrijkste leervragen worden geprioriteerd en wordt bepaald hoe deze moeten worden beantwoord.

Wat zijn de belangrijkste praktijken en systemen van jouw organisatie voor het meten van de impact? Heb je nieuwe inzichten opgedaan uit dit hoofdstuk? Laat het ons weten in de reacties!

En voor uw volgende stap om monitoring in de praktijk te brengen, leest u het hoofdstuk van de 4 Returns handleiding De 4 Returns bewakendie de 4 Menu met indicator Returns.