Wat je kunt inkopen · 02 van 04

Onderzoek, MEL & Beslisinformatie

Monitoring, evaluatie en leren, achterwaarts ontworpen vanuit de beslissingen die het moet informeren — niet voorwaarts vanuit wat makkelijk te tellen is.

Doe de Readiness Scan → Praat met ons →

Wat het is

Onderzoek en MEL met één doel: een beslissing informeren, en daarom vanuit die beslissing terug ontworpen. Evaluaties, baselines, MEL-frameworks, indicatorsets, primair onderzoek en de analyse die dit alles omzet in iets waarop een bestuur kan handelen.

Het onderscheid dat ertoe doet: de meeste MEL wordt voorwaarts ontworpen vanuit wat meetbaar is, en hoopt daarna bruikbaar te zijn. Dit wordt achterwaarts ontworpen vanuit wat besloten moet worden, en laat alles weg wat daar niet aan bijdraagt.

Doorlooptijd
6–20 weken
Startpunt
Een beslissing die u moet nemen, en een datum
Voor wie
Programmafinanciers en uitvoerders die bewijs nodig hebben dat standhoudt bij een bestuur, een financier of een evaluator
Uitgevoerd door
Whitney van Schyndel, met veldonderzoekers en analisten passend bij de omvang van het onderzoek

Wanneer je dit nodig hebt

  • Je mist daadwerkelijk bewijs, en dat gat blokkeert een beslissing.
  • Een financier vereist een onafhankelijke evaluatie.
  • Je indicatorset is door de jaren heen steeds verder aangegroeid en niemand heeft nog gevraagd waar die eigenlijk voor dient.
  • Je verzamelt heel veel en gebruikt heel weinig.
  • Het bewijs komt pas nadat de beslissing die het moest informeren al is genomen.

Bij die laatste is het de moeite waard even stil te staan. Als je bewijs goed maar te laat is, zit het probleem in het ritme en niet in de methode — en dat is meestal goedkoper op te lossen.

Wat binnen scope valt

  • Evaluatie — formatief, summatief, ontwikkelingsgericht. Mixed methods waar de vraag daar om vraagt.
  • Ontwerp van MEL-frameworks — indicatorsets gekoppeld aan beslissingen, met een expliciete lijst van wat je kunt stoppen met verzamelen.
  • Baselines en endlines, inclusief steekproefontwerp en de instrumenten eronder.
  • Primair onderzoek — kwalitatief en kwantitatief, ook mét deelnemers in plaats van alleen óver hen.
  • Analyse en synthese, ook over programma's heen wanneer lessen niet tussen teams hebben gereisd.
  • Rapportage die gerealiseerde en gemodelleerde impact uit elkaar houdt en duidelijk zegt wat wat is.

Hoe het traject loopt

Zes tot twintig weken, afhankelijk van scope en primaire dataverzameling. Iedere opdracht begint met drie dingen: welke beslissing moet worden genomen, wie is de eigenaar en wanneer is het bewijs nodig? Als die drie niet te benoemen zijn, zeggen we dat. Vaak is die constatering waardevoller dan het onderzoek zelf.

Wat u ontvangt

  1. Het onderzoek zelf — evaluatie, nulmeting of primair onderzoek, zoals afgesproken
  2. Een MEL-kader waarin elke indicator is gekoppeld aan een benoemde beslissing
  3. Een expliciete stoplijst: wat u niet langer hoeft te verzamelen, en waarom
  4. Instrumenten, steekproefverantwoording en de analysecode of het werkbestand
  5. Een bevindingenrapport dat gerealiseerd en gemodelleerd apart labelt
  6. Een beslisnotitie van één pagina, geschreven voor het gremium dat ernaar handelt

Wat wij van u nodig hebben

  • De beslissing, de eigenaar en de datum. Kunnen die drie niet worden benoemd, dan zeggen wij dat voordat u iets uitgeeft.
  • Toegang tot bestaande data, hoe rommelig ook — wij werken liever met wat er is dan dat wij het dupliceren.
  • Introducties bij deelnemers of partners waar primair onderzoek in scope is, plus eventuele ethische toestemmingen.
  • Een interne counterpart die vragen binnen een dag kan beantwoorden, niet binnen twee weken.

Waar dit is gedaan

CFYE is de referentie: een levende, aan financiering gekoppelde uitvoeringsomgeving in 11 landen waar impactdata al in real time financieringsbeslissingen stuurt. Bekijk de casestudy's.

De eerlijke grens

Dit is de dienst die het vaakst wordt gekocht terwijl eigenlijk iets anders nodig was. Als je laatste drie evaluaties grofweg dezelfde conclusies trokken en er niets veranderde, gaat een vierde dat ook niet doen — dat is een operating-probleem en vraagt om operating design. We zeggen het als we denken dat dát er speelt, ook als het ons de opdracht kost.

Vragen die we vaak krijgen

Kunnen jullie werken met de data die we al hebben?

Meestal wel, en het is normaal gesproken het eerste waar we naar kijken. In een flink deel van de opdrachten blijkt de organisatie al genoeg bewijs te hebben om de vraag te beantwoorden, maar het nooit over programma's heen te hebben samengebracht. Dat is een goedkopere en snellere uitkomst dan een nieuw onderzoek, en die leveren we liever dan dat we iets nieuws verkopen.

Doen jullie onafhankelijke evaluaties voor financiers?

Ja. Waar onafhankelijkheid het punt is, leggen we dat expliciet vast: wie geeft opdracht, wie krijgt concepten te zien en wat gebeurt er als de bevindingen onwelkom zijn? Die afspraken maken we vóór het werk begint, niet pas wanneer de resultaten er liggen.

Hoe gaan jullie om met ongemakkelijke bevindingen?

We rapporteren ze, en zijn eerlijk over de mate van zekerheid. Onze vaste werkwijze is om gerealiseerde en gemodelleerde impact van elkaar te scheiden en ze nooit bij elkaar op te tellen. Een bandbreedte met zichtbare aannames overleeft de vragen van een financieel directeur; één zelfverzekerd getal niet.

Hoe u begint

  1. Stuur de vraagDe beslissing die u moet onderbouwen, en wanneer. Dat is genoeg om te beginnen.
  2. Een scopinggesprek van 45 minutenWij kijken of het bewijs al ergens in uw organisatie bestaat voordat wij voorstellen om meer te genereren.
  3. Een schriftelijke scope en tariefMethode, steekproef, tijdlijn, en wat de bevindingen wel en niet zullen kunnen onderbouwen.

De andere drie

Alle vier draaien op dezelfde onderliggende architectuur — het Integrated Impact Operating Model, dat we zelf hebben ontworpen en gepubliceerd.