Evaluatiemethoden en technieken

Evaluatieontwerp

Het evaluatieontwerp bevat de overkoepelende opzet of logica van de uitvoering van het onderzoek; de zogenaamde onderzoeksstrategie. Met daarin:

1. Hoe wordt het onderzoek uitgevoerd? Welke methoden en technieken worden ingezet voor de dataverzameling en hoe worden de data geanalyseerd?
2. Wie of wat worden er onderzocht?
3. Wanneer vindt het onderzoek plaats? Op één tijdstip of op meerdere momenten en in welke periode?

Dit is afhankelijk van de evaluatievragen, de gewenste bewijskracht van de resultaten en de data die beschikbaar zijn.

Methoden & Technieken

Voor het verzamelen en analyseren van de benodigde informatie (data) kunnen meerdere methoden worden gekozen. Interviews, enquêtes en observaties zijn voorbeelden van methoden. Technieken zijn specifieke varianten van een methode. Een interview kan bijvoorbeeld open, semi-gestructureerd of gestructureerd afgenomen worden. In het algemeen geldt dat de waarde van de verzamelde gegevens toeneemt naarmate meer verschillende methoden van dataverzameling zijn ingezet. Klik hier voor een overzicht van de meest gebruikte onderzoeksmethoden- en technieken bij evaluaties.

Kwantitatief en kwalitatief onderzoek

Kwantitatief onderzoek betekent dat methoden worden ingezet waarmee numerieke gegevens (gegevens uitgedrukt in getallen) worden verzameld. Er wordt gebruik gemaakt van gestructureerde methoden, zoals een enquête. Binnen kwalitatief onderzoek worden niet-numerieke data verzameld, bijvoorbeeld uitspraken van personen, teksten en beelden. Flexibele methoden, zoals interviews en focusgroepen zijn hierbij veelgebruikte methoden.
Het onderscheid tussen kwantitatief en kwalitatief onderzoek is vooral belangrijk voor de analyse van data. Bij kwantitatieve data gaat het vaak om numerieke scores die zijn gekoppeld aan een bepaalde antwoordcategorie (bijvoorbeeld 1 = zeer mee oneens en 5 = zeer mee eens). Deze scores worden geanalyseerd aan de hand van statistische technieken. Bij kwalitatieve data brengt de onderzoeker zelf structuur aan in de data. Hij/zij interpreteert de data en geeft daarbij veelal de data een code (een label), zodat een indeling ontstaat en data met elkaar kunnen worden vergeleken. Dit proces heet coderen. Klik hier voor tips over de analyse van kwantitatieve en kwalitatieve data.

Selectie van respondenten en representativiteit

Vaak moet een selectie worden gemaakt van personen en andere bronnen (onderzoekseenheden). Dit noemen we een steekproef. De selectie van de onderzoekseenheden is belangrijk voor de representativiteit van het onderzoek: kunnen op basis van deze selectie uitspraken worden gedaan over de gehele interventie? De selectie kan op twee manieren plaatsvinden: select en aselect. Een selecte steekproef houdt in dat personen en andere bronnen op basis van een aantal selectiecriteria (geslacht, leeftijd, culturele achtergrond etc.) worden gekozen. Bij een aselecte steekproef worden onderzoekseenheden op basis van toeval gekozen. In het algemeen geldt: hoe meer onderzoekseenheden, hoe beter. Een vuistregel bij kwantitatief onderzoek is dat een steekproef moet bestaan uit minimaal 20% van de groep die wordt onderzocht (bijv. van de deelnemers aan een interventie). Bij kwalitatief onderzoek streeft men naar ‘dataverzadiging’. Dit treedt op wanneer nieuwe onderzoekseenheden geen nieuwe informatie of inzichten meer opleveren.

Bewijskracht evaluaties

Met bewijskracht wordt bedoeld: hoe overtuigend zijn de resultaten van de evaluatie? Over het algemeen geldt dat de bewijskracht sterker is als:

• Verschillende methoden zijn ingezet, bij voorkeur zowel kwantitatieve als kwalitatieve methoden;  
• Verschillende bronnen zijn geraadpleegd, zoals betrokken personen, literatuur, documenten;
• Voldoende bronnen zijn geraadpleegd (representativiteit);
• De evaluatie betrouwbaar en valide is uitgevoerd.     

Bewijskracht effectevaluaties

Het vaststellen van de bewijskracht voor effectevaluaties is anders dan voor procesevaluaties. Bij effectevaluaties gaat het immers om het vaststellen van een daadwerkelijke verandering (effect). De bewijskracht van effectevaluaties is sterker als naast de eerder genoemde punten:

• Een voor- en nameting heeft plaatsgevonden (meer bewijs of de interventie/het programma (mede) heeft bijgedragen aan de veranderingen bij de doelgroep).
• Er gebruik is gemaakt van een controlegroep. De bewijskracht is groter als er een evaluatie heeft plaatsgevonden bij twee groepen. Een groep die gebruik heeft gemaakt van de interventie/deel heeft uitgemaakt van het programma verstus een groep die dat niet heeft. De vergelijking tussen deze twee groepen levert sterker bewijs op.
• De evaluatie is uitgevoerd onder verschillende omstandigheden. Wanneer een gelijksoortige interventie/ programma ook is geëvalueerd onder andere omstandigheden (bijvoorbeeld andere geografische context, andere tijdsperiode, andere uitvoerende organisatie) en deze evaluatie gelijksoortige uitkomsten heeft opgeleverd, vergroot dit het bewijs voor bepaalde werkzame elementen in een interventie.

Onderstaand figuur geeft het verschil in lichte en zwaardere bewijskracht voor effectevaluaties weer.

Betrouwbaarheid & validiteit  

Betrouwbaarheid heeft betrekking op de reproduceerbaarheid van evaluatieonderzoek: kan iemand anders deze evaluatie op dezelfde manier nog een keer uitvoeren en komt er dan nagenoeg hetzelfde uit?  Daarvoor is het nodig dat dataverzameling en -analyse nauwkeurig en consistent gebeuren. Zo wordt voorkomen dat de resultaten op toevalligheden berusten. Het is belangrijk vast te leggen hoe het onderzoek is uitgevoerd, zodat het onderzoek op dezelfde wijze kan worden herhaald.
Validiteit heeft betrekking op de geldigheid van (de uitkomsten van) het evaluatieonderzoek: zijn de indicatoren zo opgesteld dat ze daadwerkelijk iets zeggen over het resultaat van een interventie? Meetinstrumenten (bv. vragenlijsten) dienen zo nauwkeurig mogelijk te worden opgesteld, zodat ze daadwerkelijk meten wat men beoogt.

Klik hier om terug te gaan naar de matrix op de homepage waar je per interventie en per type evalatuaite de bijpassende informatie en tools vindt.