Randvoorwaarden & Stappenplan Effectevaluatie Weerbaar Opvoeden

Waarom?

Inzicht in:
-    Wat de interventie heeft opgeleverd;
-    De mate waarin de opbrengst van de interventie overeenkomt met de te behalen doelstellingen op interventieniveau;
-    Hoe draagt de opbrengst bij aan het behalen van doelstellingen op een maatschappelijk niveau;
-    Welke punten er zijn ter verbetering van de interventie.

Wanneer?

De effectevaluatie heeft de grootste meerwaarde wanneer al vroegtijdig (vóór het implementeren van de interventie) een evaluatieontwerp wordt gemaakt waarin wordt bepaald wat en wanneer er gemeten gaat worden. Zie hiervoor ook de Evaluatie Tijdlijn en Methoden en Technieken.

Wie doet een effectevaluatie?

Evalueren of een interventie echt werkt, kan een gevoelige en complexe activiteit zijn. Een conclusie kan zijn dat de interventie niet effectief is of dat het effect (nog) niet valt te bewijzen. Om objectiviteit en kwaliteit te borgen, is het aan te raden om voor een effectevaluatie een externe partij te betrekken. Deze partij dient kennis van en expertise met het uitvoeren van evaluaties te hebben. Bij voorkeur ook kennis over de preventie van radicalisering.  

Bij een effectevaluatie van Weerbaar Opvoeden moet nadrukkelijk rekening worden gehouden met culturele sensitiviteit van de onderzoekers. Het bevragen van de ouders over de resultaten van de training vraagt specifieke expertise (cultuur-sensitief) vanwege de vaak niet-westerse achtergrond/religieus/culturele karakteristieken van de ouders. Maar (soms) ook omdat deelnemende ouders niet altijd de Nederlandse taal machtig zijn. Afhankelijk van deze karakteristieken kan worden besloten om de effectevaluatie uit te besteden aan een externe partij met bewezen ervaring op het gebied van dit type onderzoek. Zie ook Wie voert de evaluatie uit?

Voor het uitvoeren van een effectevaluatie, zijn de volgende randvoorwaarden van belang:

1. Plan van aanpak. Een uitgewerkt plan van aanpak waarin minimaal probleemstelling, doel, activiteiten, werkwijze, verwachte opbrengsten en resultaten zijn beschreven. 
2. Evaluatie als startpunt, niet als eindpunt. Idealiter wordt Weerbaar Opvoeden al tijdens het ontwerpen, werven en uitvoeren van de interventie gemonitord. Denk voor de start van een interventie al na over welke data beschikbaar zouden moeten zijn om als bewijs te kunnen dienen dat de interventie effectief is.
3. Benodigde data zijn beschikbaar. Er moet in ieder geval een basis hoeveelheid aan data beschikbaar zijn van de situatie voorafgaand aan de implementatie van Weerbaar Opvoeden en gedurende het verloop daarvan. Deze data zijn belangrijk om een succesvolle effectevaluatie uit te voeren met bruikbare resultaten.
4. Draagvlak voor evaluatie bij alle stakeholders. Denk aan bestuurlijk draagvlak om de resultaten van de evaluatie daadwerkelijk te kunnen borgen. En aan draagvlak onder de uitvoerders van Weerbaar Opvoeden en de samenwerkingspartners. Hun volledige medewerking is nodig voor een succesvolle uitvoering van de evaluatie.  
5. Voldoende tijd en middelen. Maak vroegtijdig inzichtelijk welke inspanningen van wie worden gevraagd en maak daar heldere afspraken over. De benodigde tijd en middelen verschillen per evaluatie. Een algemene richtlijn is dat evaluatie 10% uitmaakt van het totale budget voor een interventie.
6. Kwaliteit en objectiviteit. Vraag een externe onderzoeker of onderzoeksbureau om de effectevaluatie uit te voeren.

Stappenplan externe uitvraag

Voor het uitvoeren van een effectevaluatie van de interventie Weerbaar Opvoeden doorloop je negen stappen. Dit stappenplan is specifiek gericht op het inhuren van een externe partij om de effectevaluatie uit te voeren.

Stap 1: Breng de belangrijkste stakeholders op de hoogte van de effectevaluatie, vraag naar welke informatie zij interesse hebben en vraag om hun medewerking.

Stap 2: Bepaal het doel van je effectevaluatie. Ben je geïnteresseerd in alle mogelijke resultaten van de interventie of wil je weten of een specifieke doelstelling wordt behaald? Wil je alleen het resultaat weten of wil je ook onderzoeken welke elementen binnen de interventie dat resultaat beïnvloeden (de werkzame elementen)? Wees in het bepalen van je doel ook realistisch. Neem in de overweging mee of je in de beginfase van de interventie bent (en dus nog de verzameling van data kunt sturen) of dat een groot deel van de interventie al is uitgevoerd en er maar beperkte data beschikbaar zijn.

Stap 3: Stel een uitvraag op voor de effectevaluatie. Kijk voor inspiratie naar deze publicaties. Bepaal de gewenste bewijskracht van de effectevaluatie. Zie voor meer informatie  Methoden en Technieken.

Stap 4: Bepaal aan welke kwalificaties de externe partij moet voldoen (zoals ‘ervaring met cultuur-sensitief werken’) en op welke manier de uitvraag kan worden uitgezet (enkelvoudige onderhandse aanbesteding, meervoudige onderhandse aanbesteding, open aanbesteding, via een fonds etc.)

Stap 5: Zodra voorstellen van externe partij(en) binnen zijn, dienen ze beoordeeld te worden. Gebruik het format voor de uitvraag hierbij als checklist. Hebben de partijen naar behoren op alle vragen antwoord gegeven? Wat is de kwaliteit die ze laten zien op de verschillende onderdelen?  

Stap 6: Organiseer een gezamenlijke kick-off zodra de keuze voor een externe partij is gemaakt. Hierin kunnen onder andere afspraken over de samenwerking worden gemaakt. Spreek af op welke manier je als opdrachtgever de voortgang wilt monitoren, wie het vaste aanspreekpunt is, op welke momenten er weer samen om tafel wordt gezeten, etc.

Stap 7: Plan een tussentijdse bespreking van de ruwe uitkomsten van de metingen. Dit geeft alvast wat eerste beelden en creëert de gelegenheid om eventueel missende data of informatie alsnog beschikbaar te stellen of het verkrijgen daarvan te plannen.

Stap 8: Presenteer de resultaten van de evaluatie aan de relevante stakeholders. Bepaal samen de benodigde vervolgstappen en communiceer deze wederom naar de benodigde partijen. Maak SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdsgebonden) afspraken over wanneer welke vervolgstappen worden gezet en wie verantwoordelijk is voor welke actie.

Stap 9: Deel de geleerde lessen. Leg de resultaten van je effectevaluatie naast eerdere onderzoeken op hetzelfde terrein: komen de resultaten overeen of wijken ze (sterk) af? Deel je resultaten en lessen met andere relevante partijen, zoals collega’s van andere (gemeentelijke) organisaties.