Randvoorwaarden & Stappenplan Effectevaluatie Sleutelfiguren

Waarom?

Het geeft inzicht in:

• Wat de interventie heeft opgeleverd;
• De mate waarin de opbrengst van de interventie overeenkomt met de te behalen doelstellingen op interventieniveau;
• De mate waarin de opbrengst bijdraagt aan het behalen van doelstellingen op een maatschappelijk niveau;
• Welke punten er zijn ter verbetering van de interventie.

Wanneer?

De effectevaluatie heeft de grootste meerwaarde wanneer al vroegtijdig ( vóór het implementeren van de interventie) een evaluatieontwerp wordt gemaakt waarin wordt bepaald wat en wanneer er gemeten  wordt. Zie hiervoor ook de Evaluatie tijdlijn en Methoden en Technieken.

Wie doet een effectevaluatie?

Evalueren of een interventie echt werkt, kan een gevoelige en complexe activiteit zijn. Er kan uitkomen dat de interventie niet effectief is of dit (nog) niet valt te bewijzen. Om objectiviteit en kwaliteit te borgen, is het aan te raden om voor een effectevaluatie een externe partij te betrekken. Deze partij dient kennis van en expertise met het uitvoeren van evaluaties te hebben. Bij voorkeur ook kennis over de preventie van radicalisering. Zie ook Wie voert de evaluatie uit?

Voor het uitvoeren van een effectevaluatie, zijn de volgende randvoorwaarden van belang:

1. Plan van aanpak. Een uitgewerkt plan van aanpak waarin minimaal de probleemstelling, doel, activiteiten, werkwijze, verwachte opbrengsten en resultaten zijn beschreven.

2. Evaluatie als startpunt, niet als eindpunt. Idealiter wordt de sleutelfigurenaanpak al tijdens het ontwerpen, werven en uitvoeren van de interventie gemonitord. Denk voor de start van een evaluatie al na over welke data beschikbaar zouden moeten zijn om als bewijs te dienen dat de interventie effectief is.
3. Benodigde data is beschikbaar. Er moet in ieder geval een basis hoeveelheid aan data beschikbaar zijn van de situatie voorafgaand aan de implementatie van de sleutelfigurenaanpak en het verloop daarvan. Deze data is belangrijk om een succesvolle effectevaluatie uit te voeren met bruikbare resultaten.
4. Draagvlak voor evaluatie bij alle stakeholders. Denk aan bestuurlijk draagvlak om de resultaten van de evaluatie daadwerkelijk te borgen. En aan draagvlak onder de uitvoerders van de sleutelfigurenaanpak. Hun volledige medewerking is nodig voor een succesvolle uitvoering van de evaluatie.  
5. Voldoende tijd en middelen. Maak vroegtijdig inzichtelijk welke inspanningen van wie worden gevraagd en maak daar heldere afspraken over. De benodigde tijd en middelen verschillenper evaluatie. Een algemene richtlijn is dat evaluatie 10% uitmaakt van het totale budget voor een interventie.
6. Kwaliteit en objectiviteit. Vraag een externe onderzoeker of onderzoeksbureau om de effectevaluatie uit te voeren.

Stappenplan externe uitvraag

Voor het uitvoeren van een effectevaluatie van de interventie sleutelfiguren dienen negen stappen doorlopen te worden. Dit stappenplan is specifiek gericht op het inhuren van een externe partij om de effectevaluatie uit te voeren.

Stap 1
Breng de belangrijkste stakeholders (bijvoorbeeld de sleutelfiguren en de professionals die veel samen werken) op de hoogte van de effectevaluatie, vraag in welke informatie zij geïnteresseerd zijn en om hun medewerking.

Stap 2
Bepaal het doel van je effectevaluatie. Ben je geïnteresseerd in alle mogelijke resultaten van de interventie of wil je weten of een specifieke doelstelling wordt behaald? Wil je alleen het resultaat weten of wil je ook onderzoeken welke elementen binnen de interventie dat resultaat beïnvloeden (de werkzame elementen)? Wees in het bepalen van je doel ook realistisch. Neem in de overweging mee of je in de beginfase van de interventie bent (en dus nog de verzameling van data kunt sturen) of dat een groot deel van de interventie al is uitgevoerd en er maar beperkt data beschikbaar is.

Stap 3
Stel een uitvraag op voor de effectevaluatie. Bepaal de gewenste bewijskracht van de effectevaluatie. Zie voor meer informatie  Methoden en Technieken.

Stap 4
Bepaal aan welke kwalificaties de externe partij moet voldoen en op welke manier de uitvraag kan wordt uitgezet (enkelvoudige onderhandse aanbesteding, meervoudige onderhandse aanbesteding, open aanbesteding, via een fonds etc.)

Stap 5
Zodra voorstellen van externe partij(en) binnen zijn, dienen ze beoordeeld te worden. Gebruik het format voor de uitvraag hierbij als checklist. Geven de partijen naar behoren op alle vragen antwoord? Wat is de kwaliteit die ze laten zien op de verschillende onderdelen?  

Stap 6
Organiseer een gezamenlijke kick-off zodra de keuze voor een externe partij is gemaakt. Hierin kunnen onder andere afspraken over de samenwerking worden gemaakt. Spreek af op welke manier je als opdrachtgever de voortgang wilt monitoren, wie het vaste aanspreekpunt is, op welke momenten er weer samen om tafel wordt gezeten, etc.

Stap 7
Plan een tussentijdse bespreking van de ruwe uitkomsten van de metingen. Dit geeft alvast eerste beelden en creëert de gelegenheid om eventueel ontbrekende data of informatie alsnog beschikbaar te stellen of het verkrijgen daarvan te plannen.

Stap 8
Presenteer de resultaten van de evaluatie aan de relevante stakeholders. Bepaal gezamenlijk de benodigde vervolgstappen en communiceer deze wederom naar de benodigde partijen. Maak SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdsgebonden) afspraken over wanneer welke vervolgstappen worden gezet en wie verantwoordelijk is voor welke actie.

Stap 9
Deel de geleerde lessen. Leg de resultaten van je effectevaluatie naast eerdere onderzoeken op hetzelfde terrein: komen de resultaten overeen of wijken ze (sterk) af? Deel je resultaten en lessen met andere relevante partijen, zoals collega’s van andere (gemeentelijke) organisaties.