Mijn situatie is anders, wat nu? – En veel gestelde vragen
Evaluatie starten
- Mijn interventie loopt al een tijd en ik wil graag evalueren, wat moet ik doen?
De eerste stap is om te bepalen waarom je een evaluatie wilt doen en in welke informatie je bent geïnteresseerd. Maak hiervoor gebruik van de uitleg over planevaluatie, procesvaluatie en effectevaluatie. Wanneer duidelijk is welk type evaluatie je wilt doen, bepaal je in hoeverre je aan de randvoorwaarden van die evaluatie kunt voldoen. Als je niet aan alle randvoorwaarden kunt voldoen, bedenk dan een alternatieve oplossing voor de betreffende randvoorwaarde. Zo kan een ontbrekend plan van aanpak alsnog worden opgesteld (zie vraag 3), of kan, wanneer er onvoldoende data zijn, alsnog worden gestart met dataverzameling (kijk hiervoor bij de vragen onder het kopje ‘Dataverzameling’). Voor elk type evaluatie bevat deze toolkit een stappenplan dat je vervolgens kunt volgen.
- We hebben geen duidelijk doel geformuleerd van onze interventie, kunnen we dan nog evalueren?
Ja dat kan. Zolang dan wel een duidelijke doelstelling wordt geformuleerd voor de evaluatie. Op welk deel van de interventie is de evaluatie gericht en wat wil je weten?
- We hebben geen plan van aanpak opgesteld, kunnen we dan nog evalueren?
Ja dat kan. Ga naar het format van het plan aanpak van de desbetreffende interventie of het algemene format (+ voorbeeld). Vul dit alsnog in. Maak daarbij gebruik van oude projectvoorstellen, mails over de opzet en/of beleidsdocumenten als die er zijn.
- Ik heb geen plan- of procesevaluatie gedaan, kan ik nog wel een effectevaluatie doen?
Ja dat kan. De plan- en procesevaluatie zijn op andere informatie gericht dan een effectevaluatie. Planevaluatie is gericht op het nagaan of je een solide plan van aanpak hebt. De procesevaluatie gaat over de uitvoering van de interventie. De effectevaluatie is gericht op het resultaat van de interventie en daar kan het proces van uitvoering in worden meegenomen maar dit hoeft niet per se. In deze toolkit staan tools om je te begeleiden in het doen of uitvragen van een effectevaluatie en ook hoe ‘zwaar’ deze kan zijn afhankelijk van de beschikbare data en informatie.
- Bevat de Toolkit informatie over wie goede externe partijen zijn om een evaluatie bij uit te besteden?
Nee. De Toolkit bevat geen lijst van externe partijen die direct kunnen worden gecontacteerd. Op de pagina 'Wie voert de evaluatie uit?' kunt u wel informatie vinden over wat voor soort interne of externe partijen een evaluatie kunnen uitvoeren.
- Hoe weet ik of de juiste expertise in huis heb om een evalautie uit te voeren?
Op de pagina 'Wie voert de evaluatie uit?' staat omschreven welke personen en partijen een evaluatie kunnen uitvoeren. Enige kennis van en ervaring met onderzoek is van belang. Ook ervraing met het dossier preventie van radicalisering is een pré. Pas er echter voor op dat degene die zelf het beleid heeft gemaakt en/of uitvoert niet ook (als enige) de evaluaties uitvoert. Dit om onafhankelijkheid te waarborgen.
- Hoe kan ik evalueren als ik maar beperkte middelen heb?
Wanneer de middelen voor een evaluatie beperkt zijn, is het des te belangrijker om een goed evaluatie ontwerp te maken. Dit ontwerp helpt om het doel van de evaluaties en type evaluatie scherp te krijgen en te bepalen wat de belangrijkste elementen zijn om op te focussen. Dit verkleint het risico dat de evaluatie te groot (en kostbaar) wordt ingericht. Een effectevaluatie is bijvoorbeeld vaak uitgebreider en complexer dan een procesevaluatie. Indien de middelen beperkt zijn, kan de keuze voor een procesevaluatie helpen om waardevolle informatie op te halen en verwachtingen te managen. De evaluatie laten uitvoeren door iemand binnen de gemeente kan ook kosten besparen ten opzichte van een externe partij. Deze aanpak past beter bij een procesevaluatie met als doel de uitvoering van de interventie te verbeteren. Bij een effectevalutie is het van belang dat expertise en onafhankelijkheid gewaarborgd zijn, om een zo objectief mogelijk beeld te geven van de opbrengt en impact van de evaluatie.
- Hoeveel kost een evaluatie?
Er is geen standaard kostenplaatje voor een evaluatie. Dit hangt af van de grootte en complexiteit van de interventie / het programma, het type evaluatie en of er gebruik wordt gemaatk van een externe partij. Als vuistregel in deze Toolkit wordt voor het budget van een evaluatie 10% van de totaalkosten va nde interventie gehanteerd.
- Hoeveel tijd kost een evaluatie?
Er is geen standaard indicatie hoeveel tijd het kost om een evaluatie te doen. Idealiter begint de evaluatie al voordat met de interventie begonnen wordt. Zie hiervoor ook de ideale tijdlijn van evaluaties. door een goed evaluatie ontwerp, waarin duidelijk de benodigde data worden gespecificeerd, kan de dataverzameling al in de uitvoering (of daaraan voorafgaand) van de interventie worden meegenomen zonder dat dit veel extra tijd of moeite kost. Al tijdens de meetmomenten kan de verzamelde data geanalyseerd worden. Door in het evaluatie ontwerp helder het doel van de evaluatie te benoemen, zal het minder tijd kosten om uit de analyse van de data de benodigde conclusies te trekken.
Data verzameling
- Er is geen 0-meting gedaan, kan ik nog wel een effectevaluatie doen?
Ja dat kan. Het feit dat er geen 0-meting is gedaan betekent niet dat effectevaluatie onmogelijk is. Het beïnvloedt wel de bewijskracht van de evaluatie omdat het zonder 0-meting moeilijk is om aan te tonen dat de interventie het geëvalueerde resultaat heeft veroorzaakt (causaliteit). Een tussenweg is om de ‘ervaren effectiviteit’ te meten. Hierbij wordt expliciet aan de doelgroep die deelneemt in de evaluatie gevraagd of zij zelf een verandering in kennis/houding/gedrag merken en dit toeschrijven aan de interventie.
- Er zijn geen data verzameld op een structurele manier, kan ik nog evalueren?
Ja dat kan. Er kunnen ook in een later stadium alsnog data worden verzameld. Er moet in het evaluatie-ontwerp worden omschreven welke data nodig zijn, welke beschikbaar zijn en welke dan nog verzameld moeten worden. Hierbij moet worden aangegeven wanneer bepaalde data wel wenselijk zijn maar niet meer teruggehaald kunnen worden. Als het bijvoorbeeld belangrijk is hoeveel mensen een bepaalde bijeenkomst hebben bijgewoond en dit niet is bijgehouden, wordt het lastig om deze data alsnog te verzamelen. Dan moet een afweging worden gemaakt of deze informatie op een andere manier kan worden verkregen of dat er andere bronnen van data moeten worden gebruikt om een resultaat inzichtelijk te maken (in dit geval bijvoorbeeld een enquête in de wijk over wie weleens zo’n bijeenkomst heeft meegemaakt of zou willen meemaken).
Lokale preventieve aanpak
- Mijn interventie is nieuw. Kan ik dan ook gebruikmaken van de Toolkit?
Ja. Nieuwe en/of experimentele interventies kunnen ook worden vormgegeven en worden geëvalueerd met behulp van de informatie in de Toolkit. Gebruik hiervoor de informatie en documentatie gerelateerd aan 'Andere interventies' uit de matrix op de startpagina.
- Waar kan ik terecht met vragen over het vormgeven van een lokale preventieve aanpak?
Deze Toolkit vormt zelf een eerste bron van informatie over de preventie van radicalisering, mede door de doorlinks naar andere informatiebronnen. Zie hiervoor ook de website van de NCTV.
- Hoe start ik met het maken van een plan van aanpak voor mijn interventie?
Een plan van aanpak begint allereerst met een onderbouwde probleemanalyse: Wat is het probleem dat je aan wilt pakken? Vervolgens ga je in op de aanpak van dit probleem door een doelstelling te bepalen, een onderbouwde keuze voor een interventie te maken en verder in te gaan op onder andere uitvoering, opbrengst en planning. In deze Toolkit zijn van elke (uitgewerkte) interventie lege voorbeeld formats voor een plan van aanpak te vinden.
De Toolkit
- Bevat de Toolkit informatie over hoe ik kan communiceren over mijn evaluatie?
De Toolkit geeft in de te downloaden formats een voorzet voor afspraken die omtrent communicatie moeten worden gemaakt, bijvoorbeeld met betrokken stakeholders of bij het inzetten van een externe partij. De Toolkit bevat (nog) geen uitgebreide informatie over een communicatieplan.
- Hoe kan ik de Toolkit gebruiken om anderen te overtuigen va het belang van evidence-based werken?
Met de Toolkit wordt beoogd de preventie van radicalisering (nog) effectiever en professioneler aan te pakken, door gebruikers te faciliteren om interventies te evalueren, door te ontwikkelen en te leren van elkaar ervaringen en inzichten. Om anderen te kunnen overtuigen van het gebruik ervan is het belangrijk eerst te vragen wat iemand tegenhoudt: een gebrek aan geld, tijd, kennis of expertise, het idee dat de preventieve aanpak 'al goed genoeg is', of nog iets anders? Wanneer je weet waar iemands 'pijnpunt' zit kan gericht naar bepaalde onderdelen van de Toolkit worden verwezen. Ook de video over de Toolkit kan helpen. Daarnaast is een goede manier om iemand te overtuigen laten zien wat evalueren kan opleveren, verwijs naar eerder evaluaties (ook bij andere gemeenten) en wat deze hebben opgeleverd. Vind je het lastig om dit te doen? Vraag informatie bij een gemeente die ervaring heeft met het doen van evaluaties of neem contact op menet de lokale adviseurs van de NCTV en ESS.
Klik hier om terug te gaan naar de matrix op de homepage waar je per interventie en per type evalatie de bijpassende informatie en tools vindt.