Wie voert de evaluatie uit?

Er zijn drie mogelijke uitvoerders van de evaluatie:

1. De gemeente
2. Een (maatschappelijke) organisatie die interventies aanbiedt/uitvoert
3. Externe onderzoekers, van bijvoorbeeld een advies- of onderzoeksbureau of van een Hogeschool of Universiteit.  

Een samenwerking tussen deze partijen is ook mogelijk.

Hieronder wordt elke mogelijkheid kort toegelicht.

1. De gemeente
In feite heeft de gemeente – in de persoon van bijvoorbeeld de beleidsadviseur, projectleider of programmamanager met preventie van radicalisering in de portefeuille – áltijd een rol bij het evalueren van preventieve interventies. Die rol kan echter verschillen. Zo kan de gemeente opdrachtgever zijn, maar ook uitvoerder van de evaluatie. In dit onderdeel behandelen we de rol als uitvoerder.

Bij welk type evaluaties? Plan- en procesevaluaties. Voor effectevaluaties is het inhuren van een externe partij wenselijk, onder andere omdat dit specifieke kennis en kunde vereist en om te voorkomen dat ‘de slager zijn eigen vlees keurt’.

Wie? Binnen een gemeente zijn er verschillende mogelijkheden voor het uitvoeren van een evaluatieonderzoek. Over het algemeen is het wenselijk de vraag bij één van de volgende partijen uit te zetten:

• De afdeling onderzoek & statistiek.  Deze afdeling kan het gehele onderzoek uitvoeren, van opzet tot en met resultaten. Mocht hier geen capaciteit voor zijn, dan kunnen zij adviseren of een deel van het onderzoek uitvoeren, zoals het maken van de opzet en/of het analyseren van de resultaten.
• Projectleider. Een interne projectleider (van bijvoorbeeld een afdeling projecten) kan de uitvoerder van de evaluatie zijn.
• Beleidsadviseur of coördinator aanpak radicalisering. Deze betrokken ambtenaar kan zelf de uitvoerder van de evaluatie zijn. Het is daarbij wel wenselijk om anderen te betrekken, bijvoorbeeld een beleidscollega van een ander thema. Zo krijg je ook inzichten van iemand die meer op afstand staat en mogelijk een meer objectieve blik heeft.
• Rekenkamer. De evaluatie kan ook bij de Rekenkamer belegd worden. Neem daarbij het onderzoeksprotocol van de Rekenkamer goed in acht en houd er rekening mee dat dit een grote betrokkenheid van de gemeenteraad vergt. Veelal huurt de Rekenkamer zelf een partij in om het evaluatieonderzoek uit te voeren.

Voor- en nadelen:

• + Laagdrempelig, minder kosten
• + Informatie opgedaan in het proces van evalueren blijft zoveel mogelijk in de eigen organisatie. Dit geldt zowel voor opgedane kennis over de desbetreffende interventie, als voor kennis en kunde die wordt opgedaan met betrekking tot het uitvoeren van evaluaties.
• - Evalueren vereist specifieke kennis en kunde die niet altijd aanwezig zijn in de eigen organisatie.
• - Het inhuren van een externe partij versterkt de onafhankelijkheid van de evaluatie en kan er een bepaalde mate van ‘autoriteit’ aan geven.

Tip: Wanneer in de eigen gemeente onvoldoende capaciteit beschikbaar is voor het uitvoeren van een evaluatie, kan samenwerking met andere (grotere) gemeenten worden gezocht. Het is goed mogelijk dat andere gemeenten vergelijkbare interventies inzetten, die gezamenlijk geëvalueerd kunnen worden. Een bijkomend voordeel daarvan is dat de grotere hoeveelheid data kan zorgen voor een grotere bewijskracht van de resultaten. Anderzijds kan de evaluatie moeilijker uitvoerbaar zijn omdat er meer mensen en belangen bij betrokken zijn.

NB: Ook wanneer de gemeente wel de capaciteit heeft voor het uitvoeren van een evaluatie, is het aan te bevelen om contact te zoeken bij andere gemeenten of (regionale) samenwerkingsverbanden. Door ervaringen met het uitvoeren van evaluaties uit te wisselen, kom je tot betere eigen evaluatie.

2. Organisatie die interventie aanbiedt/uitvoert

Wanneer de uitvoering van de te evalueren interventie bij een externe partij is belegd, kan deze partij ook de (contractuele) verantwoordelijkheid hebben voor het uitvoeren van een evaluatie. De gemeente is in dat geval opdrachtgever daarmee ook degene aan wie verantwoording afgelegd moet worden wat betreft de evaluatie.

Bij welk type evaluaties? Plan- en procesevaluaties kan de organisatie (eventueel) zelf doen. Voor effectevaluaties is het inhuren van een externe partij altijd wenselijk, omdat dit specifieke kennis en kunde vereist en om te voorkomen dat ‘de slager zijn eigen vlees keurt’.

Wie? De evaluatie kan door de organisatie zelf worden uitgevoerd of worden uitbesteed aan een door hen ingehuurde externe partij. De organisatie kan de tools in deze toolkit gebruiken om de evaluatie op te zetten en uit te voeren. De opdrachtgever kan dezelfde tools gebruiken om te checken of de evaluatie aan de eisen voldoet.

Voor- en nadelen:

• + Voor de gemeente is dit een laagdrempelige manier van evalueren; er wordt capaciteit van een andere partij gevraagd
• + De organisatie voert ook de interventie uit en krijgt met de evaluatie ‘uit eerste hand’ waardevolle inzichten voor de doorontwikkeling van hun organisatie en/of interventie. Op die manier is er ook meer draagvlak bij de organisatie voor het oppakken van eventuele acties die eruit voortvloeien.
• + De organisatie heeft (waarschijnlijk) laagdrempelige toegang tot het benodigde netwerk.
• - Als gemeente is het lastiger om controle te houden over de kwaliteit van de evaluatie.
• - De organisatie staat niet belangeloos in een evaluatie van hun eigen (door de gemeente ingekochte) product. Dit kan invloed hebben op de manier waarop resultaten worden verzameld, geïnterpreteerd en gerapporteerd.

3. Externe onderzoekers

Bij welk type evaluaties? In ieder geval bij effectevaluaties. Voor plan- en procesevaluaties kan ook een externe partij worden ingehuurd, maar deze kunnen ook goed door de gemeente of door de aanbieder/uitvoerder van de interventie worden gedaan.

Wie? Het uitvoeren van een evaluatie kan ook extern worden belegd, bij onderzoekers van een advies- of onderzoeksbureau, Hogeschool of Universiteit, die expertise hebben op het gebied van evalueren. Dit heeft als voordeel dat de benodigde kennis en kunde in huis wordt gehaald en dat de onderzoekers onafhankelijk zijn. Zeker bij effectevaluaties en procesevaluaties is dit noodzakelijk. Tools om een uitvraag op te stellen en offertes te beoordelen voor procesevaluaties en effectevaluaties vind je hier.

Voor- en nadelen:

• + Door het maken van een gedegen selectie wordt de benodigde kennis en kunde van evalueren in huis gehaald
• + Een externe partij wordt eerder als autoriteit op het gebied van evalueren beschouwd en als objectief gezien. Dit kan bijdragen aan het draagvlak voor deelname aan de evaluatie en voor de resultaten die eruit voortvloeien
• - Inhuren van een externe partij brengt extra kosten met zich mee
• - De externe partij heeft waarschijnlijk geen toegang tot het benodigde lokale netwerk. Dit kan het verzamelen van data bemoeilijken en vraagt een aanvullende investering van een lokaal contactpersoon.

Klik hier om terug te gaan naar de matrix op de homepage waar je per interventie en per type evalatie de bijpassende informatie en tools vindt.