Randvoorwaarden & Stappenplan Effectevaluatie Multidisciplinair casusoverleg

Waarom?

Inzicht in:
-    Wat de interventie heeft opgeleverd;
-    De mate waarin de opbrengst van de interventie overeenkomt met de te behalen doelstellingen;
-    Hoe draagt de opbrengst bij aan het behalen van doelstellingen op een maatschappelijk niveau;
-    Welke punten er zijn ter verbetering van de interventie.

Wanneer?

De effectevaluatie heeft de grootste meerwaarde wanneer je  vroegtijdig (vóór het implementeren van de interventie) een ontwerp maakt waarin je bepaalt wanneer je welk effect meet. Zie hiervoor ook de Evaluatie Tijdlijn en Methoden en Technieken.

Wie doet een effectevaluatie?

Wanneer evalueren of een interventie – in dit geval het multidisciplinaire casusoverleg – echt werkt, kan dat een gevoelige en complexe activiteit zijn. Er kan uitkomen dat de interventie niet effectief is of dat de uitkomst (nog) niet valt te bewijzen. Om objectiviteit en kwaliteit te borgen, is het aan te raden om voor een effectevaluatie een externe partij te betrekken. Deze partij moet kennis van en expertise hebben met het uitvoeren van evaluaties. Bij voorkeur ook kennis over de preventie van radicalisering. Zie ook Wie voert de evaluatie uit?

Voor het uitvoeren van een effectevaluatie, zijn de volgende randvoorwaarden van belang:

1. Plan van aanpak. Een uitgewerkt plan van aanpak waarin minimaal de probleemstelling, doel, activiteiten, werkwijze, verwachte opbrengsten en resultaten zijn beschreven.
2. Evaluatie als startpunt, niet als eindpunt. Idealiter wordt het doorvoeren van het multidisciplinair casusoverleg al tijdens het ontwerpen, werven en uitvoeren van de interventie gecontroleerd. Denk voor de start al na over welke data beschikbaar zouden moeten zijn om als bewijs te kunnen dienen dat de interventie effectief is.
3. Benodigde data zijn beschikbaar. Er moeten in ieder geval basisdata beschikbaar zijn van de situatie voorafgaand aan de implementatie van het multidisciplinair casusoverleg en gedurende het verloop daarvan. Deze data zijn belangrijk om een succesvolle effectevaluatie uit te voeren met bruikbare resultaten.
4. Draagvlak voor evaluatie bij alle stakeholders. Denk aan bestuurlijk draagvlak om de resultaten van de evaluatie daadwerkelijk te kunnen borgen. En aan draagvlak onder de partijen die deelnemen aan het multidisciplinair casusoverleg. Hun volledige medewerking is nodig voor een succesvolle uitvoering van de evaluatie.  
5. Voldoende tijd en middelen. Maak vroegtijdig inzichtelijk welke inspanningen van wie worden gevraagd en maak daar heldere afspraken over. De benodigde tijd en middelen verschillen per evaluatie. Een algemene richtlijn is dat evaluatie 10% uitmaakt van het totale budget voor een interventie.
6. Kwaliteit en objectiviteit. Vraag een externe onderzoeker of onderzoeksbureau om de effectevaluatie uit te voeren.

Stappenplan

Voor het uitvoeren van een effectevaluatie van de interventie multidisciplinair casusoverleg doorloop je negen stappen. Dit stappenplan is specifiek gericht op het inhuren van een externe partij om de effectevaluatie uit te voeren.

Stap 1: Breng de belangrijkste stakeholders (In ieder geval de (overige) partijen in het multidisciplinair casusoverleg en eventueel de professionals die veel met hen samen werken) op de hoogte van de effectevaluatie, vraag in welke informatie zij geïnteresseerd zijn en vraag om hun medewerking.

Stap 2: Bepaal het doel van je effectevaluatie. Ben je geïnteresseerd in alle mogelijke resultaten van de interventie of wil je weten of een specifieke doelstelling wordt behaald? Wil je alleen het resultaat weten of wil je ook onderzoeken welke elementen binnen de interventie dat resultaat beïnvloeden (de werkzame elementen)? Wees in het bepalen van je doel realistisch. Neem in de overweging mee of je in de beginfase van de interventie bent (en dus nog de verzameling van data kunt sturen) of dat een groot deel van de interventie al is uitgevoerd en er maar beperkte data beschikbaar zijn. Bij een multidisciplinair casusoverleg is het belangrijk te specificeren in welke effecten interesse is. Effecten met betrekking tot de preventie van radicalisering in een bepaald gebied, effecten bij de deelnemende organisaties en/of effecten bij de in behandeling genomen casussen. Ook binnen deze brede doelstellingen moet weer worden gekozen. Indien bijvoorbeeld wordt gekozen voor het effect op de in behandeling genomen casussen, is het de vraag wanneer iets als ‘effect’ gekwalificeerd kan worden. Dit hangt samen met de doelstelling van de persoonsgerichte aanpak. Indien de doelstelling is iemand te ‘deradicaliseren’, is het nodig dat dit doel meetbaar wordt gemaakt als effect. Hierbij kan een externe partij met expertise in evaluatie helpen. Het is wel essentieel om in de opdracht een duidelijk beeld te hebben van het effect dat gemeten moet worden.

Stap 3: Stel een uitvraag op voor de effectevaluatie. Kijk voor inspiratie hier. Bepaal de gewenste bewijskracht van de effectevaluatie. Zie voor meer informatie: Methoden en Technieken.

Stap 4: Bepaal aan welke kwalificaties de externe partij moet voldoen en op welke manier de uitvraag kan worden uitgezet (enkelvoudige onderhandse aanbesteding, meervoudige onderhandse aanbesteding, open aanbesteding, via een fonds etc.)

Stap 5: Zodra voorstellen van externe partij(en) binnen zijn, moeten ze beoordeeld worden. Gebruik het format voor de uitvraag hierbij als checklist. Hebben de partijen naar behoren op alle vragen antwoord gegeven? Wat is de kwaliteit die ze laten zien op de verschillende onderdelen?  

Stap 6: Organiseer een gezamenlijke kick-off zodra de keuze voor een externe partij is gemaakt. Hierin kunnen onder andere afspraken over de samenwerking worden gemaakt. Spreek af op welke manier je als opdrachtgever de voortgang wilt monitoren, wie het vaste aanspreekpunt is, op welke momenten er weer samen om tafel wordt gezeten, etc.

Stap 7: Plan een tussentijdse bespreking van de ruwe uitkomsten van de metingen. Dit geeft alvast wat eerste beelden en creëert de gelegenheid om eventueel missende data of informatie alsnog beschikbaar te stellen of het verkrijgen daarvan te plannen.

Stap 8: Presenteer de resultaten van de evaluatie aan de relevante stakeholders. Bepaal samen de benodigde vervolgstappen en communiceer deze weer naar de benodigde partijen. Maak SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdsgebonden) afspraken over wanneer welke vervolgstappen worden gezet en wie verantwoordelijk is voor welke actie.

Stap 9: Deel de geleerde lessen. Leg de resultaten van je effectevaluatie naast eerdere onderzoeken op hetzelfde terrein: komen de resultaten overeen of wijken ze (sterk) af? Deel je resultaten en lessen met andere relevante partijen, zoals collega’s van andere (gemeentelijke) organisaties.