De kwaliteit van juridische oordelen

Een relatief steeds groter deel van het werk van overheden bestaat uit het normeren, reguleren, toetsen en beoordelen van activiteiten die door andere actoren in private, publieke en semipublieke contexten worden uitgevoerd. In de publieke sector bestaat een keur aan dergelijke instanties wier taak het is om toe te zien op, en oordelen te vellen over, het werk en handelen van organisaties of individuen. Zo zijn er bijvoorbeeld negen inspecties aangesloten bij de Inspectieraad en er zijn zeven markttoezichthouders aangesloten bij het Markt toezichthouders beraad. En als het over (be)oordelen van anderen gaat, komt natuurlijk ook de rechterlijke macht in beeld. Al die instanties en personen hebben gemeen dat ze moeten oordelen over het werk of handelen van anderen; daarmee is de kwaliteit van hun individueel oordeelsvermogen cruciaal. In deze blog doen wij verslag van een experiment over verantwoording, bias en de kwaliteit van beoordelingen bij toezichthouders en in de rechtspraak. Hierna zal blijken dat de kwaliteit van het oordeel van professionele beoordelaars wordt vergroot als vooraf duidelijk is dat ze zich zullen moeten verantwoorden over hun beslissing.

En wat is nu het probleem? Het probleem is niet dat het er zo veel zijn. Het probleem is, schertsend gesteld, dat die professionals, inclusief de rechters, ook allemaal mensen zijn. Immers, het oordeelsvermogen van mensen is, zo leren de gedragswetenschappen, feilbaar en kwetsbaar. Het menselijk brein is, in de woorden van Kahneman a lazy machine jumping to conclusions. Onderzoek laat zien dat mensen de meeste beslissingen nemen met zo min mogelijk cognitieve inspanning. Dat heeft als voordeel dat we relatief veel dingen kunnen doen, dat we kunnen multi-tasken of op zijn minst schakel-serieel-tasken. Maar het heeft wel als nadeel dat we geneigd zijn om olifantenpaadjes te bewandelen in onze oordeelsvorming en veel informatie overslaan of beperkt waarnemen. Niet voor niets was ‘expect error’ één van de principes die Thaler en Sunstein  formuleerden over hoe mensen beslissingen nemen. Vertaald naar de context van toezicht en beoordeling is dat potentieel zorgwekkend: komt de beoordelaar die ook maar mens is, wel tot een correct oordeel?

De gedragswetenschappen leren dat wij ons laten leiden door allerhande biases. En we weten ook veel over toezicht, verantwoording en beoordeling in de publieke sector enerzijds en veel over menselijk oordeelsvermogen, biases en beoordelingsfouten anderzijds. Maar die kennis is nog maar in zeer beperkte mate onderling verbonden. Ook is er kritiek op die kennis omdat heel veel van het belangwekkende onderzoek naar oordelen en biases in de Verenigde Staten is uitgevoerd met studenten die onder strenge laboratoriumcondities opdrachten uitvoeren met soms een heel laag realistisch gehalte. Dat levert prikkelende en soms ook zorgwekkende conclusies op over ons oordeelsvermogen die relevant lijken voor de professionele praktijk. Alleen is de vraag wel, in hoeverre doen dergelijke effecten zich voor buiten het lab, bij echte professionals (bijvoorbeeld rechters) en bij echte beoordelingsvragen? Het onderzoek daarnaar is vooralsnog schaarser maar het is voorstelbaar dat beoordelaars met een specifieke en gerichte opleiding en soms vele jaren van ervaring anders (hopelijk beter!) zullen oordelen en anders omgaan met beoordelingsbiases dan studenten in een laboratoriumsetting.

Tegen die achtergrond doen wij in deze Blogpost kort verslag (zie uitvoeriger NJB 2020/182) van de uitkomsten van drie verkennende experimenten naar de kwaliteit van beoordelingen door professionele beoordelaars in de publieke sector. Om te leren van de gedragswetenschappen hebben we een klassiek, sociaal-psychologisch experiment van Tetlock uit 1983 over verantwoording, biases en oordeelsvermogen  vertaald naar de publieke sector in Nederland en uitgevoerd met achtereenvolgens toezichthouders (86), studenten (77) en, rechters en gerechtssecretarissen (85). Het originele Amerikaanse onderzoek onder studenten laat zien dat deze snel biases in hun oordelen hebben, hetgeen met verantwoording kan worden gecorrigeerd waardoor de kwaliteit van hun beoordelingen omhoog gaat. In ons Nederlandse onderzoek hebben we een casus over mogelijk wanbestuur van een bestuurder voorgelegd aan de drie groepen deelnemers en hen gevoed met argumenten die zowel voor als tegen het aannemen van wanbestuur pleiten. Onze onderliggende vraag was of dezelfde twee effecten (biases en kwaliteit van oordelen respectievelijk het positieve effect van verantwoording) ook te vinden zijn bij professionele beoordelaars in meer realistische settings, en hoe de oordelen van professionele beoordelaars (toezichthouders, rechters en gerechtssecretarissen) zich verhouden tot die van studenten.

Onze analyse laat zien dat er significante verschillen zichtbaar zijn in de beoordelingskwaliteit van verschillende groepen deelnemers en ook dat er sprake is van biases. Geïnspireerd door het eerdere onderzoek uit 1983, was tevens de verwachting vooraf  dat deelnemers onder condities van verantwoording tot betere beoordelingen zouden komen. Onze hypothese werd inderdaad bevestigd: de geanticipeerde verantwoording leidde tot hogere kwaliteit oordelen. De respondenten die verwachtten dat zij hun oordeel in het openbaar moeten toelichten ten overstaan van hun peers en externe experts, komen tot betere beoordelingen met minder fouten dan hun collega’s die meenden dat ze anoniem oordelen. Dit effect is conform de verwachting en is van acuut belang voor beoordelaars in de publieke sector.

Vreemde ogen dwingen, zo suggereert dit resultaat. Dat is een bevinding die in veel politiek-bestuurlijke contexten natuurlijk wel is verdisconteerd in checks and balances, tegenlezers, overleg, het vier-ogen principe of in andere vormen. Tegelijk kunnen wij ons voorstellen dat in de dagelijkse, routinematige gang van zaken dergelijke checks and balances kunnen verzwakken en dat sommige beoordelingen effectief door individuen of vaste groepen kunnen worden gemaakt, zonder veel tegenmacht. Ons onderzoek onderstreept dus nogmaals het belang van ‘vreemde ogen’ bij het nemen van complexe besluiten, waartoe de ogen van de peers zeker ook behoren, zoals is gebleken. In de juridische context onderstreept deze bevinding het belang dat (terecht) gehecht wordt aan en goede, gedegen motivering van een rechterlijke uitspraak. Misschien moeten we dat belang echter nog scherper over het voetlicht brengen.

Onze conclusies bevestigen grotendeels die van Tetlock uit 1983. Zijn we dan iets opgeschoten? We menen van wel. Allereerst is van belang te constateren dat patronen die eerder zijn gevonden met studenten onder laboratoriumcondities nu worden bevestigd in onderzoek in een meer realistische setting en ook met professionele beoordelaars die een voor hen vaak herkenbaar soort van beoordeling moeten uitvoeren. Het laat zien dat ook ervaren beoordelaars vatbaar zijn voor beoordelingsbiases en dat ook bij hen geldt dat de anticipatie op verantwoording tot betere beoordelingen leidt. Dit is een belangrijke conclusie voor beoordelaars in de publieke sector, inclusief de rechterlijke macht. Het is ook een extra aanmoediging om onderzoek naar beoordelingen onder studentenpopulaties serieus te nemen voor de professionele praktijk en te verkennen wat resultaten uit dit soort onderzoek zouden kunnen betekenen voor die praktijk.

Onze resultaten bevestigen dat ook professionele beoordelaars, waaronder rechters, vatbaar zijn voor beoordelingsbiases. Op kernpunten zijn de bevindingen bij professionals in een meer realistische setting vergelijkbaar met die bij studenten in minder realistische settings. Dit betekent ook dat er extra reden is om hoopgevende of zorgwekkende bevindingen uit psychologisch beoordelingsonderzoek met studenten serieus te nemen voor professionele praktijken van toezichthouders en rechters. Ook blijkt uit ons Nederlandse experiment opnieuw dat de anticipatie op latere verantwoording een gunstig effect heeft op de oordelen van professionals. De praktische consequentie is vooral dat toezichthouders en rechters er goed aan doen te garanderen dat zij opereren in een passende verantwoordingscontext; voor de rechterlijke praktijk zou dat bijvoorbeeld kunnen betekenen dat de eisen die gesteld worden aan de (omvang van de) rechterlijke motivering ten minste gehandhaafd en eerder verstevigd dan afgezwakt moeten worden. Ook zijn de resultaten deels geruststellend daar professionele beoordelaars duidelijk zuiverder en preciezer oordeelden dan de studenten. Dat is zoals gehoopt en verwacht maar toch goed om te constateren: professionele ervaring loont.

Deze Blog is, in sterk verkorte vorm, gebaseerd op T. Schillemans & I. Giesen, De kwaliteit van (juridische) oordelen, NJB 2020/182