Algoritmen kunnen publieke waarden bedreigen, maar het wetboek hoeft niet drastisch op de schop

Iedereen heeft in het dagelijks leven, al dan niet bewust, te maken met beslissingen die worden genomen door algoritmen. Zo gebruikt de overheid algoritmen om verkeersboetes uit te schrijven en te innen, fraude te detecteren en belastingaanslagen op te leggen. Maar bijvoorbeeld ook banken en verzekeraars maken gebruik van slimme technologieën om te bepalen of je voor hun producten in aanmerking komt. Het gebruik van algoritmen kan het leven makkelijker en efficiënter maken, maar het kan ook grote risico’s met zich brengen voor het verwezenlijken van fundamentele waarden in onze samenleving. Samen met andere onderzoekers van het Montaigne Centrum deden wij in opdracht van het WODC onderzoek naar de gevolgen van algoritmische besluitvorming voor de verwezenlijking van publieke waarden en belangen en de rol die het recht daarin speelt. In dit blog gaan we in op onze bevindingen.

Algoritmen worden ingezet om taken over te nemen die voorheen door mensen werden uitgevoerd. Anders dan mensen zijn algoritmen immers onvermoeibaar, raken ze nooit verveeld en doen ze altijd exact wat je van ze vraagt. Algoritmen kunnen bovendien taken uitvoeren die voor mensen te gecompliceerd zijn. Zo kunnen zij in razend tempo petabytes aan informatie verwerken en daarin schijnbaar onzichtbare verbanden vinden en ons tot belangrijke inzichten brengen. Ook kunnen ze een eindeloze hoeveelheid beslissingen nemen. Algoritmen zijn zo de drijvende kracht achter tal van belangrijke innovaties in onze samenleving; van het vindbaar maken van online informatie, tot het opsporen van ziekten en het veilig houden van steden. In ons onderzoek schonken we in het bijzonder aandacht aan het gebruik van algoritmen in zelfrijdende auto’s, de rechtspraak, het incasseren van verkeersboetes en het moderen van online content.

De inzet van algoritmen om beslissingen te nemen brengt ook risico’s met zich mee. Sommige van deze risico’s bestaan natuurlijk ook als mensen zelf beslissingen nemen. Maar omdat algoritmen het mogelijk maken om snel en op grote schaal te beslissen, kunnen de risico’s een grote groep mensen treffen. Ons onderzoek, dat een juridische insteek heeft, spitste zich toe op een drietal grondrechtelijke waarden die op het spel kan komen te staan in gevallen waarin algoritmen worden ingezet voor het nemen van besluiten. Het gaat daarbij om het recht op persoonsgegevensbescherming, het recht op non-discriminatie en tot slot het recht op rechtsbescherming.

Gegevensbescherming en privacy

Algoritmen werken vaak met gegevens die betrekking hebben op mensen. Privacyrisico’s ontstaan dan bijvoorbeeld als algoritmen worden ingezet om op grote schaal  persoonsgegevens te verzamelen of anderszins te verwerken. Gegevens worden lang niet altijd van personen zelf verkregen, maar kunnen ook worden verzameld door algoritmen die bijvoorbeeld het gedrag van internetters volgen en analyseren, of door sensoren die in de fysieke wereld gegevens verzamelen die vervolgens door algoritmen worden verwerkt. Algoritmen kunnen daarnaast op basis van bestaande gegevens nieuwe verbanden vinden tussen gegevens en op die manier meer te weten te komen over personen. Gegevens die anoniem leken, kunnen dan ook herleidbaar zijn tot personen. De recente zorgen over het gebruik van locatiegegevens van telefoons om het coronavirus te helpen bestrijden, zijn daarvan een voorbeeld. Zeker waar sprake is van gevoelige gegevens zoals over gezondheid, ras of geaardheid kunnen de gevolgen van algoritmische gegevensverwerking groot zijn.

Non-discriminatie

Algoritmen bieden kansen voor het gelijkwaardig behandelen van mensen, bijvoorbeeld door vacatureteksten te scannen op formuleringen die bepaalde mensen uitsluiten. Maar de inzet van algoritmen kan ook discriminerende effecten hebben. Een belangrijke beperking van algoritmische besluitvorming is gelegen in de lastigheid om de veelkleurigheid en complexiteit van onze samenleving in regels en verbanden te vangen. Het ontwikkelen van algoritmen gaat altijd gepaard met het maken van keuzes en vergt versimpelingen van moeilijk identificeerbare verbanden. Wie niet past in de modellen en regels, valt dan buiten de boot.

Voor zogenoemde regelgebaseerde algoritmen  – die werken met vooraf geprogrammeerde regels – geldt in het bijzonder dat ze star kunnen zijn en achterop raken bij ontwikkelingen in de samenleving en zo tot onwenselijke uitkomsten leiden. Eventuele vooroordelen die leven bij programmeurs of in een organisatie, kunnen zich daarnaast bewust of onbewust doorvertalen in de regels van het algoritme en op grote schaal effect hebben op bepaalde groepen mensen.

De problemen met ‘zelflerende’ algoritmen zijn van een andere aard. Dergelijke algoritmen leggen zelf verbanden in ingevoerde trainingsdata en maken een model dat kan worden toegepast op nieuwe data. Als bijvoorbeeld de trainingsdata niet representatief zijn, dan zal het algoritme niet de juiste verbanden leggen, en dat kan dan weer leiden tot discriminatie in de besluitvorming. Een beperking van zelflerende algoritmen is daarnaast dat ze verbanden identificeren, maar dat daarbij niet noodzakelijkerwijs sprake is van een oorzakelijk verband. Omdat het leerproces van dergelijke algoritmen ondoorgrondelijk kan zijn, is bovendien niet altijd duidelijk waarom een algoritme tot een bepaalde uitkomst komt. En dan is ook niet duidelijk op grond waarvan een algoritme onderscheid maakt tussen bepaalde mensen.

Rechtsbescherming

Om de effecten van eerder genoemde risico’s te beperken, is rechtsbescherming van groot belang. Mensen moeten immers kunnen optreden tegen bijvoorbeeld een algoritmisch opgelegde belastingaanslag, uitgeschreven verkeersboete, of geweigerde hypotheeklening. Maar het is juist het recht op rechtsbescherming dat ook onder druk kan komen te staan door de inzet van algoritmen. De werking van algoritmen en hun uitkomsten zijn, zeker als zij zelflerend of als verschillende systemen aan elkaar gekoppeld zijn, vaak moeilijk uitlegbaar in begrijpelijke taal. Dat kan het lastig maken voor organisaties om uit te leggen waarom een bepaald besluit is genomen, en voor mensen die geraakt worden door het besluit kan het lastig zijn om argumenten aan te voeren tegen dat besluit. Ook kan de inzet van algoritmen vragen oproepen over wie er nu precies verantwoordelijk is voor de uitkomst van het algoritme. In een samenleving waarin processen verder digitaliseren, worden vragen over de inzichtelijkheid van en verantwoordelijkheid voor beslissingen die met of door algoritmen worden genomen alleen maar prangender.

Wetswijzigingen nodig?

Hoewel het gebruik van algoritmen dus tot belangrijke risico’s kan leiden, komen wij in ons onderzoek tot het oordeel dat drastische wetswijzigingen op dit moment niet nodig zijn. Algemene kaders zoals de Algemene Verordening Gegevensbescherming, de Algemene wet bestuursrecht, en wetgeving op het gebied van non-discriminatie, bevatten veel open normen en kunnen daarmee een groot aantal van de gesignaleerde risico’s helpen opvangen. Zo bevat de AVG bijvoorbeeld informatierechten en -plichten en een verbod op volledig geautomatiseerde besluitvorming en  normeert de Awb ook overheidsbesluitvorming als die wordt genomen met behulp van of door algoritmen.

De algemene regels die op dit moment gelden ter bescherming van de drie genoemde grondrechtelijke waarden zijn veelal ruim geformuleerd. Zij dienen wel door interpretatie door onder meer toezichthouders te worden toegesneden op de specifieke inzet van algoritmen en de behoeften die bestaan in een bepaald domein, zoals bijvoorbeeld het gebruik van algoritmen in het verkeer of de inzet van algoritmen om informatiestromen in goede banen te leiden. Daar ligt een belangrijke verantwoordelijkheid voor bestaande toezichthouders zoals de Autoriteit Persoonsgegevens. Ook rechters zullen bestaande regels moeten toepassen en daarbij de risico’s van algoritmen niet uit het oog moeten verliezen. De uitspraak in de SyRI-zaak, waarin de rechtbank Den Haag een streep haalde door het gebruik van algoritmen om fraude te ontdekken, is daarvan een goed voorbeeld (zie over die uitspraak ook deze blog van Stefan Philipsen en Evert Stamhuis). Toch kan het zo zijn dat in een specifiek domein de bestaande regels niet voldoende voedingsbodem bieden voor het verwezenlijken van kansen of voor het vermijden van risico’s voor grondrechtelijke waarden. Waar nieuwe regelgeving nodig wordt geacht dan kan die regelgeving het best binnen de bestaande kaders in dat domein worden vormgegeven omdat ieder domein zijn eigen bijzonderheden en dynamiek heeft, die de inzet van algoritmen kleurt.

Het rapport ‘Juridische aspecten van algoritmen die besluiten nemen. Een verkennend onderzoek’ is geschreven door Stefan Kulk en Stijn van Deursen. Het bevat casestudy’s naar de inzet van algoritmen in zelfrijdende auto’s (Anouk Wouters en Vicky Breemen), contentmoderatie door platformen (Stefan Kulk en Thom Snijders), de rechtspraak (Stijn van Deursen en Stefan Philipsen), en overheidsincasso bij verkeersboetes (Martje Boekema en Susanne Heeger). Ook Nelleke Koffeman, Janneke Gerards, Eddy Bauw, Madeleine de Cock Buning, Henry Prakken en Anna Gerbrandy waren nauw bij het onderzoek betrokken In het najaar zal het rapport ook verschijnen in de Montaignereeks van Boom juridisch.