• 
• 

AI en discriminatie: laten we techneuten beslissen over mensenrechten?

Felix de Fijter

Aan het woord:

Quirine Eijkman,
ondervoorzitter College voor de Rechten van de Mens

De invloed van digitalisering op mensenrechten is sinds het afgelopen jaar een van de speerpunten van het College voor de Rechten van de Mens. En dat is niet voor niets, vertelt ondervoorzitter Quirine Eijkman. “Als het over mensenrechten en digitalisering gaat, hebben we het al gauw over privacy, maar de aandacht voor andere mensenrechten, zoals het recht op gelijke behandeling en rechtsbescherming, is beperkt.”

De schoen wringt bij een gebrek aan kennis en transparantie

Terwijl digitalisering die dus wel degelijk kan bedreigen, zegt ze. “Denk ook aan gemeenten die software gebruiken die op basis van algoritmes het frauderisico van bepaalde wijken of buurten in kaart brengt. Woon je op het ‘verkeerde adres’, dan kan jouw uitkering of huurtoeslag zomaar een extra scherpe controle tegemoetzien. En als je vervolgens bij de gemeente aanklopt om daar een verklaring voor te krijgen, dan geeft men niet thuis. Want voor burgers is het niet inzichtelijk waarom een systeem je als risicogeval kwalificeert, maar dat geldt evenmin voor een ambtenaar bij de gemeente.”

Dat gebrek aan kennis en het gebrek aan transparantie is volgens Eijkman precies waar de schoen wringt. “We willen als burger helder krijgen wat er gebeurt. Welke systemen worden gebruikt? Hoe neemt een algoritme besluiten? Welke profielen gaan daarachter schuil? Als je als individu wordt aangepakt, dan moet je de achterliggende informatie kunnen opvragen.”

Lees door onder de foto

Zonder kennis sta je niet per definitie buitenspel

Er komt wel meer aandacht voor, merkt Eijkman. Bij toezichthouders, zoals het College voor de Rechten van de Mens, maar ook in het kabinet, bij overheden en bedrijven. “De bewustwording groeit. Men begint ook te begrijpen dat de technologie weliswaar heel ingewikkeld is, maar dat dit niet betekent dat je zonder technische kennis per definitie buitenspel staat.

‘Het zijn de mensen die de systemen bouwen en een “mindset” meegeven’

Het is ook een kwestie van checks and balances. Als je software aankoopt, dan kun je eisen stellen; ook mensenrechtelijke eisen. Want hoe je het ook wendt of keert: het zijn de mensen die de systemen bouwen, en het algoritme al dan niet een discriminerende of stigmatiserende ‘mindset’ meegeven. En dan kun je wel zeggen ‘computer says no’, maar het is toch de mens die hem aanstuurt.”

Aan de basis is het niet zo ingewikkeld

De afgelopen jaren deed het college, in samenwerking met de Vrije Universiteit, herhaaldelijk onderzoek naar leeftijdsdiscriminatie in personeelsadvertenties. “Dankzij een algoritme konden op basis van relatief simpele woordcombinaties op grote schaal vacatureteksten gescand worden op leeftijdsdiscriminatie. En wat er fout ging, kon door taalkundige aanpassingen makkelijk verholpen worden: noem gewoon geen leeftijd en geen sekse in een wervingsadvertentie. Op die manier kunnen we ook naar algoritmes kijken. We denken al gauw dat het heel ingewikkeld is, maar aan de basis valt dat best wel mee.”

Pas sinds kort aandacht voor de ethische kant

Dat over de ethische kant van digitalisering en algoritmes pas sinds korte tijd serieus wordt nagedacht, is volgens Eijkman niet zo gek. “De snelheidslimieten kwamen ook pas na de auto. We hebben als college vaker gezien dat nieuwe ontwikkelingen raken aan het mensenrechtenkader, zonder dat je dat direct verwacht.”

‘Er wordt met allerlei stukjes informatie een beeld van je geschetst dat je maar moeilijk kunt corrigeren’

Hoe ernstig de gevolgen kunnen zijn als je dat veronachtzaamt, blijkt bijvoorbeeld uit een tamelijk alarmerend VN-onderzoek uit 2019 naar de ‘digitale verzorgingsstaat’. Dit beschrijft hoe steeds meer overheden hun socialezekerheidsstelsels (en de besluitvorming erbinnen) baseren op data en technologie en hoe dat leidt tot stigmatisering van mensen die in armoede leven. “Zonder dat je daar invloed op hebt, wordt er met allerlei stukjes informatie een beeld van je geschetst dat je maar moeilijk kunt corrigeren.”

Stigmatisering en discriminatie als bijeffecten vaak niet voorzien

Eijkman realiseert zich dat de stigmatiserende of discriminerende bijeffecten van digitalisering vaak helemaal niet voorzien waren. “Het is helemaal niet zo vreemd als je als gemeente een folder verspreidt tegen laaggeletterdheid in een wijk waar relatief veel laaggeletterde mensen wonen. Maar vervolgens moet je zo’n folder wel kunnen weigeren. Je moet bij de gemeente om maatwerk kunnen vragen. Die transparantie en eerlijkheid zijn er nu vaak nog niet.” Hoe snel dat kan veranderen, blijkt volgens Eijkman wel uit de ontwikkeling van het privacydebat. “Een paar jaar geleden was het: ‘oh ja, privacy’. Nu zit het belang ervan veel breder en beter tussen de oren.”

Meer lezen? SERmagazine verschijnt ook 5 keer per jaar als papieren tijdschrift.

Algoritmemakers en beleidsmakers bij elkaar brengen

Dat in algoritmes discriminerende, racistische en stigmatiserende motieven schuilgaan, zegt volgens Eijkman ook wel wat over onze samenleving. “Ze zijn een spiegel van wie wij zijn. We hebben de algoritmes immers zelf ontwikkeld. Het onderbuikgevoel, dat vaak niet wordt uitgesproken, wordt door deze algoritmes versterkt.”

Is het in dat perspectief niet te laat? Kan het tij nog wel gekeerd worden? Eijkman denkt van wel. “Er is veel aandacht voor gekomen; bij overheden, bij bedrijven, bij toezichthouders. Wat we moeten doen, is de wereld van de algoritmemakers en de wereld van de beleidsmakers bij elkaar brengen. Of de computer no of yes zegt, dat kunnen we uiteindelijk helemaal zelf beslissen.”