• 
• 

Besturen wij het systeem of bestuurt het systeem ons? 7 vragen aan een AI-jurist

Tekst: Felix de Fijter

Lees door onder de foto

In Nederland is er verhoudingsgewijs veel geautomatiseerd en gedigitaliseerd”, zegt Marlies van Eck, gespecialiseerd in artificiële intelligentie en bestuursrecht. “De coronacrisis wijst dat wel uit. In Nederland konden de belastingdienstmedewerkers thuis gewoon verder werken, hetzelfde geldt voor immigratiedienst IND. In veel Europese landen was dat anders. En probeer je het testen en vaccineren eens voor te stellen zonder algoritmes. Het systeem ziet waar je terechtkunt en hoe laat, en voorziet nu in het coronatoegangsbewijs.”

Automated inequality: ongelijkheid die ontstaat als gevolg van automatisering

Van Eck wil maar zeggen: de samenleving heeft ontzettend veel baat bij kunstmatige intelligentie. Maar de omvang, complexiteit en het tempo waarin de digitalisering zich voortzet, geven enorme uitdagingen. Automated inequality is er daar een van: ongelijkheid die ontstaat als gevolg van automatisering.

Van Eck legt uit: “In automatiseringsprocessen worden bepaalde groepen extra geraakt. Mensen met een uitkering, bijvoorbeeld, zijn sterk van de overheid afhankelijk. Niet alleen vanwege die uitkering, maar ook via toeslagen, het UWV of andere instanties. En als er dan iets misgaat, kan het ook echt goed misgaan. Of denk aan de migratiemachine. Als je in ons land komt wonen, gaat er een enorme automatische molen draaien, met vingerafdrukken, databases, tussenstappen en vervolgstappen. Waarbij je als individu door alle hoepels van het systeem moet, om het systeem te laten werken. Er zit vaak geen flexibiliteit in.”

1. Heb je daar een concreet voorbeeld van, een niet-flexibel digitaal systeem?

“De coronacheck-app. Ik sprak iemand wiens opa geen DigiD heeft. En ook geen e-mailadres. Dan komt er zand in de motor. De stappen die je moet zetten om de motor van de coronacheck-app te laten draaien, kan deze persoon niet zetten. De digitale werkelijkheid, met andere woorden, is leidend is geworden voor de fysieke werkelijkheid.”

2. Toch zijn er op het Malieveld geen demonstraties tegen het gebruik van algoritmes.

“Nee, want voor een grote groep mensen geeft de digitale werkelijkheid nauwelijks belemmeringen. Dat is de happy flow. Maar voor wie te veel afwijkt van het gemiddelde, is het echt anders. Staan de schakelaars niet goed, dan kun je in een paar maanden tijd in grote financiële problemen terechtkomen. Met de toeslagenaffaire als sprekend voorbeeld.”

3. Maar zijn er dan geen programmeurs die zo’n algoritme kunnen bijstellen, zodat het niet meer gebeurt?

“Zo simpel is het helaas niet. Soms blijkt het eenvoudigweg niet mogelijk een systeem te overrulen. En als het je toch lukt, dan is het risico reëel dat het systeem gaat ‘terugfloepen’, zoals toenmalig minister Eric Wiebes dat noemde. Een medewerker van de Belastingdienst voert iets goed in, maar een maand later heeft het systeem het gewijzigd.”

4. Zitten we niet gewoon in een transitiefase, waarin we de oneffenheden nog moeten wegmasseren?

“Ik denk het niet. De complexiteit zal alleen maar toenemen. En ondertussen blijven nieuwe problemen zich aandienen. De TOZO-regeling bijvoorbeeld, om ondernemers financieel te ondersteunen in de coronacrisis, is in hoog tempo ingevoerd en gerealiseerd. Het lijkt me heel goed denkbaar dat we allerlei schrijnende verhalen gaan krijgen van mensen die de TOZO moeten terugbetalen.”

Het problematische bij vrijwel alle algoritmegedreven automatisering, zegt Van Eck, is dat niemand echt overzicht heeft. “In mijn onderzoek heb ik lang gedacht dat er in elke organisatie die met data werkt, iemand zou zijn die het proces overziet en van daaruit opereert. Die persoon bestaat dus niet. Maar als je geen overzicht hebt, kun je dan nog wel besturen? Of is het dan zo dat het systeem ons bestuurt?”

5. Zie je dat nu gebeuren, dat het systeem ons bestuurt?

“Ja. Neem het sociaal domein waarin het afgelopen decennium zorgtaken van de landelijke overheid zijn gedecentraliseerd. Een van de ideeën erachter is dat je als gemeente op die manier een couleur locale kunt toevoegen. Handig, want wat in Ter Apel geldt, gaat in Middelburg misschien niet op. Maar dat is alleen de theorie. Want wat blijkt? Alle gemeentes gebruiken dezelfde software, en die is stijf voorgeprogrammeerd. Er zijn wat parameters die je kunt veranderen, maar voor procesmatige, structurele afwijkingen is geen ruimte.”

6. Hoe kan de overheid weer een beetje grip krijgen?

“Ga zo snel mogelijk in gesprek met de industrie. Ga praten met softwareleveranciers. Eis dat je verantwoording moet kunnen afleggen. En denk ook zelf na over de vraag wat digitaal bestuur betekent. Stap twee is regulering. Er wordt gewerkt aan EU-wetgeving en daar is ook echt dringend behoefte aan. Van daaruit kun je toezicht gaan organiseren, een kwaliteitskeurmerk ontwikkelen en een systeem bouwen waarmee deze wet wordt uitgevoerd. Als dat er is, maken we het ook voor de rechterlijke macht eenvoudiger om in te grijpen als het weer eens fout gaat. Want wat moet een rechter nu gaan doen? Code opvragen?”

7. En hoe kan de burger grip houden?

“Die moet extreem goed opletten. Als ze foutief geadresseerde post krijgen, als er een deurwaarder aanbelt voor de vorige bewoners. Niet denken: o, een foutje, dat loopt wel los. Want als er zich zoiets voordoet, weet dan: je staat in een database. En daar ben je niet een-twee-drie weer uit.”

Dit artikel verscheen eerder in het decembernummer van het papieren tijdschrift van SERmagazine. Dit verschijnt 5 keer per jaar.