‘Iemand moest Josef K. belasterd hebben, want zonder dat hij iets gedaan had, werd hij op een ochtend gearresteerd.’ Met deze openingszin uit Het Proces (1925) kenschetst de Duitstalige schrijver Franz Kafka op treffende wijze de machteloosheid van een mens die verstrikt raakt in een bureaucratisch labyrint. In dit labyrint staat Josef K. symbool voor de mens die door bureaucratie geen grip meer heeft op het verloop van zijn eigen verhaal. Helaas is het verhaal van Josef K. allesbehalve fictie. De toeslagenaffaire heeft laten zien hoe de regelbewuste ambtenaar gedeeltelijk vervangen is door een algoritmisch besluitvormingsproces, waardoor de mens achter een besluit grotendeels is verdwenen.
Volgens het Rathenau Instituut (2021) maken overheidsorganisaties in toenemende mate gebruik van algoritmen bij het nemen van besluiten. Zo worden algoritmen onder andere ingezet voor het toekennen van toeslagen, het verlenen van vergunningen of het innen van verkeersboetes. Deze besluitvormingssystemen worden vaak gebaseerd op als/dan-instructies. Een andere vorm van besluitvormingssystemen die overheidsorganisaties inzetten, is gebaseerd op machine learning. Een dergelijk systeem is zelflerend en kan ‘getraind’ worden door het verwerken van een samenspel van voorbeelden. Tegenwoordig worden beide soorten systemen gebruikt door uitvoeringsorganisaties ter ondersteuning of volledige automatisering van hun besluitvormingsprocessen.
Machine learning
Een voorbeeld van een algoritmisch besluitvormingssysteem dat gebaseerd is op machine learning is de beoordeling van toeslagaanvragen, zoals aan het licht kwam in de toeslagenaffaire. Voordat deze affaire bekend werd, maakte de afdeling Toeslagen van de Belastingdienst gebruik van een risico-classificatiemodel. Dit risico-classificatiemodel werd gebruikt ter ondersteuning van de besluitvorming bij het toekennen van toeslagen. Het doel van dit model is toeslagaanvragen te ontdekken waarvan het vermoeden bestaat dat er sprake is van een verhoogd risico op fraude.
‘Ineens werd de bureaucratische dystopie waarin Josef K. zich bevond voor deze ouders hun alledaagse werkelijkheid’
Op basis van een geselecteerd aantal risico-indicatoren en voorbeelden van juiste en onjuiste toeslagaanvragen, beoordeelde het model het risico op fraude van een aanvraag voor kinderopvangtoeslag. Vervolgens kregen de uitvoerende medewerkers de taak om een besluit te nemen over de aanvragen met een hoog risico op fraude door extra bewijsstukken bij de toeslagouders op te vragen. Echter, wat op het eerste gezicht een kostenbesparende manier leek om fraude op te sporen, leidde tot een groot debacle: talloze ouders werden onterecht door de overheid aangemerkt als fraudeur. Ineens werd de bureaucratische dystopie waarin Josef K. zich bevond voor deze ouders hun alledaagse werkelijkheid.
Van street-level bureaucracy naar system-level bureaucracy
De toenemende inzet van algoritmische besluitvormingsprocessen door overheidsorganisaties leidt volgens wetenschappers Bovens en Zouridis (2002) tot een paradigmatische verschuiving van een street-level bureaucracy naar een system-level bureaucracy. In een street-level bureaucracy hebben uitvoeringsambtenaren (street-level bureaucrats) in hun werk directe interactie met inwoners. Bovendien is hun een grote mate van discretionaire bevoegdheid toegekend. Dit betekent dat uitvoeringsambtenaren in individuele gevallen naar eigen inzicht een besluit kunnen nemen binnen de geldende kaders van wetten en regels.
In vergelijking met een street-level bureaucracy, krijgen IT-systemen in een system-level bureaucracy een grotere rol toebedeeld in de besluitvormingsprocessen van overheidsorganisaties. Zo speelde het risico-classificatiemodel een aanzienlijke rol bij het beoordelen van het risico op fraude bij toeslagaanvragen. Het gevolg van deze ontwikkeling is dat de invloed van de uitvoeringsambtenaar op besluitvormingsprocessen kleiner is. Daarnaast is de fysieke en morele afstand tussen de uitvoeringsambtenaar, het besluitvormingsproces en de doelgroep(en) waarop het besluit betrekking heeft, toegenomen.
Een toename van morele afstand in een overheidsorganisatie ontstaat wanneer de directe interactie met de doelgroep waarop besluiten invloed hebben, is verminderd of verdwijnt. Volgens onderzoekers Villegas‐Galaviz & Martin (2023) leidt het verlies van directie interactie tot een toename van immorele beslissingen. Ze stellen dat de afstand tussen besluitvormers en de doelgroep ervoor zorgt dat besluitvormers minder geneigd zijn om de gevolgen van het te nemen besluit op de doelgroep te erkennen en af te wegen.
De inzet van algoritmen in besluitvormingsprocessen verhoogt morele afstand in een organisatie, doordat uitvoeringsambtenaren hierdoor niet of in mindere mate in aanraking komen met de burgers of bedrijven waarop hun besluiten van toepassing zijn. Bovendien is de discretionaire bevoegdheid van uitvoeringsambtenaren – het vermogen om naar eigen inzicht over individuele casussen te beslissen – gedeeltelijk overgenomen door het algoritmisch besluitvormingsproces. Deze besluitvormingsprocessen zijn door algoritmen immers geautomatiseerd, waardoor het mogelijk is dat een besluit zonder wezenlijke tussenkomst van een mens van vlees en bloed op je deurmat belandt.
Levinas
De Franse filosoof Emanuel Levinas stelt in het essay Freedom and Command (1969) dat de ontmoeting met de ander cruciaal is voor het maken van morele afwegingen. Volgens Levinas ontstaat geweld door het structureel ontwijken van het gelaat (lees: gezicht) van de ander. Door het structureel ontwijken van het gezicht van de ander, wordt de ander beroofd van zijn of haar individuele karakter. De ander wordt dan niet meer als individu gezien, waardoor immorele keuzes eerder op de loer liggen.
‘De ander wordt dan niet meer als individu gezien, waardoor immorele keuzes eerder op de loer liggen’
Levinas stelt dat moraliteit ontstaat in de ontmoeting met de ander. In deze ontmoeting ben je namelijk in staat om het gezicht van de ander te zien. Het tonen van zijn of haar gezicht door de ander is een teken van kwetsbaarheid van de ander aan mij. Deze kwetsbaarheid is een beroep van de ander op mijn compassie. Hierdoor wordt er een beroep gedaan op mij als moreel wezen, waardoor ik word bewogen tot de keuze om de ander geen kwaad te doen. De ontmoeting met de ander is volgens Levinas daarom een cruciale voorwaarde voor het maken van morele afwegingen: het zorgt voor de erkenning van mijzelf en de ander als morele wezens.
Bij de inzet van algoritmen in besluitvormingsprocessen ontbreekt deze ontmoeting met de ander doorgaans. In het onderzoeksrapport Ongekend onrecht (2020), dat de grondoorzaken van de toeslagenaffaire uitgebreid toelicht, wordt dan ook benadrukt dat de afdeling Toeslagen te weinig aandacht had voor de individuele situatie van toeslagenouders, waardoor er niet of nauwelijks recht gedaan kon worden aan hun individuele leefsituatie. Toeslagenouders zonder kwade intentie hadden bijvoorbeeld een administratieve fout begaan bij het indienen van hun toeslagaanvraag. Het risico-classificatiemodel laat echter de intentie en feilbaarheid van het individu buiten beschouwing, waardoor dat individu zonder gezicht op de stapel ‘fraudeur’ belandt. In het systeem is immers geen ruimte voor persoonlijk verweer ingeruimd.
Ontmoeting met de ander
Hoewel de inzet van algoritmische besluitvormingsprocessen kansen biedt op het gebied van kostenbesparing, laat de toeslagenaffaire zien hoe algoritmes een rol kunnen spelen in het creëren van kafkaëske situaties waarin ambtenaar en burger elkaar nauwelijks meer tegenkomen. In deze situatie manifesteren algoritmes zich als de gewetenloze gerechtsdienaren uit Het Proces, die strikt toegewijd zijn aan het opvolgen van regels maar het oorspronkelijke doel uit het oog verliezen.
Om recht te doen aan de individuele leefsituatie van burgers is het volgens Levinas van belang dat de ambtenaar de ander ontmoet wanneer er een beslissing moet worden genomen. Het gebruik van algoritmes zou dan ook ondersteunend moeten zijn aan het besluitvormingsproces, en geen vervanging ervan. In Zo hadden we het niet bedoeld stelt journalist Jesse Frederik dan ook terecht dat het op de computer misschien lijkt op het aankruisen van een vinkje, maar voor burgers bepaalt dit vinkje ‘of zij een kloteleven tegemoet gaan of niet’.
Verder lezen
- Kafka, F. (1983). Het Proces. In Verzameld werk (pp. 9-173). Querido.
- Levinas, E. (1987). Freedom and Command. In A. Lingis (Trans.), Collected Philosophical Papers (pp. 15-25). Martinus Nijhoff Publishers.
