Eerlijke algoritmen voor beleid

Onderzoek UvA

In de Nederlandse samenleving worden steeds meer beslissingen genomen door geautomatiseerde systemen die gebruik maken van algoritmen. Maar hoe eerlijk is de toepassing van algoritmen? Rik Helwegen, onderzoeker aan de Universiteit van Amsterdam (UvA), zocht het uit voor de gemeente Amsterdam. Hij maakte daarvoor gebruik van diverse CBS-bestanden.

Onlangs kwam een grote Nederlandse gemeente in het nieuws omdat deze algoritmen inzet om fraude met sociale welzijnsregelingen op te sporen. Daar protesteerden tientallen burgers tegen, omdat dit gebeurde in wijken met relatief veel inwoners met een migratie-achtergrond. Dat vonden ze discriminerend. ‘Steeds meer gemeenten experimenteren met een data gedreven aanpak’, zegt Helwegen. ‘Daarbij worden in toenemende mate algoritmen ingezet die gebruik maken van machine learning. Dat hoeft geen nadelig effect te hebben, maar op het moment dat etniciteit of andere gevoelige achtergrondkenmerken van personen de beslissingen die gemeenten of andere organisaties nemen beïnvloeden, kan dat ethische of wettelijke bezwaren opleveren.’

FairTrade-methode
Voor de jonge onderzoeker was dat reden om een praktische methode te ontwikkelen, die ervoor zorgt dat de inzet van algoritmen tot een eerlijk antwoord op complexe vragen leidt. Voor deze zogeheten FairTrade-methode baseert Helwegen zich op de causaliteitstheorie. De methode corrigeert aan de hand van schattingen causale verbanden, die voortkomen uit de combinatie van data en domeinkennis. Helwegen: ‘Het uitgangspunt is dat de uitkomst van het model hetzelfde moet zijn als de waarde van een gevoelig persoonskenmerk wordt omgewisseld, bijvoorbeeld een niet-westerse achtergrond voor een westerse achtergrond.’

‘De kansenongelijkheid in Amsterdam en andere steden neemt toe’

Helwegen was een paar maanden bezig met theoretisch onderzoek in een experimentele setting. Vervolgens wilde hij het model testen in de praktijk. ‘Daarvoor heb ik meerdere organisaties en bedrijven benaderd. De gemeente Amsterdam reageerde gelijk, want zij herkenden het probleem.’
Helwegen sprak met deskundigen bij de gemeente Amsterdam en het CBS op het gebied van het sociaal domein en testte zijn model met succes op een selectie van ongeveer 11.000 profielen van Nederlanders die bijstand ontvangen of in het verleden veroordeeld zijn omdat zij onterecht een uitkering kregen. Voor het experiment kreeg hij toegang tot het Stelsel van Sociale Bestanden van het CBS. De testen voerde hij uit in de streng beveiligde werkomgeving van het CBS, onder strikte privacy-voorwaarden.

Amsterdam
Tamas Erkelens is programmamanager data innovatie bij de gemeente Amsterdam. Hij erkent dat een verkeerde inzet van algoritmen nadelig kan uitpakken voor bepaalde groepen in de samenleving. ‘De kansenongelijkheid in Amsterdam en andere steden neemt toe. Bij de toepassing van algoritmen – vooral door niet overheidsorganisaties – wordt steeds meer rekening gehouden met de achtergronden van personen, hun opleiding, inkomen, de buurt waarin ze wonen, et cetera. Daarmee dreigt de digitale samenleving discriminatie van bevolkingsgroepen te versterken. Amsterdam heeft de ambitie dat geen enkel algoritme dat in de stad wordt gebruikt discrimineert of ongewenste beslissingen neemt.’
Amsterdam wil zijn eigen algoritmen screenen, maar wil ook dat andere bedrijven en organisaties in de hoofdstad eerlijke algoritmes ontwikkelen. Hoe gaat de gemeente dat aanpakken? Erkelens: ‘We nemen verschillende maatregelen. Zo willen we het gebruik van eerlijke algoritmen opnemen als aanbestedingsvoorwaarde van de gemeente. Ook het instellen van keurmerken kan een bijdrage leveren. Daarnaast vergroten we het bewustzijn rond de inzet van algoritmen, onder andere door te vertellen hoe ze werken en hier discussies over te voeren. Dat gebeurt binnen de gemeente met mensen van verschillende disciplines, bijvoorbeeld beleidsmakers en specialisten op het gebied van privacy en communicatie, maar ook met de inwoners van Amsterdam. Uiteindelijk dient de gemeenteraad – door Amsterdammers gekozen – voorwaarden aan algoritmes te stellen.’ Volgens Erkelens moeten mensenrechten zoals het verbod op discriminatie digitaal worden gehandhaafd, zowel landelijk als Europees. ‘We kunnen technologie inzetten om onze digitale rechten te beschermen.’

Voor meer informatie, ga naar de website van het CBS.

 

Vond je dit artikel interessant? Lees alle artikelen van: platform O
Deel dit artikel

Er zijn nog geen reacties op dit artikel

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

*