Ongelooflijk dat Rotterdam na de toeslagenaffaire drie jaar lang discriminerende algoritmes gebruikte om uitkeringsfraude te 'voorspellen'.
Ik onderhandel momenteel over de Europese AI-wet die een toeslagenaffaire 2.0 moet voorkomen. 🧵
RT @reaumie: Rotterdam gebruikte een algoritme om te berekenen wie de hoogste kans had om fraude te plegen.
Vooral alleenstaande vrouwen die niet goed Nederlands spreken moesten bij de gemeente komen.
Lees het onderzoek dat wij…
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155076381372440
Nederland is koploper digitale schandelen in Europa.
Rotterdam was een van de eerste Europese steden die een algoritme gebruikte om uitkeringsfraude 'op te sporen'. De gemeente stopte hier in 2021 mee (na drie jaar!) na forse kritiek van de Rotterdamse Rekenkamer.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155078423994368
Voor wie het artikel niet heeft gelezen, een korte samenvatting:
Op basis van een discriminerend algoritme kregen in Rotterdam vooral alleenstaande, jonge moeders die niet goed Nederlands spraken een brief (zonder uitleg!) om zich bij de gemeente te melden voor fraudeonderzoek.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155080261103644
Het risico-inschattingsmodel was namelijk getraind op niet-representatieve data, waardoor het algoritme dus discrimineerde. Ook subjectieve criteria die nooit mee zouden mogen tellen als ‘verzorgd uiterlijk’ werden meegenomen in het algoritme.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155082098208774
Deze onderzoeken zijn soms zeer ingrijpend en stressvol. Zo konden mensen zelfs onterecht tijdelijk op hun uitkering worden gekort.
De AI-wet waar ik namens de Groenen in het Europees Parlement over onderhandel, moet dit soort misstanden met algoritmes voorkomen.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155084186972161
➡️ Een verplicht Europees algoritmeregister waar alle risicovolle algoritmes in staan.
➡️ Een verplichte mensenrechtentoets: overheden moeten verantwoorden hoe mensenrechten gewaarborgd worden.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155088662294533
Maar het belangrijkst en ook politiek het spannendst:
➡️ Een verbod op 'fraudevoorspellende' algoritmes, zoals we dit hier, en in de toeslagenaffaire hebben gezien.
Rechtse partijen vinden dit nu te ver gaan, ondanks het menselijk leed dat hiermee gepaard gaat.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155090881081351
Maar ik blijf doorzetten en hoop dat artikelen als deze (dank @VersBeton!) het ook voor rechtse politici duidelijk maakt hoe algoritmes in de naam van 'efficiëntie' mensen kunnen reduceren tot nummers en zo hun levens kunnen verwoesten.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155093284417561
Tot slot, we moeten ook niet vergeten dat deze misstanden niet enkel het gevolg zijn van AI.
Het probleem is hier ook: hoe gaat de gemeente met burgers om? Stelt die zich dienstbaar op, of is elke alleenstaande moeder een potentiële fraudeur?
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155095100551182
Naar aanleiding van dit artikel dien ik schriftelijke vragen in bij de Europese Commissie.
Meer weten? Zie ook: https://www.youtube.com/watch?v=muV_TUIbnB4
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155096795029507
Ik heb vijf voorstellen:
➡️ Algoritmes mogen mensen niet discrimineren: ze mogen niet met biased data worden getraind.
➡️Mensen mogen nooit met lege handen tegenover een algoritme staan: toezicht en uitleg van een mens wordt verplicht.
🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155086791634964