Ongelooflijk dat Rotterdam na de toeslagenaffaire drie jaar lang discriminerende algoritmes gebruikte om uitkeringsfraude te 'voorspellen'.

Ik onderhandel momenteel over de Europese AI-wet die een toeslagenaffaire 2.0 moet voorkomen. 🧵
RT @reaumie: Rotterdam gebruikte een algoritme om te berekenen wie de hoogste kans had om fraude te plegen.

Vooral alleenstaande vrouwen die niet goed Nederlands spreken moesten bij de gemeente komen.

Lees het onderzoek dat wij…

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155076381372440

Nederland is koploper digitale schandelen in Europa.

Rotterdam was een van de eerste Europese steden die een algoritme gebruikte om uitkeringsfraude 'op te sporen'. De gemeente stopte hier in 2021 mee (na drie jaar!) na forse kritiek van de Rotterdamse Rekenkamer.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155078423994368

Voor wie het artikel niet heeft gelezen, een korte samenvatting:

Op basis van een discriminerend algoritme kregen in Rotterdam vooral alleenstaande, jonge moeders die niet goed Nederlands spraken een brief (zonder uitleg!) om zich bij de gemeente te melden voor fraudeonderzoek.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155080261103644

Het risico-inschattingsmodel was namelijk getraind op niet-representatieve data, waardoor het algoritme dus discrimineerde. Ook subjectieve criteria die nooit mee zouden mogen tellen als ‘verzorgd uiterlijk’ werden meegenomen in het algoritme.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155082098208774

Deze onderzoeken zijn soms zeer ingrijpend en stressvol. Zo konden mensen zelfs onterecht tijdelijk op hun uitkering worden gekort.

De AI-wet waar ik namens de Groenen in het Europees Parlement over onderhandel, moet dit soort misstanden met algoritmes voorkomen.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155084186972161

Ik heb vijf voorstellen:

➡️ Algoritmes mogen mensen niet discrimineren: ze mogen niet met biased data worden getraind.
➡️Mensen mogen nooit met lege handen tegenover een algoritme staan: toezicht en uitleg van een mens wordt verplicht.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155086791634964

➡️ Een verplicht Europees algoritmeregister waar alle risicovolle algoritmes in staan.
➡️ Een verplichte mensenrechtentoets: overheden moeten verantwoorden hoe mensenrechten gewaarborgd worden.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155088662294533

Maar het belangrijkst en ook politiek het spannendst:

➡️ Een verbod op 'fraudevoorspellende' algoritmes, zoals we dit hier, en in de toeslagenaffaire hebben gezien.

Rechtse partijen vinden dit nu te ver gaan, ondanks het menselijk leed dat hiermee gepaard gaat.

🐦🔗: https://n.respublicae.eu/kimvsparrentak/status/1633155090881081351