È il 2014 e nei Paesi Bassi entra in funzione un sistema chiamato SyRI, che nulla ha a che fare con l’assistente virtuale di Apple.
SyRI è l’acronimo di “Systeem Risico Indicatie” (Sistema Indicatore di Rischio) e aveva l’obiettivo di individuare possibili frodi tra coloro che ricevevano sussidi o altri tipi di assistenza sociale, assegnando a ciascun individuo un punteggio di rischio.
Il sistema utilizzava dati personali sensibili raccolti da circa 17 database relativi a fisco, storia medica, utenze telefoniche ed elettriche, servizi sociali e altro ancora.
Dove veniva utilizzato questo algoritmo e chi erano i destinatari?
L’algoritmo veniva applicato in quartieri svantaggiati di città come Rotterdam, Eindhoven e Haarlem. Non si limitava a monitorare solo i beneficiari di sussidi: anche coloro che non ricevevano aiuti, ma vivevano nelle stesse aree monitorate, venivano profilati.
SyRI nei Paesi Bassi: come funzionava l’algoritmo anti-frode e le sue conseguenze
Il governo olandese mirava a individuare rapidamente e con maggiore precisione i casi di frode fiscale nei sistemi di sussidio, in particolare per quanto riguarda i sussidi per l’infanzia.
Sulla base della profilazione dei dati presenti nelle dichiarazioni dei redditi registrate nel sistema SyRI, molte persone furono identificate dalle autorità fiscali come potenziali truffatori. Questo sistema generava “sospetti di frode”, determinando l’avvio di controlli più approfonditi.
I cittadini coinvolti, inseriti automaticamente in una lista di monitoraggio, erano tenuti a dimostrare la regolarità delle proprie dichiarazioni fiscali. Inoltre, chi era sottoposto a verifiche non riceveva una comunicazione tempestiva dell’apertura del procedimento di accertamento.
Il sistema sollevò diverse preoccupazioni. Nel 2018, diverse associazioni si unirono per fare causa al governo olandese per vari motivi:
- I cittadini non erano a conoscenza dell’uso di dati sensibili estratti da 17 banche dati per generare un punteggio di rischio.
- Nessuno aveva accesso al proprio punteggio di rischio o alla logica dietro il suo calcolo, rendendo il processo opaco.
- Non era chiaro se venissero utilizzati sistemi di riconoscimento facciale.
Alla fine, questo algoritmo anti-frode si è rivelato invasivo e discriminatorio, penalizzando in particolare gli immigrati.
Circa 20.000 famiglie olandesi, molte delle quali di origine straniera, furono erroneamente accusate di frode e costrette a rimborsare ingenti somme di denaro. Questo causò gravi difficoltà finanziarie e profonde ripercussioni sociali, con molte famiglie cadute in povertà a causa di debiti accumulati ingiustamente.
Crisi politica nei Paesi Bassi: le dimissioni del governo Rutte per un algoritmo
La scoperta delle ingiustizie causate da SyRI scatenò una crisi politica nei Paesi Bassi. Di fronte alle pressioni dell’opinione pubblica e alle inchieste giornalistiche, il governo guidato da Mark Rutte presentò le proprie dimissioni, assumendosi la responsabilità politica del fallimento del sistema.
Questo è stato il primo caso di un governo che si dimette per colpa di un algoritmo.
La vicenda ha aperto un dibattito sull’uso della tecnologia nelle decisioni pubbliche e sulla necessità di garantire maggiore trasparenza e controllo umano nei processi automatizzati.
Il sistema SyRI è rimasto in funzione dal 2014 fino all’inizio del 2020, quando il Tribunale dell’Aja ne ordinò la sospensione. Sebbene sia comprensibile che un governo voglia prevenire abusi nel sistema di welfare, il giudice sottolineò che è “contrario ai diritti umani considerare i cittadini, soprattutto i più vulnerabili, come soggetti da sorvegliare invece che come titolari di diritti”.
La sentenza si basò non sul GDPR, ma sulla Convenzione Europea dei Diritti Umani, che all’articolo 8 garantisce il diritto alla privacy.
Algoritmi e ingiustizie nel sistema educativo: il caso del Regno Unito
Nel 2020, il sistema educativo del Regno Unito affrontò una crisi significativa a causa dell’uso di un algoritmo per determinare i voti finali degli studenti delle scuole superiori. Questa decisione, presa in risposta all’impossibilità di svolgere gli esami tradizionali a causa della pandemia di COVID-19, portò a proteste diffuse e sollevò importanti questioni sull’equità e l’affidabilità dei sistemi automatizzati nelle decisioni educative.
L’implementazione dell’algoritmo
Il governo britannico incaricò l’Ofqual, l’ente nazionale che si occupa di qualifiche ed esami, di sviluppare un metodo alternativo per assegnare i voti. Fu introdotto un algoritmo progettato per standardizzare i risultati, combinando le performance passate di ogni studente con il rendimento accademico medio della scuola di provenienza.
Le conseguenze inattese
Quando i risultati furono pubblicati, circa il 40% degli studenti ricevette voti inferiori rispetto alle previsioni degli insegnanti. Il problema derivava dal fatto che la formula attribuiva un peso differente in base al tipo di scuola: pubblica o privata, ricca o povera, situata in centro o in periferia.
Il pregiudizio implicito nel sistema favoriva gli istituti privati e d’élite, penalizzando gli studenti provenienti da scuole pubbliche in aree svantaggiate. Di conseguenza, molti studenti videro compromesse le loro opportunità di accesso all’università o ad altre forme di istruzione superiore.
Le proteste e la retromarcia del governo
La pubblicazione dei risultati scatenò proteste su scala nazionale. Studenti, genitori e insegnanti manifestarono contro quello che fu percepito come un sistema ingiusto e discriminatorio. La pressione pubblica costrinse il governo a intervenire: il ministro dell’Istruzione, Gavin Williamson, annunciò che i voti assegnati dall’algoritmo sarebbero stati annullati e sostituiti dalle valutazioni originali degli insegnanti.
Questo episodio evidenziò le sfide e i rischi associati all’uso di algoritmi nelle decisioni educative, specialmente quando non vengono considerati adeguatamente i contesti socio-economici degli studenti.
Algoritmi e regolamentazione: perché serve maggiore controllo e trasparenza
Il caso olandese ha sottolineato l’importanza di una regolamentazione degli algoritmi utilizzati nella pubblica amministrazione. Sebbene la tecnologia possa migliorare l’efficienza, è fondamentale che gli algoritmi anti-frode siano progettati e implementati in modo trasparente, con un chiaro controllo umano e un’attenzione costante alle implicazioni etiche e sociali.
Un algoritmo deve essere equo e inclusivo, per evitare il rischio di discriminazioni. Le istituzioni pubbliche devono garantire che i sistemi tecnologici non penalizzino ingiustamente i cittadini, ma che, al contrario, servano a rendere il sistema più giusto e accessibile per tutti.