L’IA nei regimi totalitari

L’uso delle tecnologie più avanzate ha già un’ampia diffusione nei regimi totalitari. Per noi, che abbiamo la fortuna di vivere in una democrazia, al momento[1] il conflitto con la tecnologia si riduce all’irritazione di navigare tra chatbot ottusi, che danno risposte evasive o del tutto irrilevanti, canali digitali impersonali e capricciosi; a cui si aggiunge la frustrazione di avere a che fare con sistemi che, seppure nella maggior parte dei casi efficaci e risolutivi, ci spingono alla spossatezza o alla furia di fronte a piccole anomalie o a scenari che divergono di un millimetro dalla regola generale.

Ma, attenzione, la realtà è più avanti di quanto sembri: senza saperlo, siamo già oggetto di osservazione e analisi; decisioni che ci riguardano sono assunte sulla base di algoritmi complessi, che utilizzano tecniche di intelligenza artificiale, di machine learning (un tipo di intelligenza artificiale) e di deep learning (un tipo di machine learning)[2]. Nulla di male in sé, se utili a migliorare i servizi, accrescere l’efficienza e magari abbassare i costi. Il problema però è che i motori che assumono le decisioni sono complessi, opachi e di difficile interpretazione; non sono chiari i parametri che determinano una scelta piuttosto che un’altra. In breve, non vi è alcuna garanzia che non si venga ingiustamente discriminati: che servizi e prestazioni ci vengano negati per ragioni a noi sconosciute, senza che si abbia il diritto ad alcuna giustificazione.

Il settore finanziario è tra i primi e più attivi utilizzatori dei sistemi di intelligenza artificiale. Il cittadino / cliente è, a volte senza saperlo, oggetto di deliberazione da parte dell’industria finanziaria: questo avviene quando si richiede un prestito o un mutuo (due modi per prendere in prestito della liquidità), ma anche per ottenere una carta di credito, per aprire un conto corrente, per sottoscrivere una polizza assicurativa, o anche solo per ricevere una pubblicità, essere contattato da un funzionario, eccetera. De facto, la connettività finanziaria è ormai parte integrante della vita quotidiana: i pagamenti digitali sono la norma, il commercio online è ampiamente diffuso, l’accesso ai servizi bancari e al credito è cruciale per molte attività commerciali; per gli individui è ormai prassi diffusa ricorrere al credito anche per piccole cose, tipicamente l’acquisto di un’auto, o l’arredamento, ma anche piccoli beni durevoli, come gli smartphone.

Algocracy

Le summenzionate operazioni quotidiane che in qualche modo implicano l’utilizzo di sistemi di IA (a titolo esemplificativo si pensi all’accesso al credito – piccoli prestiti, erogazione della carta di credito – o ai sistemi antifrode, per l’apertura di un conto corrente), seppure di dimensioni ridotte, rivestono un significato rilevante, a volte esistenziale, per chi svolge un’attività in proprio o per le piccole aziende, ed assumono una portata sociale per la vita quotidiana di tante persone in momenti critici – mettere su casa, allargare la famiglia. Peraltro l’algoritmo, oltre ad essere utilizzato, ex ante, per determinare meritevoli ed immeritevoli di “fiducia”, può essere altresì impiegato – ex ante, in itinere o ex post – al fine di fissare il prezzo dei servizi offerti o la modalità o qualità del servizio erogato, con un impatto forse minore, ma comunque non irrilevante.

Ciò che dovrebbe preoccupare maggiormente la società è che se da un lato è vero che gli algoritmi presentano in genere notevole accuratezza, dall’altro è altresì possibile che celino, senza che ciò sia esplicito o persino percepibile, un pregiudizio sottostante a favore o contro certe categorie o gruppi di persone: è il cosiddetto “embedded bias”, liberamente tradotto come il “pregiudizio endogeno”.

Un esempio banale: una regione – chiamiamola Balocchide – ha presentato, per un periodo limitato di tempo, un’alta densità di frodi; in tale regione, molte persone si chiamano Mario Rossi. Noi siamo l’istituzione finanziaria che ha subito tali truffe e la nostra intelligenza artificiale, analizzati i dati sulle frodi, ha “imparato” a discriminare contro tutti i Mario Rossi – non si sa mai che qualcuno di essi provenga proprio da Balocchide. Vai a spiegare che, in questo caso, il nostro signor Rossi è in realtà di Arcadia – idillico luogo dove tutti sono onesti.

Il pregiudizio endogeno ha svariate cause. In alcuni casi, è lo specchio involontario delle preferenze e dei preconcetti personali e culturali – magari anche inconsci – di chi ha disegnato ed “educato” l’algoritmo. In altri casi, lo scenario è più subdolo, gli elementi di discriminazione appaiono accidentali. Sono il risultato di dati di input imperfetti: campioni di dimensioni ridotte, dati imprecisi, intervalli temporali brevi, zone di riferimento limitate.

Una tecnologia inclusiva?

La discriminazione può emergere appunto da una base dati ristretta o inaccurata, che esclude certe categorie, che riflette particolari contingenze; può essere influenzata da periodi in cui certi comportamenti o scelte, oggi inaccettabili, erano tollerati ed anche diffusi. Se in passato era prassi escludere certe categorie di persone, tale esclusione filtrerà nei dati, perpetuandola. Una grande società americana, per esempio, qualche anno fa ha scoperto che i suoi sistemi di reclutamento del personale sfavorivano le candidate di sesso femminile; una indesiderata eredità della prevalenza maschile nei primi anni di attività. Viceversa, l’algoritmo può altresì presentare un bias positivo verso certi gruppi, solo perché meglio rappresentati nella base dati e quindi beneficiari di una conoscenza più accurata.

In questi casi,  seppur l’intelligenza artificiale non mostri intenzioni malevole, finisce per discriminare o promuovere ingiustamente determinate categorie. Tra l’altro, va sottolineato che un efficace sistema di allocazione del credito svolge un ruolo sociale non privo di rilevanza: nella misura in cui riesce a limitare perdite e frodi, concorre a rendere il credito più ampiamente disponibile a chi lo merita, un fattore che ha effetti positivi anche in termini di produttività e di investimenti. Inoltre, un Paese esente da problemi di inefficiente allocazione del credito corre anche un rischio minore di dover intervenire, con fondi pubblici, in soccorso di specifiche banche o istituzioni finanziarie, azione necessaria a scongiurare potenziali danni sistemici.

Tuttavia, un sistema che discrimina, senza ragione, particolari gruppi o persone pone ineluttabili questioni da un punto di vista etico. Questo è particolarmente vero quando tale “embedded bias” concerne – magari in modo camuffato – caratteristiche sensibili, per le quali la discriminazione è considerata generalmente inaccettabile per ragioni morali e politiche, tanto da essere sanzionata dalla legge: il colore della pelle, l’origine geografica, l’orientamento sessuale o la professione religiosa. E’ proprio a partire da queste preoccupazioni etiche che la ricercatrice del Massachusetts Institute of Technology (MIT) e attivista digitale Joy Boulamwini ha fondato la Algorithmic Justice League.

Per gli ottimisti tali problemi sono poca cosa rispetto ai vantaggi: l’intelligenza artificiale può addirittura ridurre i pregiudizi umani, escludendo dai processi decisionali la componente umana irrazionale e le interpretazioni dei dati soggettive, in cui inevitabilmente filtrano le preferenze culturali di chi li guarda. D’altronde anche le scelte compiute direttamente dal personale delle banche non sono immuni da “pregiudizi”: ogni individuo porta con sé, più o meno consciamente, preconcetti che a volte conducono a ingiuste discriminazioni. Traumatizzato da una recente separazione, l’impiegato di banca signor Bianchi potrebbe provare particolare antipatia per i clienti con i capelli rossi, tanto da ritenerli più propensi alla frode o meno meritevoli di credito. L’intelligenza artificiale non ha di questi sentimentalismi. Va però detto che una ingiusta discriminazione da parte di singoli funzionari appare più facilmente identificabile, può essere affrontata dalla catena gerarchica, e inoltre la vittima può decidere di rivolgersi ad altri funzionari. Diversamente, la decisione da parte dell’IA sembra più difficilmente appellabile.

Anzitutto, perché si è portati a ritenere che il motore di IA sia di per sé statisticamente accurato. Metterne in discussione l’efficacia o questionarne le scelte potrebbe risultare particolarmente arduo. La complessità, peraltro, rende difficile l’interpretazione: l’intelligenza artificiale appare come un “black box”, una scatola nera. Nella pratica, difficilmente si potrà attribuire il “No” ricevuto dal sig. Rossi da parte della banca a uno specifico fattore – al colore della pelle o al luogo di nascita. Sarà invece attribuito a una generale inadeguatezza determinata dall’algoritmo secondo la sua imperscrutabile saggezza: una somma di fattori che la mente umana non riesce a sintetizzare. Rispetto a quella umana, l’intelligenza artificiale non si presta facilmente ad una argomentazione verbale. Peraltro, nessuno sarà tenuto – e neppure in grado – di spiegare a Mario Rossi che la richiesta di fido è stata respinta per via del nome, molto diffuso in Balocchide, nonostante lui sia di Arcadia.

Non si mette in dubbio che le banche abbiano diritto di decidere a chi dare credito, che abbiano la facoltà di declinarlo senza dover spiegare le ragioni: indubbiamente, non può esistere un diritto generale al credito. Tuttavia, siamo di fronte a decisioni che riguardano particolari persone o gruppi, assunte da un algoritmo altamente sofisticato e, in generale, anche molto accurato, ma il cui processo decisionale sfugge a una comprensibile interpretazione umana; non si può presagire, in questi casi, il diritto di sapere perché si è stati esclusi?

Peraltro, esiste un vero e proprio trade-off nei sistemi di IA tra complessità ed accuratezza; gli algoritmi più precisi sono spesso quelli più complicati. Tali algoritmi sfuggono ad una interpretazione verbale, non possono essere facilmente descritti a parole; non si piegano ad una narrativa comprensibile. I fattori che contribuiscono alle decisioni sono molteplici e spesso concomitanti, discontinui, intricati. La decisione può discendere da una molteplicità di algoritmi interconnessi tra loro.

Il tema, si è visto, solleva urgenti questioni etiche. In aggiunta, presenta una notevole valenza politica, economica e sociale: essere esclusi dal credito, dai servizi bancari o assicurativi può significare la cessazione di un’attività o tarpare un’iniziativa meritevole. Per un individuo, può voler dire rinunciare agli studi o posporre la formazione di una famiglia. La sistematica esclusione di alcuni gruppi può causare sfiducia verso la tecnologia e, più in generale, verso le istituzioni – un fenomeno già ampiamente osservato nell’opposizione, in molti casi autolesionista, nei confronti dei vaccini. Può ulteriormente marginalizzare i soggetti più vulnerabili o chi è già in partenza svantaggiato; di fatto, esacerbare e consolidare le disuguaglianze. I fautori del merito dovrebbero prendere nota: una diseguaglianza delle opportunità in larga parte invisibile (e, in quanto tale, anche più difficilmente contrastabile).

Orientamenti etici per l’Intelligenza Artificiale

Negli ultimi anni la tematica ha iniziato ad attrarre l’attenzione delle istituzioni. Tra i primi ad intervenire sul problema nell’Aprile 2019, l’Unione Europea ha pubblicato il documento: “Orientamenti etici per un’IA affidabile,”; altre prese di posizione sono venute, fra gli altri, dall’OCSE e dal Fondo monetario internazionale. È indubbiamente positivo che si sia avviata una discussione, ma le raccomandazioni restano ancora molto sul vago. Nell’ambito della propria organizzazione – si afferma – andrebbero definiti piani e regole per identificare e mitigare il pregiudizio endogeno. Ma in quanti vorranno seguire tali raccomandazioni? Specialmente di fronte al timore che ne risulti una perdita, anche temporanea, di accuratezza o che siano richieste risorse aggiuntive.

Tra le altre misure suggerite: la trasparenza delle fonti dati e che sia garantito un intervento umano nel sovraintendere le scelte dell’algoritmo, ovvero che queste siano sottoposte regolarmente a revisione critica. In aggiunta, nei casi in cui le scelte hanno un forte impatto sociale, non è impensabile che venga imposto un determinato livello di “explainability”. Sono alcune idee di una strada ancora tutta da percorrere, alcune delle quali peraltro contenute nel report Benifei-Tudorache, che ha il merito di ragionare, oltre che a livello di rischi per le persone e per le imprese, anche di quelli per l’ambiente e per le comunità nel loro complesso, parimenti non trascurabili. In sostanza oggi, intimoriti dall’ antropomorfizzazione dell’IA (si pensi, a titolo esemplificativo, a Open AI – Chat GPT), risulta fondamentale per cittadini, imprese e policymaker non farsi spaventare dalla complessità: si sta aprendo una nuova stagione per la difesa dei diritti.

[1] E, a giudicare dalla bozza di AI Act votata il 14 giugno dal Parlamento Europeo, anche in futuro.

[2] Per approfondire le differenze terminologiche fra intelligenza artificiale (IA), machine learning e deep learning, si veda il link.