La parte dell'intervista a Gates a cui nessuno risponde

Ho visto l'intervista in cui Bill Gates dice di aver cambiato idea sull'IA. Quasi tutto è quello che ci si aspetterebbe. Le capacità sono arrivate più in fretta di quanto pensasse. Bioterrorismo, sicurezza informatica, lavoro. Ma c'era una critica che continuava a tornare, e mi è rimasta in mente più a lungo delle parti che fanno paura. Continua a ripetere che per ora abbiamo solo una revisione volontaria, senza criteri. Le aziende si danno i voti da sole, e nessuno ha nemmeno messo per iscritto quale dovrebbe essere l'esame.

Lo dice quasi come una sfida. E mentre lo guardavo, continuavo a pensare: io lo so, com'è fatto quell'esame. Non per tutto. Per la medicina, il campo in cui mi sono formato.

Ecco la cosa strana degli ospedali, che nessuno si ferma a notare. Si può entrare in un ospedale di una città mai vista prima e affidare la propria vita a perfetti sconosciuti, e sembra normale. Perché? Nessuna di quelle persone gode di fiducia perché sembra intelligente. Ognuna è passata attraverso una catena. Esami, specializzazione, un medico strutturato che le ha fatto giustificare ad alta voce ogni prescrizione, una riunione in cui i suoi errori vengono smontati davanti ai colleghi. La medicina ha imparato, lentamente e dopo moltissimi danni, che sembrare capaci non è uno standard. Ha fatto invece della responsabilità lo standard, e la fiducia è venuta di conseguenza.

Quindi quando Gates chiede come dovrebbero essere i criteri, non credo che la risposta vada inventata dal nulla. In medicina, almeno, la si può prendere in prestito.

Cominciamo dal test più semplice possibile. Se un sistema influirà su ciò che succede a un paziente, facciamogli la stessa domanda due volte. Se dà due risposte diverse, questo da solo dovrebbe chiudere la discussione. Sembra un'asticella assurdamente bassa. Quasi tutta l'IA medica di oggi non riesce a superarla.

Poi chiediamogli perché, come lo chiede un medico strutturato. Non un paragrafo che suoni ragionevole, ma la base vera. Quale valore, quale soglia, quali evidenze. Se il ragionamento non si può esaminare, non si può contestare, e ciò che non si può contestare non deve avvicinarsi a un paziente.

Poi il tasso di errore, misurato da qualcun altro, su dati che il sistema non ha mai visto. È semplicemente l'istinto dell'approvazione dei farmaci. Nessuno si fida della parola del produttore, e nessuno dovrebbe cominciare adesso.

E quando il sistema impara qualcosa di nuovo, e questi sistemi continueranno a imparare, è proprio questo il loro scopo, il nuovo comportamento aspetta. Gira in silenzio, registra ciò che avrebbe fatto, e una persona decide se promuoverlo. La medicina lo fa già con sé stessa. Un risultato promettente aspetta la sperimentazione, la sperimentazione aspetta la linea guida. È lento, ed è anche il motivo per cui l'armadietto dei medicinali non ci uccide.

L'obiezione è sempre l'innovazione. Sempre. Ma credo che questa obiezione confonda due lavori diversi in uno solo. Un'IA che cerca in dieci milioni di cartelle schemi che nessuno ha mai codificato dovrebbe poter correre libera, perché sbagliare quasi sempre è esattamente ciò a cui servono le ipotesi. È l'IA che agisce sull'unico paziente che ha davanti ad avere bisogno del guinzaglio. Due lavori, regole diverse, e tra loro una porta che si apre solo dopo una revisione. Gates fa quasi lo stesso ragionamento sul monitoraggio dei modelli in grado di progettare molecole pericolose. All'industria costerebbe quasi nulla. Eppure, chissà come, ancora non si fa.

Qui voglio stare attento a non andare oltre la mia competenza. Non ho idea di quale sia la lista equivalente per le armi informatiche o la biosicurezza. Non è il mio campo, e ho imparato a diffidare di chi si muove con disinvoltura in ogni ambito allo stesso tempo. Ma noto che quando Gates pronuncia la parola criteri, tutti annuiscono gravemente e nessuno scrive niente. Nel mio angolo di mondo, la lista si può scrivere. Gran parte è qui sopra, in circa quattrocento parole.

E per quel che vale, non scrivo da persona che ha paura di questa tecnologia. Ci lavoro ogni giorno, e ho cominciato questo lavoro per ciò che succede quando la medicina arriva tardi. So quanto costa. È proprio per questo che i criteri contano. Il modo più rapido perché l'IA aiuti davvero le persone, su larga scala, nei luoghi che ospedali, regolatori e tribunali controllano, è che qualcuno mostri che cosa significa rendere conto, in pubblico, dove lo si può verificare. La medicina ha scritto quel manuale circa un secolo fa. Qualcuno deve solo riprenderlo in mano.

Fonte: l'intervista di The Atlantic. ((Z))