Den del af Gates-interviewet, som ingen svarer på

Jeg så interviewet, hvor Bill Gates siger, at han har skiftet mening om AI. Det meste er, hvad man kunne forvente. Evnerne kom hurtigere, end han troede. Bioterror, cyber, job. Men én klage blev ved med at vende tilbage, og den blev hængende hos mig længere end de skræmmende dele. Han siger igen og igen, at alt, hvad vi har lige nu, er frivillig gennemgang uden kriterier. Virksomhederne retter deres egne lektier, og ingen har skrevet ned, hvad prøven overhovedet skal være.

Han siger det næsten som en udfordring. Og mens jeg så det, tænkte jeg hele tiden: Jeg ved faktisk, hvordan den prøve ser ud. Ikke for alt. For medicin, det felt, jeg er uddannet i.

Her er det mærkelige ved hospitaler, som ingen stopper op og lægger mærke til. Du kan gå ind på et i en by, du aldrig har besøgt, og lægge dit liv i hænderne på vildt fremmede, og det føles normalt. Hvorfor? Det er ikke, fordi de virker kloge, at du stoler på nogen af dem. Hver eneste af dem er kommet gennem en kæde. Eksamener, speciallægeuddannelse, en overlæge, der fik dem til at begrunde hver ordination højt, en konference, hvor deres fejl bliver pillet fra hinanden foran kollegerne. Medicinen lærte, langsomt og efter megen skade, at det at virke dygtig ikke er en standard. Den gjorde i stedet ansvarlighed til standarden, og tilliden kom ud på den anden side.

Så når Gates spørger, hvordan kriterier kunne se ud, tror jeg ikke, at svaret skal opfindes fra bunden. I medicinen kan man i hvert fald låne det.

Start med den enklest mulige test. Hvis et system skal have indflydelse på, hvad der sker med en patient, så stil det det samme spørgsmål to gange. Hvis det giver dig to forskellige svar, burde det alene afslutte samtalen. Det lyder som en absurd lav overligger. Det meste medicinske AI i dag kommer ikke over den.

Spørg det derefter hvorfor, sådan som en overlæge spørger hvorfor. Ikke efter et afsnit, der lyder fornuftigt, men efter det egentlige grundlag. Hvilken værdi, hvilken tærskel, hvilken evidens. Hvis ræsonnementet ikke kan undersøges, kan man ikke være uenig i det, og noget, man ikke kan være uenig i, har ikke noget at gøre i nærheden af en patient.

Så fejlraten, målt af en anden, på data, systemet aldrig har set. Det er bare det samme instinkt som ved godkendelse af lægemidler. Ingen tager producentens ord for gode varer, og ingen bør begynde på det nu.

Og når systemet lærer noget nyt, og det vil de her systemer blive ved med, det er hele pointen med dem, så venter den nye adfærd. Den kører i stilhed, logger, hvad den ville have gjort, og et menneske beslutter, om den rykker op. Medicinen gør allerede dette ved sig selv. Et lovende resultat venter på forsøget, forsøget venter på retningslinjen. Det er langsomt, og det er også grunden til, at dit medicinskab ikke slår dig ihjel.

Indvendingen er altid innovation. Det er den altid. Men jeg tror, den indvending blander to forskellige opgaver sammen til én. En AI, der gennemsøger ti millioner journaler efter mønstre, som ingen har kodificeret, bør have frit løb, fordi det at tage fejl det meste af tiden er det, hypoteser er til for. Det er den AI, der handler på den ene patient foran sig, der skal i snor. To opgaver, forskellige regler og en dør imellem dem, som kun åbner sig efter en gennemgang. Gates kommer med næsten samme pointe om at overvåge de modeller, der kan designe farlige molekyler. Det ville koste branchen næsten ingenting. Alligevel bliver det af en eller anden grund stadig ikke gjort.

Jeg vil være varsom med, hvor langt min egen rækkevidde går her. Jeg aner ikke, hvad den tilsvarende liste er for cybervåben eller biosikkerhed. Det er ikke mit felt, og jeg er blevet mistænksom over for alle, der er flydende i alle domæner på én gang. Men jeg bemærker, at når Gates siger ordet kriterier, nikker alle alvorligt, og ingen skriver noget ned. I mit hjørne af verden kan listen skrives. Det meste af den står ovenfor, i omkring fire hundrede ord.

Og for hvad det er værd, skriver jeg ikke dette som en, der er bange for teknologien. Jeg bygger med den hver dag, og jeg kom ind i det her arbejde på grund af det, der sker, når medicinen kommer for sent. Jeg ved, hvad det koster. Det er netop derfor, kriterierne betyder noget. Den hurtigste vej til, at AI faktisk kan hjælpe mennesker, i stor skala, de steder, hvor hospitaler, myndigheder og domstole har kontrollen, er, at nogen viser, hvordan ansvarlighed ser ud, offentligt, hvor det kan efterprøves. Medicinen skrev den drejebog for omkring hundrede år siden. Nogen skal bare tage den op.

Kilde: Interviewet med The Atlantic. ((Z))