את מי משרתת הבינה המלאכותית הקלינית

לפני כמה שנים עבר מודל חיזוי הספסיס הנפוץ ביותר בבתי החולים בארצות הברית הערכה בלתי תלויה. ספסיס הוא מה שקורה כשזיהום רגיל דוחף את הגוף לתגובת שרשרת שמתחילה להשבית איברים. הוא יכול להרוג בתוך שעות, לא פעם לפני שמישהו קולט עד כמה המטופל חולה. המודל שנבנה כדי לתפוס אותו תפס רק מקרה אמיתי אחד מכל שלושה, וסימן אחד מכל חמישה מטופלים מאושפזים כבעל סיכון גבוה.

הקלינאים למדו מהר. ההתראה קופצת בלי הפסקה אצל מטופלים שמצבם לא מידרדר, ומפספסת את רוב אלה שמצבם כן מידרדר. אחרי כמה שבועות מפסיקים לסמוך עליה. אין ברירה אלא להפסיק לסמוך עליה. ההתראה הופכת לרעש. מערכת שנקנתה כדי לתפוס הידרדרות לימדה את כולם להתעלם מהידרדרות.

זו הבעיה הראשונה: מתמטיקה גרועה. שום החלטת ניתוב לא תתקן אותה. אי אפשר לחווט מערכת שבורה כך שתשרת מטופלים. מודל הספסיס נכשל בתיקוף, ושום דבר בהמשך הדרך לא משנה את זה.

זה היה ב-2021. החודש פורסם MIRA ב-Nature. זהו סוכן בינה מלאכותית רפואי אוטונומי שקורא את ההיסטוריה הרפואית של מטופלים, מזמין בדיקות, מפענח תוצאות וכותב תוכניות טיפול. על מקרים זהים הוא הגיע לדיוק אבחוני של 87.8%, לעומת 78.1% אצל רופאים מומחים מוסמכים. הוא עומד בסטנדרט הטיפול בעקביות רבה יותר מהרופאים שמולם נמדד. כך נראית החזית היום.

MIRA עבר תיקוף. המתמטיקה עובדת. ודווקא זה הופך שאלה אחרת לדחופה.

אותו מודל בדיוק, עם פלטים זהים, משרת אנשים שונים לגמרי בהתאם לבחירה אחת: לאן הולך החיזוי.

אם הפלט מגיע קודם לקלינאי, הוא משרת את המטופל, כי הקלינאי יכול לפעול לפיו.

אם הוא מגיע קודם להחלטה על כיסוי ביטוחי, הוא משרת את המבטח. מטופלים בסיכון גבוה מסומנים לדחייה עוד לפני שהם חולים, והמטופל לא רואה את האות בכלל.

נתבו אותו לניהול המיטות, והוא משרת את הלוגיסטיקה של בית החולים ומעביר מטופלים בין מיטות מהר יותר. אותו דיוק, אדון אחר. המטופל עדיין מקבל אבחנה בסופו של דבר, אבל את ההחלטה על הניתוב קיבל בית החולים, לא הוא.

המודל לא השתנה. המתמטיקה תקינה. את מי הוא משרת, זה תלוי במי שהחליט לאן הולך האות.

אז השאלה שכדאי לשאול על כל אחת מהמערכות האלה היא מי רואה את הפלט, מי פועל לפיו, ומי משלם כשהוא טועה.

במקרה של מודל הספסיס, השאלה הזו כמעט לא רלוונטית, כי המודל שבור. המחיר נופל על כולם. על הרופא או האחות שלמדו להתעלם מאזעקות, על בית החולים שנושא באחריות המשפטית, ומתחת לכל זה על המטופל, שההידרדרות שלו עוברת בלי שאיש ישים לב, בזמן שכולם מתעלמים ממערכת שהשמיעה יותר מדי אזעקות שווא.

במקרה של MIRA, התשובה לא מקרית. מישהו החליט לאן הולך האות ובנה את המערכת כך שתשלח אותו לשם.

והתשובה חייבת להיות ספציפית. ״הוא משרת את המטופלים״ זה מסוג המשפטים שנשמעים נכון ולא מחייבים לשום דבר. ״הוא משרת את צוות ניהול המיטות, שרואה פלט שהמטופל לעולם לא יראה״ זה ספציפי. אם אי אפשר לנקוב בשמו של הצד הזה, לא באמת עניתם.

אם אתם עובדים בבית חולים שקונה את הטכנולוגיה הזו, אתם עדיין חייבים לתקף אותה. ראיות קליניות, בדיקות הטיה, אופני הכשל המתועדים. העבודה הזו אמיתית, ו-MIRA עבר אותה בשמונה אבחנות, במקום שבו מודל הספסיס לא הצליח לעבור אותה בכלל.

אבל תיקוף אומר לכם רק אם מודל בינה מלאכותית או מודל חיזוי עובד. הוא לא אומר לכם כלום על השאלה את מי הוא משרת. מודל יכול לעבור כל מבחן שתעמידו אותו בו ועדיין להיות מחווט כך שישרת את הצד הלא נכון. ראיות מושלמות ותמריצים גרועים חיים בנוחות באותה מערכת. אלה בעיות שונות, ומעבר של הראשונה לא נוגע בשנייה.

צריך את שניהם. מתמטיקה טובה, ואחר כך תשובה אמיתית לשאלה את מי זה משרת. רוב המערכות אף פעם לא מגיעות למתמטיקה נכונה. רוב אלה שכן מגיעות אף פעם לא שואלות את השאלה השנייה.

מודלי שפה כלליים נכנסים עכשיו ישר לבתי החולים. מטופלים משתמשים ב-ChatGPT, ב-Claude ובכל השאר כדי לקרוא את תוצאות הבדיקות שלהם ולהחליט אם משהו מצדיק ביקור אצל רופא. בתי חולים פורסים אותם בלי להחליט אף פעם לאן הפלט אמור ללכת. זה לא החלק המטריד.

החלק המטריד הוא שהמטופל הפך, בשקט, לנתב. מישהו קורא תוצאה של בדיקת מעבדה, שואל צ׳אטבוט מה היא אומרת, וכל השיחה מתנהלת מחוץ לכל בית חולים, לכל קלינאי, לכל מסגרת שנבנתה כדי לתת לו דין וחשבון. מה שמעצב את התשובה הוחלט הרבה קודם, בידי מי שאימן את המודל וקבע את התמריצים שלו. לא בידי מישהו שנותן דין וחשבון למטופל.

קלינאי שמתעלם מאזעקה שבורה הוא כשל מקומי, החלטת רכש גרועה אחת בבית חולים אחד. מטופל שמאבחן את עצמו דרך צ׳אטבוט צרכני הוא משהו גדול יותר: שיקול הדעת הקליני יוצא מהמרפאה לגמרי ועובר למערכות שאף אחד ברפואה לא שולט בהן. השאלה כבר לא לאן בית החולים שולח את האות. השאלה היא מה החברה שבנתה את המודל החליטה שתדעו.

שום דבר מזה לא מחייב להבין איך רשת עצבית עובדת. זה מחייב רק לשאול את השאלה. את מי זה משרת, בשם ספציפי מספיק כדי שאפשר יהיה לכתוב אותו: הצד הממשי שהאינטרסים שלו עיצבו את מה שמותר לכם לראות. ((Z))