ZohaibAkhtar

لمن يخدم الذكاء الاصطناعي السريري

مترجمة عن الإنجليزية. اقرأ النص الأصلي

قبل بضع سنوات، خضع نموذج التنبؤ بالإنتان الأوسع انتشارًا في المستشفيات الأمريكية لتقييم مستقل. والإنتان هو ما يحدث حين تدفع عدوى عادية الجسمَ إلى تفاعل متسلسل يأخذ في تعطيل أعضائه. وقد يقتل في غضون ساعات، وكثيرًا ما يقتل قبل أن ينتبه أحد إلى خطورة حال المريض. أما النموذج الذي صُمّم لرصده فلم يرصد إلا حالة واحدة من كل ثلاث حالات فعلية، وصنّف واحدًا من كل خمسة مرضى منوَّمين على أنه عالي الخطورة.

سرعان ما تعلّم الطاقم السريري الدرس. ينطلق التنبيه باستمرار لدى مرضى لا تتدهور حالتهم، ويفوته معظم من تتدهور حالتهم فعلًا. وبعد بضعة أسابيع تكفّ عن الثقة به. بل لا بد أن تكفّ عن الثقة به. يصبح التنبيه ضجيجًا. نظامٌ اشتُري لرصد التدهور علّم الجميع أن يتجاهلوا التدهور.

هذه هي المشكلة الأولى: رياضيات معيبة. ولا يصلحها أي قرار توجيه. ولن يخدم نظامٌ معطوب المرضى مهما كانت الطريقة التي توصله بها. لقد أخفق نموذج الإنتان في اختبار التحقق، ولا شيء مما يأتي بعد ذلك يغيّر هذه الحقيقة.

كان ذلك عام 2021. وهذا الشهر نُشر MIRA في Nature. إنه وكيل ذكاء اصطناعي طبي مستقل يقرأ السجلات المرضية، ويطلب الفحوص، ويفسر النتائج، ويكتب الخطط العلاجية. وفي الحالات نفسها بلغت دقته التشخيصية 87.8% مقابل 78.1% لأطباء حاصلين على شهادة البورد. ويلتزم بمعايير الرعاية المعتمدة بثبات أكبر من الأطباء الذين قورن بهم. هكذا تبدو طليعة المجال اليوم.

اجتاز MIRA اختبار التحقق. الرياضيات سليمة. وهنا يصبح سؤال آخر ملحًّا.

فالنموذج نفسه، بالمخرجات نفسها، يخدم أناسًا مختلفين تمامًا بحسب خيار واحد: إلى أين يذهب التنبؤ.

إذا وصلت المخرجات إلى الطبيب أولًا، فهي تخدم المريض، لأن الطبيب يستطيع أن يتصرف بناءً عليها.

وإذا وصلت أولًا إلى قرار التغطية التأمينية، فهي تخدم شركة التأمين. يُرشَّح المرضى عاليو الخطورة للرفض قبل أن يمرضوا أصلًا، ولا يرى المريض الإشارة أبدًا.

وإن وجّهتها إلى إدارة الأسرّة، فهي تخدم لوجستيات المستشفى، فتُسرّع تنقّل المرضى بين الأسرّة. الدقة نفسها، لكن السيد تغيّر. سيُشخَّص المريض في النهاية على أي حال، لكن المستشفى هو من اتخذ قرار التوجيه، لا المريض.

النموذج لم يتغير. الرياضيات سليمة. أما مَن يخدمه فيعود إلى مَن قرر وجهة الإشارة.

لذا فالسؤال الذي يستحق أن يُطرح عن أي نظام من هذه الأنظمة: مَن يرى مخرجاته، ومَن يتصرف بناءً عليها، ومَن يدفع الثمن حين يخطئ.

أما في حالة نموذج الإنتان، فهذا السؤال يكاد يكون في غير محله، لأن النموذج معطوب أصلًا. والكلفة تقع على الجميع: الطبيب أو الممرض الذي تعلّم أن يصمّ أذنيه عن الإنذارات، والمستشفى الذي يتحمل المسؤولية القانونية، وتحت ذلك كله المريض، الذي تتدهور حاله دون أن ينتبه أحد، بينما يتجاهل الجميع نظامًا أطلق من الإنذارات الكاذبة ما يكفي لئلا يصدّقه أحد بعد اليوم.

أما في حالة MIRA، فالإجابة ليست مصادفة. أحدهم قرر إلى أين تذهب الإشارة، وبنى النظام ليرسلها إلى هناك.

ولا بد أن تكون الإجابة محددة. «إنه يخدم المرضى» عبارة تبدو صائبة ولا تُلزم صاحبها بشيء. «إنه يخدم فريق إدارة الأسرّة، الذي يرى مخرجات لن يراها المريض أبدًا» عبارة محددة. وإذا لم تستطع أن تسمّي الطرف، فأنت لم تُجب فعلًا.

إذا كنت تعمل في مستشفى يشتري هذه التقنية، فما زال عليك أن تتحقق من صلاحيتها: الأدلة السريرية، واختبار التحيز، وأنماط الإخفاق الموثقة. هذا عمل حقيقي، وقد اجتازه MIRA في ثمانية تشخيصات، بينما لم يتمكن نموذج الإنتان من اجتيازه على الإطلاق.

لكن التحقق لا يخبرك إلا بما إذا كان نموذج الذكاء الاصطناعي أو نموذج التنبؤ يعمل. ولا يخبرك بشيء عمّن يخدمه. قد يجتاز النموذج كل اختبار تُخضعه له ويبقى مع ذلك موصولًا بما يخدم الطرف الخطأ. فالأدلة المثالية والحوافز السيئة تتعايشان بارتياح في النظام نفسه. إنهما مشكلتان مختلفتان، واجتياز الأولى لا يمس الثانية.

تحتاج إلى الاثنين معًا. رياضيات سليمة، ثم إجابة حقيقية عن سؤال مَن يخدم. معظم الأنظمة لا تُحكم الرياضيات أصلًا. ومعظم ما يُحكمها منها لا يطرح السؤال الثاني قط.

وها هي النماذج اللغوية الكبيرة العامة تدخل المستشفيات مباشرة. والمرضى يستخدمون ChatGPT وClaude وغيرهما ليقرؤوا نتائج تحاليلهم بأنفسهم، وليقرروا هل يستحق أمرٌ ما زيارة الطبيب. والمستشفيات تعتمدها دون أن تحسم يومًا إلى أين ينبغي أن تذهب مخرجاتها. وليس هذا هو المقلق.

المقلق أن المريض صار، دون أن يلحظ أحد، هو مَن يوجّه الإشارة. يقرأ أحدهم قيمة مخبرية، ويسأل روبوت محادثة عن معناها، فيجري التبادل كله خارج أي مستشفى، وبعيدًا عن أي طبيب، وعن أي إطار بُني ليكون مسؤولًا أمامه. وما يشكّل تلك الإجابة حُسم سلفًا، على يد مَن درّب النموذج ووضع حوافزه. لا على يد أحد مسؤول أمام المريض.

الطبيب الذي يصمّ أذنيه عن إنذار معطوب إخفاق محلي، قرار شراء سيئ واحد في مستشفى واحد. أما المريض الذي يشخّص نفسه عبر روبوت محادثة استهلاكي فأمر أكبر: الحكم السريري يغادر العيادة كليًا، وينتقل إلى أنظمة لا يتحكم فيها أحد في الطب. لم يعد السؤال إلى أين يرسل المستشفى الإشارة. بل ما الذي قررت الشركة صانعة النموذج أن من حقك أن تعرفه.

لا شيء من هذا يتطلب فهم طريقة عمل الشبكة العصبية. كل ما يتطلبه هو طرح السؤال. مَن يخدم هذا، مسمًّى بدقة تكفي لأن تكتبه: الطرف الفعلي الذي شكّلت مصالحه ما يُسمح لك برؤيته. ((Z))