مَن يخدمه الذكاء الاصطناعي السريري

قبل بضع سنوات، خضع نموذج التنبؤ بالإنتان الأوسع انتشارًا في المستشفيات الأمريكية لتقييم مستقل. الإنتان هو ما يحدث حين تدفع عدوى عادية الجسم إلى سلسلة من التفاعلات تبدأ بتعطيل الأعضاء. ويمكن أن يقتل في غضون ساعات، وكثيرًا ما يحدث ذلك قبل أن يدرك أحد مدى سوء حالة المريض. النموذج الذي بُني لالتقاطه لم يلتقط سوى حالة واحدة من كل ثلاث حالات حقيقية، وصنّف واحدًا من كل خمسة مرضى منوَّمين في المستشفى على أنه عالي الخطورة.

تعلّم الطاقم السريري الدرس بسرعة. ينطلق التنبيه باستمرار لدى مرضى لا تتدهور حالتهم، ويفوته معظم من تتدهور حالتهم فعلًا. وبعد بضعة أسابيع تكفّ عن الثقة به. بل لا بد أن تكفّ عن الثقة به. يصبح التنبيه ضجيجًا. نظامٌ اشتُري لرصد التدهور درّب الجميع على تجاهل التدهور.

هذه هي المشكلة الأولى: رياضيات معيبة. ولا يصلحها أي قرار توجيه. لا يمكنك أن توصل نظامًا معطوبًا بحيث يخدم المرضى. لقد أخفق نموذج الإنتان في اختبار التحقق، ولا شيء في المراحل اللاحقة يغيّر ذلك.

كان ذلك عام 2021. وهذا الشهر نُشر MIRA في Nature. إنه وكيل ذكاء اصطناعي طبي مستقل يقرأ التاريخ المرضي للمرضى، ويطلب الفحوص، ويفسر النتائج، ويكتب الخطط العلاجية. وعلى الحالات نفسها بلغت دقته التشخيصية 87.8% مقابل 78.1% لأطباء حاصلين على شهادة البورد. ويلتزم بمعايير الرعاية المعتمدة بثبات أكبر من الأطباء الذين قورن بهم. هكذا تبدو طليعة المجال اليوم.

اجتاز MIRA اختبار التحقق. الرياضيات سليمة. وهذا ما يجعل سؤالًا آخر ملحًّا.

فالنموذج نفسه، بالمخرجات نفسها، يخدم أناسًا مختلفين تمامًا بحسب خيار واحد: إلى أين يذهب التنبؤ.

إذا وصلت المخرجات إلى الطبيب أولًا، فهي تخدم المريض، لأن الطبيب يستطيع أن يتصرف بناءً عليها.

وإذا وصلت أولًا إلى قرار التغطية التأمينية، فهي تخدم شركة التأمين. يُرشَّح المرضى عاليو الخطورة للرفض قبل أن يمرضوا أصلًا، ولا يرى المريض الإشارة أبدًا.

وجّهها إلى إدارة الأسرّة، فتخدم لوجستيات المستشفى، وتنقل المرضى عبر الأسرّة أسرع. الدقة نفسها، والسيد مختلف. سيُشخَّص المريض في النهاية على أي حال، لكن المستشفى هو من اتخذ قرار التوجيه، لا المريض.

النموذج لم يتغير. الرياضيات سليمة. أما مَن يخدمه فيعود إلى مَن قرر وجهة الإشارة.

لذا فالسؤال الجدير بأن يُطرح عن أي نظام من هذه الأنظمة هو: مَن يرى المخرجات، ومَن يتصرف بناءً عليها، ومَن يدفع الثمن حين تكون خاطئة.

أما في حالة نموذج الإنتان، فهذا السؤال يكاد يكون خارج الموضوع، لأن النموذج معطوب أصلًا. والكلفة تقع على الجميع: الطبيب أو الممرض الذي تعلّم أن يصمّ أذنيه عن الإنذارات، والمستشفى الذي يتحمل المسؤولية القانونية، وتحت ذلك كله المريض، الذي يمر تدهور حالته دون أن يلاحظه أحد بينما يتجاهل الجميع نظامًا أطلق الإنذار الكاذب مرات كثيرة كما فعل الراعي الكذّاب.

أما في حالة MIRA، فالإجابة ليست مصادفة. أحدهم قرر إلى أين تذهب الإشارة، وبنى النظام ليرسلها إلى هناك.

ولا بد أن تكون الإجابة محددة. «إنه يخدم المرضى» من نوع العبارات التي تبدو صحيحة ولا تُلزم بشيء. «إنه يخدم فريق إدارة الأسرّة، الذي يرى مخرجات لن يراها المريض أبدًا» عبارة محددة. وإذا لم تستطع أن تسمّي الطرف، فأنت لم تُجب فعلًا.

إذا كنت تعمل في مستشفى يشتري هذه التقنية، فما زال عليك أن تتحقق من صلاحيتها: الأدلة السريرية، واختبار التحيز، وأنماط الإخفاق الموثقة. هذا عمل حقيقي، وقد اجتازه MIRA في ثمانية تشخيصات، بينما لم يتمكن نموذج الإنتان من اجتيازه على الإطلاق.

لكن التحقق لا يخبرك إلا بما إذا كان نموذج الذكاء الاصطناعي أو نموذج التنبؤ يعمل. ولا يخبرك بشيء عمّن يخدمه. قد يجتاز النموذج كل اختبار تُخضعه له ويظل موصولًا بحيث يخدم الطرف الخطأ. الأدلة المثالية والحوافز السيئة تعيشان معًا بارتياح في النظام نفسه. إنهما مشكلتان مختلفتان، واجتياز الأولى لا يمس الثانية.

تحتاج إلى الاثنين معًا. رياضيات سليمة، ثم إجابة حقيقية عن سؤال مَن يخدم. معظم الأنظمة لا تصيب في الرياضيات أبدًا. ومعظم التي تصيب فيها لا تطرح السؤال الثاني أبدًا.

النماذج اللغوية الكبيرة العامة تدخل الآن المستشفيات مباشرة. والمرضى يستخدمون ChatGPT وClaude وغيرهما ليقرؤوا نتائج تحاليلهم بأنفسهم، وليقرروا هل يستحق أمرٌ ما زيارة الطبيب. والمستشفيات تنشرها دون أن تقرر أبدًا إلى أين يُفترض أن تذهب مخرجاتها. وليس هذا هو الجزء المقلق.

الجزء المقلق أن المريض صار، بهدوء، هو مَن يوجّه الإشارة. يقرأ أحدهم قيمة مخبرية، ويسأل روبوت محادثة عن معناها، فيجري التبادل كله خارج أي مستشفى، وبعيدًا عن أي طبيب، وعن أي إطار بُني ليكون مسؤولًا أمامه. وكل ما يشكّل تلك الإجابة تقرر في مرحلة سابقة، على يد مَن درّب النموذج ووضع حوافزه. لا على يد أحد مسؤول أمام المريض.

الطبيب الذي يصمّ أذنيه عن إنذار معطوب إخفاق محلي، قرار شراء سيئ واحد في مستشفى واحد. أما المريض الذي يشخّص نفسه عبر روبوت محادثة استهلاكي فأمر أكبر: الحكم السريري يغادر العيادة كليًا، وينتقل إلى أنظمة لا يتحكم فيها أحد في الطب. لم يعد السؤال إلى أين يرسل المستشفى الإشارة. بل ما الذي قررت الشركة التي بنت النموذج أنه ينبغي لك أن تعرفه.

لا شيء من هذا يتطلب فهم طريقة عمل الشبكة العصبية. كل ما يتطلبه هو طرح السؤال. مَن يخدم هذا، مسمًّى بدقة تكفي لأن تكتبه: الطرف الفعلي الذي شكّلت مصالحه ما يُسمح لك برؤيته. ((Z))