예상치 못한 발견 (Chroneme)

이번 주의 예상치 못한 발견. 대부분의 임상 AI 모델은 두 번째 병원에 이르기도 전에 멈춰 섭니다. Epic의 패혈증 모델이 교과서적인 사례입니다. 미국에서 가장 널리 도입된 임상 AI 도구 중 하나로, 수백 개 병원에서 운영되고 있습니다. 이 모델이 내세우는 것은 환자에게 패혈증이 생기기 몇 시간 전에 의사에게 경고해 준다는 점입니다.

2021년, 미시간의 한 연구팀이 이 모델을 독립적으로 시험하고 그 결과를 JAMA Internal Medicine에 발표했습니다. 이 모델은 패혈증 사례의 3분의 1만 잡아냈고, 입원 건의 약 5분의 1에 경고를 띄웠으며, Epic이 보고한 것에 비해 정확도가 13~20포인트 떨어졌습니다.

이건 드문 일이 아닙니다. 이 현상에는 이름이 있습니다. 교차 데이터베이스 붕괴입니다. 모델은 한 기관이 데이터를 기록하는 방식을 학습하고, 다른 기관의 데이터를 보는 순간 강점을 잃습니다.

저는 다른 전제 위에서 Chroneme을 만들었습니다. 병원이 몸을 어떻게 기록하는지가 아니라 몸이 시간에 따라 실제로 어떻게 변하는지를 읽는 시스템이라면, 병원과 병원 사이를 옮겨 다닐 수 있어야 합니다. 그리고 한 가지 질환에 묶여서도 안 됩니다. Epic은 패혈증을 예측합니다. Chroneme은 궤적을 읽기 때문에, 같은 엔진이 승압제, 기관 삽관, 투석이 필요할 만큼 심각한 모든 악화를 포착합니다.

서로 완전히 독립된 대규모 ICU 데이터베이스 두 곳에서 시험했습니다. 다른 병원, 다른 EHR, 다른 시대. 결과는 반 포인트도 차이 나지 않았습니다. 이만큼 촘촘한 교차 데이터베이스 동등성은 임상 AI에서 드뭅니다. 어떤 개입보다도 먼저 측정되는 복합 결과라면 더욱 그렇습니다. 붕괴는 자연법칙이 아닙니다. 대부분의 모델이 만들어지는 방식에서 비롯되는 속성입니다. Chroneme은 다른 길이 있음을 시사합니다.

반 포인트의 격차가 중요한 이유는 그것이 방정식에서 무엇을 없애 주느냐에 있습니다. 대부분의 임상 AI는 새로운 기관마다 재검증하고, 재조정하고, 때로는 재학습해야 합니다. 그 비용 때문에 좋은 모델들이 멈춰 섭니다. 시스템이 병원과 EHR과 시대를 넘어 정확도를 유지한다면, 배포라는 일의 모양 자체가 바뀝니다. 규제 당국은 한 번만 평가하면 됩니다. 보건의료 시스템은 다시 만들 필요 없이 그 위에 쌓아 올릴 수 있습니다. 임상 AI의 천장은 언제나 일반화였습니다. Chroneme은 그 천장이 움직인다는 것을 시사합니다.

임상 AI 분야에서 일하신다면, 이것이 어디서 무너지는지 알려 주십시오.

((Z))