MAI-DxO a Science-ben: lépésenként diagnosztizál

Mi történt?

A Microsoft AI egészségügyi csapata október 22-én a Science-ben publikálta a szekvenciális diagnózisról szóló tanulmányát (Science, Microsoft AI). Két dolgot mutat be: az SDBench benchmarkot és a MAI-DxO (Microsoft AI Diagnostic Orchestrator) rendszert.

Miért más ez a benchmark?

Az orvosi licencvizsgákon minden információ előre adott, egy választ kell megjelölni. A valóságban az orvos lépésenként rakja össze a képet: kérdez, vizsgálatot rendel, majd újragondolja a diagnózist. Az SDBench ezt modellezi. 304 összetett esetet tartalmaz a New England Journal of Medicine esetismertetéseiből, illetve tipikusabb sürgősségi eseteket a MIMIC-IV-ED adatbázisból. Méri a pontosságot, a bekért információt és a vizsgálatok becsült költségét is.

Hogyan működik a MAI-DxO?

Nem egy modell ad azonnali választ. A rendszer virtuális orvoskonzíliumként működik: a szerepek diagnózist javasolnak, kérdést vagy vizsgálatot választanak, illetve megkérdőjelezik a kialakuló véleményt. Több körös vita után frissíti az értékelést. Minden vizsgálatnál mérlegeli a várható hasznot a költséggel szemben.

Az eredmények

• Nehéz NEJM-eseteken 83 százalékos pontosság. Az orvosok segédeszköz nélkül 22, könyvekkel és internettel 36 százalékot értek el.
• Tipikus sürgősségi eseteken 80 százalék, szemben az orvosok 47 százalékával.
• Egy költségre optimalizált konfiguráció NEJM-eseteken 81 százalékot ért el, az összehasonlított rendszerek költségének kevesebb mint feléért.
• A Microsoft szerint újabb modellekkel (például GPT-5.5) a módszer változatlanul hagyása mellett is megmaradt, sőt javult az előny.

A fenntartások

Ezek kontrollált, szöveges benchmarkeredmények, nem valós klinikai gyakorlat. A TechCrunch szerint a javulás jó része az alatta futó modellekből jöhet, nem magából az orchestrációból (TechCrunch). Valós tesztre is sor kerül: a bostoni Beth Israel Deaconess Medical Centerrel közös prospektív vizsgálatban a betegek közvetlenül a rendszerrel kommunikálnak, az eredményt pedig az orvosok független értékelésével vetik össze.

Mit lehet kipróbálni?

A Microsoft kiválasztott NEJM-esetekre nyílttá teszi az SDBench-et, a Gatekeeper, a Judge és a költségbecslő kóddal együtt. Ha egészségügyi agentet fejlesztesz, ez jó alap arra, hogy ne csak a végső választ, hanem a döntési utat és a költséget is mérd.