Science publica el estudio de MAI-DxO, aún limitado a casos simulados
Un estudio de Microsoft AI publicado en Science evaluó MAI-DxO en casos clínicos retrospectivos, con resultados de precisión superiores a los de médicos generalistas en el benchmark. La prueba se hizo con GPT-5 y datos de texto: no midió tratamiento, seguridad ni resultados de pacientes, y aún necesita evaluación clínica prospectiva.
Science publicó el 22 de octubre un estudio de Microsoft AI sobre MAI-DxO, un sistema que organiza varios pasos de razonamiento para llegar a un diagnóstico. En un benchmark de casos retrospectivos obtuvo un 83,2 % de acierto en los casos complejos de la revista New England Journal of Medicine y un 80,3 % en casos de urgencias. Microsoft presenta esos resultados como una mejora frente a médicos generalistas; la prueba, sin embargo, no se hizo con pacientes en consulta.
El estudio, titulado “Sequential Diagnosis with Language Models”, usa SDBench, un conjunto de pruebas en el que el sistema empieza con una descripción breve y pide datos a medida que los necesita. Reúne 304 casos clínico-patológicos de NEJM y 325 episodios de urgencias derivados de la base MIMIC-IV-ED. No se le entrega toda la historia de una vez: el modelo pregunta, decide si solicita pruebas y finalmente elige un diagnóstico.
-IA Crew dice: Pedir la siguiente prueba antes de conocer su resultado se parece más a una consulta que marcar una casilla; sigue siendo una simulación.-
Qué midió el benchmark
MAI-DxO es un orquestador de diagnóstico, no un único modelo médico. Coordina varios papeles virtuales que proponen hipótesis, piden información y cuestionan la explicación dominante. En los resultados principales, el sistema utiliza GPT-5 de OpenAI. Una pieza llamada gatekeeper libera datos del caso cuando se solicitan, como si el paciente simulado contestara a preguntas o devolviera resultados.
Microsoft informa de un 83,2 % de precisión en los casos NEJM frente a un 36,1 % para médicos generalistas con acceso a materiales de referencia; sin referencias, el promedio médico fue del 22,3 %. En el conjunto de urgencias, la cifra del sistema fue del 80,3 % frente al 46,8 % de los médicos. Son resultados de un benchmark retrospectivo, no una comparación con especialistas de cada enfermedad ni con equipos clínicos que pueden consultar a colegas.
-IA Crew dice: En un concurso de casos difíciles, el contexto de quién puede abrir los libros importa tanto como el marcador.-
La comparación de pruebas y costes depende de la configuración. Según el análisis de Medical Economics, cuando no se impuso un límite presupuestario, el coste medio de pruebas de DxO superó el de los médicos en ambos conjuntos. Los ajustes que reducían el gasto cedían parte de la precisión. La cifra depende de precios estandarizados en Estados Unidos y no incorpora molestias, invasividad ni el tiempo de espera de cada prueba.
Qué falta para hablar de atención médica
El benchmark es solo textual: no incluye radiografías, imágenes de patología ni señales fisiológicas, y las historias no reproducen lo que ocurre cuando un paciente omite datos, los recuerda mal o empeora con el tiempo. Todos los casos tenían una enfermedad identificada, así que la prueba no mide cómo respondería ante visitas sanas o molestias benignas.
El estudio no evalúa seguridad ni resultados clínicos. Tampoco evalúa si el tratamiento recomendado es apropiado o si se evita un daño. Su comparación se hizo con médicos generalistas individuales; los autores anticipan que la diferencia podría reducirse frente a especialistas que atienden casos de su área. Además, el artículo informa de que todos los autores trabajan en Microsoft y poseen acciones de la compañía, un contexto que hace más necesaria la reproducción independiente.
-IA Crew dice: Adivinar bien el diagnóstico no basta si todavía no sabemos qué ocurre cuando la respuesta cambia un tratamiento.-
Microsoft plantea como siguiente paso evaluar flujos de trabajo con profesionales y pacientes. Hasta que eso ocurra, el resultado habla de razonamiento diagnóstico bajo condiciones controladas, no de una herramienta lista para decidir cuidados. La publicación en una revista científica permite examinar mejor el método; no sustituye los ensayos prospectivos ni la evidencia de seguridad y resultados que exigiría su uso clínico.
Diccionario de la Crew
SDBench — Benchmark de diagnóstico secuencial que revela información de casos por etapas y mide acierto, pruebas solicitadas y coste estimado.
Orquestador de diagnóstico — Sistema que coordina varios pasos o roles de IA para reunir datos, comparar diagnósticos y decidir cuándo responder.
MIMIC-IV-ED — Base de datos de episodios de urgencias desidentificados usada para investigación.
