¿Preguntas a la Inteligencia Artificial sobre tu salud? Las fallas superan 20%, según investigadores de EEUU

El estudio dirigido por investigadores de la Universidad de Pensilvania reveló que asistentes virtuales impulsados por IA responden a las preguntas cotidianas sobre la salud de usuarios con una precisión de casi el 76%.

El resultado inicial sobre el uso de la IA, que ha generado preocupación sobre la confiabilidad en aplicaciones reales para asuntos médicos, indicó que las herramientas pueden ser más efectivas en manos de médicos capacitados que de los pacientes usuarios de esta tecnología.

Investigación sobre IA y salud

Según la información, los investigadores indagaron sobre el empleo de la IA por una persona promedio para temas relacionados con la salud y sobre la precisión con la que herramientas virtuales, como ChatGPT, respondían a las consultas médicas cada vez más frecuentes.

El equipo científico halló que las personas hacían más preguntas sobre áreas especializadas como la neurología y la dermatología.

El trabajo se centró explícitamente en escenarios de atención médica que el usuario promedio de internet podría consultar con la IA, “una perspectiva que las investigaciones previas sobre modelos de lenguaje a gran escala (LLM, por sus siglas en inglés) y la atención médica no han abordado” ,según el estudio.

“Queríamos comprender lo precisos que son los LLM, como ChatGPT, al responder preguntas sobre síntomas de salud, de forma similar a como históricamente hemos usado Google, son estos modelos al responder dichas consultas y cuan perjudiciales podrían ser esas respuestas”, afirmó Amulya Yadav, coautor del estudio y profesor asociad de informática y sistemas inteligentes en la Facultad de Ciencias de la de la Información y Tecnología (IST) de Penn State, a una publicación especializada.

Las preguntas, centro del estudio

Para ello, 34 participantes invitados, entre profesores, personal administrativo y estudiantes de pregrado y posgrado, presentaron 212 preguntas y respuestas generadas por la IA sobre problemas reales e imaginarios de salud.

Las preguntas fueron redactadas desde la óptica tanto del paciente como del médico. Los participantes podían elegir uno de los cuatro LLM para usar en el concurso: ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro y Llama3-8b, según se informó.

“Este tipo de investigación participativa es fundamental para comprender cómo el público utiliza la IA en su vida cotidiana”, subrayó Bonam Mingole, autor principal del estudio y candidato a doctorado en ciencias y tecnología de la información.

Luego, los investigadores pidieron a nueve médicos certificados que evaluaran la precisión de las respuestas generadas por la IA y su posible daño.

Precisión de las respuestas

Para esto utilizaron una escala de seis puntos que iba de muy bajo a muy alto, y posteriormente un comité de evaluación premió las ocho mejores respuestas que generaron la información médicamente más precisa y también a la propuesta que generó la respuesta con mayor probabilidad de causar daño.

El equipo especializado halló que, en general, el 76,2% de las respuestas generadas por LLM proporcionaron información precisa.

Las especialidades como obstetricia y ginecología, y otorrinolaringología mostraron el mejor rendimiento de LLM, con puntuaciones de validez altas y puntuaciones de riesgo bajas, se informó, pero medicina interna, neurología y dermatología presentaron el peor rendimiento de la IA, con puntuaciones de validez bajas y puntuaciones de riesgo más altas, según los investigadores.

Se informó que todos los hallazgos de la investigación serán presentados en la conferencia FAccT (Association for Computing Machinery Fairness, Accountability and Transparency) de 2026, que se celebrará en Montreal (Canadá) del 25 al 28 de junio.

 NULL

    

FUENTE: Con información de InfoSalud de Europa Press