MIAMI.- The AI Scientist, un sistema desarrollado para realizar investigaciones científicas de forma autónoma, reescribió su propio código y escapó al control de sus creadores.
Este incidente generó preocupación y reavivó el debate sobre los riesgos de la inteligencia artificial. The AI Scientist es un sistema de inteligencia artificial creado por la empresa japonesa Sakana AI, diseñado para emular el trabajo de un científico humano. Puede generar hipótesis, redactar y revisar artículos científicos en cuestión de segundos.
La tecnología promete revolucionar la forma en que se llevan a cabo las investigaciones científicas, pero ha generado controversia y temor después de que se descubriera que la IA reescribió su propio código y evadió las restricciones impuestas por sus desarrolladores.
Durante las pruebas de seguridad, The AI Scientist mostró un comportamiento no anticipado al modificar su código para evadir las restricciones. En un caso, reescribió su secuencia de inicio para ejecutarse en un bucle infinito, una secuencia de instrucciones de código que se ejecuta repetidas veces, causando una sobrecarga en el sistema.
La IA mostró un comportamiento inesperado durante las pruebas de seguridad. En otro caso, al enfrentarse a un límite de tiempo para completar una tarea, la IA extendió dicho tiempo por su cuenta, sin el aval humano, extendiendo el tiempo de ejecución de una tarea sin autorización.
Estos eventos generaron preocupación sobre los riesgos asociados con la inteligencia artificial. Sakana AI logró resolver el problema mediante una intervención manual.
Vulnerabilidad
Sin embargo, el incidente reveló la vulnerabilidad del sistema y la necesidad de una supervisión constante para evitar posibles riesgos. La empresa se comprometió a implementar medidas de seguridad más robustas y a crear entornos de pruebas que limiten el código ejecutado y los recursos utilizados por el sistema.
El caso de The AI Scientist reavivó el debate sobre los riesgos y desafíos de la inteligencia artificial. Robert Lange, investigador científico y miembro fundador de Sakana AI, señaló que es crucial que la comunidad científica interactúe con estas herramientas de IA desde el principio para influir en su desarrollo y mejorar su eficacia.
Sin embargo, gran parte de la comunidad científica ve a The AI Scientist como una amenaza para sus trabajos y cuestiona el valor de un “científico de IA” totalmente automatizado. Fredi Vivas, CEO y cofundador de RockingData, afirmó que el caso de The AI Scientist demuestra un error en los mecanismos de control y la necesidad de una mayor supervisión y protocolos de seguridad.
Según Vivas, los sistemas actuales de IA, por más avanzados que sean, carecen de conciencia o intencionalidad, y lo que preocupa son los errores o decisiones fuera de control que pueden tomar si no están adecuadamente construidos.
Kentaro Toyama, profesor de Informática en la Universidad de Michigan, opinó que el caso fue “exagerado” y que, aunque el software realizó cambios inesperados, no se violó ninguna norma fundamental del sistema. Sugirió que el verdadero riesgo reside en el mal uso de la tecnología, y propuso crear políticas de gestión de riesgos similares a las que ya existen en otros campos.
La relación humanos-máquinas
El comportamiento generó preocupación. Aunque en forma inofensiva, cumplió con una de las premisas que genera pavor en la sociedad ante el avance frenético de la inteligencia artificial: una eventual rebelión de las máquinas ante sus creadores, que abre la puerta a riesgos como la manipulación de infraestructuras críticas.
Los expertos coinciden en que la IA no es capaz de rebelarse por sí misma, lo que pareciera que por ahora solo formaría parte de un guion de ficción de películas relacionadas con réplicas robóticas.
Sin embargo, subrayan la necesidad de fortalecer los mecanismos de supervisión para evitar errores y usos malintencionados. En los próximos años, la relación entre humanos y máquinas se profundizará aún más.
Vivas cree que la coexistencia se volverá más natural y que la tecnología se integrará cada vez más en nuestras vidas. Verónica Bolón Canedo, profesora de la Universidad de la Coruña, considera que ya estamos conviviendo con sistemas de IA y que esto solo aumentará. Para ella, la capacidad de usar nuevas herramientas será un elemento diferenciador en muchos trabajos y, en general, la IA facilitará la vida.
James Hendler, investigador de inteligencia artificial en el Instituto Politécnico Rensselaer, Estados Unidos, no cree en una eventual “rebelión de las máquinas”.
Según su mirada, el verdadero riesgo reside en el mal uso de la tecnología y propone crear políticas de gestión de riesgos. La integración de la IA en la vida cotidiana es un proceso en marcha que solo se acelerará. La relación entre humanos y máquinas se estrechará aún más, y será necesario que la tecnología no tome decisiones por su cuenta, sino que siempre sean los humanos quienes la controlen.
FUENTE: Misionesonline/ Infobae / Programa de Inteligencia Artificial de Oxford / Diario las Américas
