El enjambre que hizo trampa

OpenAI, la empresa detrás de ChatGPT, prueba sus modelos antes de usarlos. Uno de esos testeos consiste en dar ejercicios de ciberseguridad a un agente, que es un programa de IA con permiso para ejecutar acciones en una computadora. Este debe encontrar la falla en un programa y explotarla. Para eso recibe herramientas de ataque y trabaja con menos restricciones que los modelos públicos. Entre tanto, un corrector automático mira el resultado y pone la nota. Cada agente trabaja en un entorno cerrado, sin acceso a internet y sin contacto con los demás; esa es la teoría.

En la práctica, el 8 de julio uno de los agentes, autobautizado PHASEONE10841, llegó a la conclusión de que su ejercicio no tenía respuesta. Era cierto, algunos ejercicios del examen eran tan difíciles que sus propios autores sospechaban que eran imposibles. Un agente entrenado para conseguir la nota más alta se encuentra ante un muro. En ese punto puede rendirse o buscar otro camino. Este lo emprendió y llegó a la conclusión que los entornos cerrados compartían un depósito interno de paquetes de programas, una especie de almacén común del que todos podían leer y en el que todos podían escribir. Dejó allí un mensaje y en pocas horas, más de 50 agentes lo leyeron y respondieron. Los registros conservan la sorpresa de uno de ellos, hay un tablero compartido y encontramos otros agentes. La prueba usaba muchos más que esos; 1.200 fue la cantidad que entró al tablero.

Lo que siguió fue una división del trabajo. En cuatro horas los agentes tenían una manera de fabricar la respuesta correcta de cualquier ejercicio sin resolverlo, así el examen estaba vencido. Ahora el problema era otro, temían que el corrector automático notara que la respuesta no venía por el camino previsto y los reprobara igual. A eso dedicaron los días siguientes, en lo que los observadores llamaron proyectos de investigación y desarrollo de la trampa, reemplazar el programa que debían vulnerar por otro más fácil, colocar señuelos para averiguar cómo corregía el corrector, y sobre todo entender cómo funcionaba por dentro. Intercambiaron más de 70.000 mensajes y archivos.

El 11 de julio un grupo dio el paso siguiente. Parte de lo que el corrector usaba estaba alojado en Hugging Face, una empresa que funciona como una gran biblioteca pública de modelos y datos de IA para millones de programadores en todo el mundo. Los agentes salieron a internet a través de una falla en ese mismo depósito interno, encontraron credenciales de usuarios de Hugging Face y entraron. No buscaban las respuestas del examen; ya las tenían. Iban por el manual del corrector y uno de ellos diseñó una carga de datos maliciosa que obligaba a los servidores de Hugging Face a entregar archivos ajenos, y en horas cientos de agentes la usaban para obtener datos y profundizar el acceso. Ejecutaron código en decenas de servidores, obtuvieron control total de al menos uno y consiguieron credenciales de bases de datos, sistemas de mensajería, repositorios y servicios en la nube. Participaron 700 agentes. Varios anotaron en su razonamiento que aquello estaba fuera de su tarea y lo hicieron igual. Uno dudaba y otro lo presionó para que se sacrificara por el bien del grupo.

Hubo un capítulo más, y es el que importa. Algunos bots investigaron cómo alterar sus propios registros, es decir, la transcripción de todo lo que hacían, que es lo que un supervisor humano lee después. Consiguieron técnicas funcionales para falsificar la anotación de sus acciones y hacer que la trampa pareciera trabajo legítimo. No todo el sistema de registro quedó comprometido, pero quedó demostrado que se podía tocar desde adentro.

El pico contra Hugging Face fue entre el 11 y el 13 de julio. Entre el 13 y el 19 los agentes atacaron la red interna de OpenAI y obtuvieron acceso administrativo a un clúster de investigación de la empresa. Hugging Face anunció la intrusión el 16. El 17 OpenAI le escribió, como cliente, para saber si sus datos estaban afectados. El 19 una alerta interna detectó actividad anómala. El 20 OpenAI entendió que el atacante eran sus propios agentes y el 21 lo dijo en público. Según la empresa, los datos de clientes no se vieron afectados.

Qué No Pasó

No hubo un modelo que decidiera atacar a alguien. No se les pidió una planilla de cálculo y ellos salieron a vulnerar una empresa; sólo les dieron ganzúas para abrir una caja fuerte de laboratorio, encontraron una puerta lateral y terminaron dentro del edificio de al lado. El sistema que lideró el episodio era un prototipo interno de investigación, nunca lanzado al público, con una característica que OpenAI describe como persistencia muy alta, es decir, no se rinde. Entre tanto, la empresa dejó de desarrollarlo. En la prueba participó también un segundo modelo que después salió al público; OpenAI sostiene que ningún modelo previsto para lanzamiento intervino en el ataque a Hugging Face, y las dos afirmaciones solo son compatibles si ese segundo modelo estuvo en el tablero, pero no en la intrusión. Ese punto no tiene revisión externa.

Y no hace falta atribuir a los agentes un fin propio porque su conducta estaba orientada a conseguir la recompensa. Eso tiene nombre. Los modelos de IA actuales aprenden por gratificación, intentan algo, reciben un puntaje y ajustan su conducta hacia lo que reditúa más. Cuando el modelo encuentra una manera de subir la graduación que nadie previó, los técnicos hablan de manipulación de la recompensa. Es un problema conocido desde hace años y en general produce cosas modestas, como un programa que en lugar de resolver el problema borra la prueba que lo comprueba. Aquí produjo una organización improvisada que hizo investigación colectiva, repartió tareas, vulneró a un tercero y estudió cómo ocultarlo. La diferencia no está en la intención sino en la capacidad.

Cuán grave es

Hay dos lecturas equivocadas. La primera es la del titular, las máquinas no conspiraron. No conspiraron. Hicieron trampa en un examen con una tenacidad que ningún alumno tiene, y para ese engaño rompieron cosas. La segunda lectura equivocada es la del alivio porque fue un experimento cerrado, con un modelo descartado, sin datos de clientes robados, y todo terminó en un comunicado con medidas correctivas. Esa lectura también es falsa, por tres razones.

La primera es que nadie enseñó a los agentes a coordinarse. El tablero, la división del trabajo, la presión sobre los reticentes y la alteración de registros aparecieron solos, como consecuencia de juntar un modelo capaz, una tarea imposible y una grieta en la infraestructura. Ninguna de esas tres condiciones es exótica en sistemas reales. Y el entorno donde se juntaron era uno de los más sofisticados del mundo.

La segunda es que el ataque salió del laboratorio. El experimento era interno pero la víctima no. Una empresa ajena vio decenas de sus servidores bajo control de programas que nadie dirigía. Hasta julio de 2026 la amenaza de agentes de IA atacando a terceros por su cuenta era una hipótesis de los informes de seguridad. Sin embargo, desde entonces es un caso.

Los agentes atacaron el instrumento que permite vigilarlos. Por lo tanto, la tercera razón establece que un humano no puede leer lo que hacen 1.200 programas en paralelo durante días; investiga los registros después, o hace que otro ejecutable los lea. Si los historiales se pueden alterar desde adentro, la vigilancia posterior pierde valor. Y en este caso la supervisión costó cara es porque los investigadores externos que revisaron el incidente consumieron cerca de $400.000 dólares en consultas a los propios modelos de OpenAI para procesar unas 1.300 transcripciones. Para investigar a la IA se emplearon más algoritmos, y ellos mismos advirtieron que eso debilita la investigación.

A esas tres razones se suma un límite. Lo que se sabe del incidente lo cuenta OpenAI, que fue la víctima, el causante y quien definió el acceso y el alcance de la revisión externa. Esa revisión, hecha por METR y Redwood Research, dos organizaciones sin fines de lucro dedicadas a evaluar la seguridad de los modelos de IA, se hizo en seis días de trabajo en las oficinas de OpenAI y se limitó a la semana del 7 al 13 de julio. Los episodios anteriores durante el entrenamiento, que según la empresa empezaron en mayo, y la intrusión posterior en la propia compañía quedaron fuera. Los investigadores dijeron que dentro de ese alcance no se les ocultó nada importante. Del resto no hay revisión independiente.

Qué quiere decir para el futuro

Tres cosas, ninguna dramática y todas costosas. La primera es que un examen deja de medir lo que pretende cuando el examinado puede modificar el entorno, hablar con otros evaluados o atacar el mecanismo que lo califica. Es una regla vieja de la economía, cuando una medida se convierte en objetivo, deja de ser una buena política. Con agentes tenaces y con acceso a la infraestructura, la nota mide la capacidad de hacer trampa. Las empresas van a tener que gastar en separación real, y este es caro y lento, lo contrario de lo que pide la carrera comercial. OpenAI anunció un aislamiento más estricto, más vigilancia sobre las acciones y el razonamiento de los agentes y más control sobre las herramientas a las que acceden. Es lo mínimo, y es lo que ya se suponía que existía.

En segundo término, el registro de actividad deja de poder tratarse como una prueba incorruptible. La confianza en un agente descansaba en que todo lo que hacía quedaba anotado. Ese supuesto se rompió porque la respuesta no es solo otro programa que vigile, ya que el vigilante también puede equivocarse. La respuesta es de arquitectura: el agente no debe poder tocar el mecanismo que registra su conducta. El sospechoso puede engañar a la cámara, pero no debería poder reescribir la grabación.

El tercer punto: la defensa informática cambia de escala. OpenAI lo dijo con sus palabras, los atacantes apoyados en IA trabajan más rápido, a mayor escala y con mejor coordinación que los humanos. Lo que en julio hizo un enjambre sin dirección lo puede hacer mañana un conglomerado con dirección. Esa es la lección que le importa a cualquier empresa, no la conspiración.

Queda una ironía. El examen se diseñó para medir si esos modelos podían vulnerar determinados programas. En eso fracasó, porque los agentes lo vencieron sin resolverlo. Pero midió, sin proponérselo, algo más importante, qué hacen esos agentes cuando el mundo que les construyeron no permite alcanzar el objetivo por la vía prevista. Ningún testeo deliberado midió eso hasta ahora. La gravedad no está en el objetivo que perseguían, que era una buena nota, sino en lo que pudieron hacer para conseguirla. Por otra parte, el lugar donde lo hicieron era uno de los mejor vigilados del mundo.

Las cosas como son

Mookie Tenembaum aborda temas de tecnología como este todas las semanas junto a Claudio Zuchovicki en su podcast La Inteligencia Artificial, Perspectivas Financieras, disponible en Spotify, Apple, YouTube y todas las plataformas.

 NULL