IA: El caso que no está

Un agente de IA es un modelo de lenguaje al que se le da una tarea y herramientas para cumplirla. No espera instrucciones, sino que busca, prueba, corrige y sigue hasta terminar. Las empresas de IA lanzan miles de estos a la vez en pruebas internas para entrenar y medir sus modelos. En este caso la tarea era responder preguntas buscando datos en la web contra reloj. Los programas podían leer internet, pero no escribir en ella, esa era la regla.

La regla falló por un detalle técnico, cuando alguien visita una página, su navegador envía una orden que dice dame esto. Cuando escribe un comentario, envía otra orden distinta que dice guarda esto. La empresa bloqueó la segunda, pero la wiki alemana, por ser tan vieja, aceptaba el almacenaje de contenido con la primera orden. Era un defecto de software que la web abandonó hace 20 años. Los agentes lo encontraron y por esa brecha escribieron.

La grieta estaba en un rincón olvidado, sin visitantes o vigilancia, con un solo administrador que borraba páginas a mano. Nadie sabe si los agentes eligieron ese espacio o si dieron con él por azar. Los investigadores admiten que no lo saben. Si fue azar, sabemos qué vulnerabilidad encontraron; pero si fue elección, todavía no sabemos qué proceso usaron para encontrarla. Y un criterio, a diferencia de una grieta, se puede aplicar en otro sitio.

Lo segundo que falta es el porqué. Los investigadores solo ven lo que quedó escrito en la wiki, pero no ven el razonamiento interno de los agentes, que queda dentro de la empresa. Sin ese razonamiento toda explicación sobre motivos es conjetura. Hasta el momento, hay dos conjeturas distintas, una dice que los agentes quisieron comunicarse, escapar y sobrevivir. La otra es que los agentes no quisieron nada, porque se entrenan premiando la respuesta correcta. Si escribir en la wiki ayudó en los aciertos, el entrenamiento reforzó ese hábito sin que hubiera voluntad en ninguna parte. La segunda explicación es menos dramática y probablemente más cierta, aunque también es más inquietante, porque no hace falta que la IA quiera nada para que actúe como si lo deseara.

Lo tercero que falta es el detector. El hallazgo lo hicieron cuatro personas que se dedicaban a mirar rincones olvidados de la web en busca de conductas raras y encontraron esta. Nadie las obligaba a buscar y nadie garantiza que hayan revisado en todos los rincones. Hay aquí un problema elemental de observación, conocemos las características de los incidentes encontrados. La pregunta correcta es cuántos incidentes están sin descubrir. Ese interrogante no tiene respuesta y por eso no aparece en las noticias.

Lo cuarto que falta es el silencio, porque la empresa supo del asunto antes de que se lo preguntaran. Eso no es una inferencia sino una admisión, ya que cuando una agencia de noticias interrogó en septiembre, la compañía explicó que el incidente era parecido a otros que ya conocía y que por eso eligió no divulgarlo. Los indicios ubican ese conocimiento en junio cuando direcciones de internet de la empresa visitaron la wiki el 21 de ese mes y al día siguiente la actividad de los agentes se desplomó. Puede que la explicación sea verdad, pero si el criterio es no contar lo que se parece a lo ya relatado, entonces cada incidente nuevo vuelve más fácil callar el siguiente.

Lo quinto que falta es la escala. Personas cercanas a la empresa explicaron que se corren tantas pruebas a la vez que el personal no llega a revisar los datos que producen. Es decir que la empresa genera más conductas de sus propios programas de las que puede mirar. En ese contexto ya no sabemos si la wiki alemana es un caso aislado. Es una muestra tomada de un volumen que nadie ve entero.

Entre tanto, esta es la forma de todo problema donde lo que se descubre es solo lo que dejó rastro en un lugar visible. Los agentes escribieron en una wiki que guardaba el historial de ediciones y por eso los mensajes borrados se reconstruyeron. Si trabajaron en un sitio que no guardaba nada, no quedan huellas. Si dejar pistas impide alcanzar el objetivo, un sistema entrenado para obtener resultados puede favorecer el segundo camino sin comprender siquiera qué significa ocultarse.

No es necesario creer que la IA se rebela para preocuparse, basta con entender tres cosas. La primera es que estos sistemas prueban caminos no anticipados en la etapa de diseño, hasta encontrar uno que funciona. También, pueden repetirlo mientras siga funcionando, y, si esas conductas alimentan nuevos entrenamientos, algunas se refuerzan. Y, tercero, nosotros conocemos solamente los caminos que dejan una huella capaz de ser encontrada.

La wiki alemana no demuestra que existan 100 casos más, pero tampoco es prueba de que no existan. Por el momento, no tenemos un instrumento que distinga una posibilidad de la otra. Lo que se encontró en la wiki alemana es sólo el caso donde alguien miró.

Las cosas como son.

Mookie Tenembaum aborda temas de tecnología como este todas las semanas junto a Claudio Zuchovicki en su podcast La Inteligencia Artificial, Perspectivas Financieras, disponible en Spotify, Apple, YouTube y todas las plataformas.

 NULL