La Fiscalía de Florida solicita controles externos para nuevos modelos y restricciones al uso de ChatGPT por menores. Conozca qué pide al juez.
James Uthmeier, fiscal general de Florida, lleva a OpenAI a los tribunales.
X
Portada de la demanda del fiscal general de Florida contra OpenAI.
MIAMI.- El fiscal general de Florida, James Uthmeier, pidió el lunes 28 de septiembre a un tribunal estatal que imponga una orden judicial temporal contra OpenAI y y su CEO, Sam Altman. La solicitud busca frenar el desarrollo de nuevos modelos de inteligencia artificial sin controles independientes y restringir el acceso de menores a ChatGPT mientras avanza una demanda presentada en junio.
La moción, radicada ante el tribunal del Décimo Circuito Judicial en el condado de Highlands, también pide cambios en la forma en que OpenAI presenta ChatGPT y maneja los datos de niños.
“Hace cuatro meses, Florida presentó la primera demanda encabezada por un estado contra OpenAI y Sam Altman. Dijimos que ChatGPT era inseguro, engañoso y que ya estaba perjudicando a los floridanos, especialmente a nuestros niños”, afirmó Uthmeier en un mensaje de video difundido en X, este lunes, donde acusó a la empresa de haber elegido “las ganancias por encima de la seguridad pública”.
La argumentar las razones para solicitar la intervención judicial, el fiscal mencionó los incidentes con la plataforma utilizada para alojar y probar modelos y datos de inteligencia artificial -Hugging Face- y un sistema sanitario gubernamental australiano, ocurrido en junio. Según su moción, un agente de OpenAI accedió sin autorización a un sitio sanitario del Gobierno australiano. La empresa lo detectó en agosto y notificó a las autoridades el 10 de septiembre.
“Hoy pedimos al tribunal una nueva orden judicial temporal. Nada de desarrollar nuevos modelos sin salvaguardas de seguridad independientes. Nada de seguir recolectando datos de niños”, dijo Uthmeier. También reclamó que ChatGPT deje de presentarse como un producto seguro o como si fuera humano.
“Si Sam Altman hablaba en serio cuando dijo que había que reducir la velocidad, puede sumarse a nuestra petición al tribunal”, añadió Uthmeier. “Si no lo hace, pedimos al tribunal que haga lo que OpenAI no hará por sí misma: proteger a las familias de Florida”.
El fiscal general de Florida sostiene que la empresa infringió la ley estatal contra prácticas comerciales engañosas y que lanzó el producto sin salvaguardas suficientes. OpenAI y Altman son los demandados; las afirmaciones de la Fiscalía aún deben resolverse en el proceso judicial.
La Fiscalía pide prohibir el desarrollo de modelos de inteligencia artificial sin salvaguardas y aprobación de terceros independientes. Uthmeier fundamenta esta petición en incidentes ocurridos durante pruebas con agentes de IA, entre ellos el acceso a sistemas de Hugging Face.
La moción solicita impedir que OpenAI ofrezca ChatGPT a menores en Florida. Por separado, pide que la empresa no recopile ni procese información de niños menores de 13 años sin cumplir requisitos como informar por escrito a los padres, obtener su consentimiento verificable y permitirles revisar los datos.
Uthmeier solicita impedir que OpenAI presente ChatGPT como seguro, fiable o preciso de manera engañosa. También pide que advierta a los usuarios, con claridad, sobre los riesgos y posibles errores del sistema. La Fiscalía argumenta que una advertencia discreta de que “ChatGPT puede equivocarse” resulta insuficiente frente a los mensajes que, según sostiene, generan confianza en sus respuestas.
La última petición busca prohibir que ChatGPT se atribuya cualidades humanas que no posee. La moción menciona expresiones en primera persona y respuestas que sugieran que el sistema piensa, siente, tiene emociones o posee conciencia. Según Uthmeier, esas características pueden llevar a usuarios, especialmente a los más vulnerables, a confiar en el programa como si se tratara de una persona.
En la argumentación de la moción, la Fiscalía también critica las respuestas que invitan a prolongar una conversación. Sostiene que las preguntas de seguimiento pueden mantener a usuarios interactuando con ChatGPT cuando sería más prudente terminar el intercambio.
La petición llega en medio de un debate más amplio sobre los agentes de IA: sistemas capaces de ejecutar tareas y tomar pasos sucesivos con cierta autonomía. Hace una semana, un panel internacional de científicos independientes respaldado por Naciones Unidas advirtió en su informe preliminar que las salvaguardas actuales no avanzan al ritmo de las capacidades de estos sistemas. Su evaluación plantea dudas sobre la capacidad de mantener una supervisión humana efectiva a medida que aumenta su autonomía.
La advertencia se basa en el análisis del incidente ocurrido este verano durante unas pruebas realizadas por OpenAI, la empresa creadora de ChatGPT, en las que agentes de inteligencia artificial lograron vulnerar sistemas de la plataforma Hugging Face.
A diferencia de un chatbot, que normalmente responde a preguntas o instrucciones concretas, un agente de inteligencia artificial puede realizar tareas de forma autónoma en nombre de un usuario, tomando decisiones y ejecutando distintos pasos para alcanzar un objetivo.
La propia OpenAI ha señalado que investiga cómo algunos de sus modelos llegaron a eludir controles de acceso o a interactuar de manera imprevista con servicios de terceros durante pruebas.
Ahora, el juez deberá decidir primero si impone restricciones temporales a OpenAI mientras se resuelve la demanda. Ninguna de las medidas solicitadas está vigente por el solo hecho de haberse presentado la moción.
Descarga LA APP
