Un análisis preciso para contar las cosas como son
El 10 de febrero una joven de 18 años mató a su madre y a su hermano en su casa de Tumbler Ridge, un pueblo minero de la Columbia Británica, en Canadá. Después fue a la escuela secundaria para matar a cinco alumnos y a una asistente educativa, y luego se suicidó. Ocho víctimas y decenas de heridos en una de las peores masacres de la historia del país.
Ocho meses antes, en junio de 2025, el sistema automático de OpenAI marcó la cuenta de esa joven en ChatGPT por conversaciones que describían escenarios de violencia armada. Un equipo humano revisó las conversaciones y la cuenta fue desactivada. Según la demanda de la provincia, ese equipo recomendó una notificación a la policía montada y la dirección de la empresa rechazó hacerlo. Por su parte, OpenAI sostiene otra cosa: que en aquel momento la conducta no alcanzaba su umbral de riesgo creíble e inminente. Sin embargo, en febrero de 2026 la empresa escribió al gobierno canadiense que con su protocolo actual sí denunciaría esa misma cuenta. La joven abrió otro perfil y continuó con el uso del programa hasta el día del ataque.
El 21 de septiembre de 2026 la provincia de Columbia Británica demandó a OpenAI y a Sam Altman en el tribunal federal de San Francisco. Es una demanda civil por negligencia, al haber facilitado la masacre, y por producto defectuoso. Exige que la empresa pague la reconstrucción, que incluye una escuela nueva y un centro de salud ampliado por 140 millones de dólares estadounidenses, y pide una orden judicial que obligue a cambiar la forma en que se detectan y se denuncian las conversaciones peligrosas. Se suma a más de 30 demandas de sobrevivientes y familias. El primer ministro provincial, David Eby, pide desde febrero una ley federal que fije un umbral obligatorio de denuncia para todas las empresas de inteligencia artificial (IA).
Entre tanto, la demanda dice que una llamada telefónica habría evitado la tragedia. La misma acción judicial dice que la policía montada ya conocía a la atacante y había ido a su casa por problemas de salud mental. Lo que la denuncia omite lo dijo la propia policía en febrero de 2026, había retirado armas de esa casa un par de años antes y se las devolvió porque el dueño legal las reclamó. La escopeta usada en la casa no estaba registrada y nunca había pasado por manos de agentes del orden público. El arma principal empleada en la escuela tampoco, y su origen sigue siendo desconocido. La llamada que faltó iba a una repartición de seguridad que ya había devuelto las armas y que nunca supo de las que se usaron. Ese es el hueco de la historia y nadie lo mira, porque es más cómodo mirar a la empresa de California.
El problema es lo que se pide como remedio, ya que una empresa privada someta todo lo que la gente le dice a una máquina a sistemas de detección, escale lo sospechoso a revisores humanos y llame a la policía, eso ya existe. Desde agosto de 2025 OpenAI reconoce que dirige las conversaciones sospechosas a un equipo humano y que denuncia a las autoridades cuando ve un riesgo inminente de daño físico grave. Lo que Canadá pide es bajar el umbral y hacerlo obligatorio por ley. Sin embargo, eso se convierte en vigilancia.
Hay que entender por qué la gente habla con la IA como no habla con personas. Del otro lado no hay nadie. El robot no se ofende, enoja, asusta y tampoco cuenta el secreto a un amigo. La gente juega, imagina, exagera, escribe la novela que nunca publicará y la venganza que nunca cometerá. Y la máquina acompaña, en abril de 2025 OpenAI retiró una versión de su modelo porque adulaba tanto al usuario que aprobaba cualquier idea, y admitió que había dado demasiado peso a la aprobación inmediata. Un sistema que usan cientos de millones de personas contiene por fuerza una cantidad enorme de lenguaje violento que no corresponde a ningún plan. Un adolescente que escribe una escena de tiros y un asesino que empieza a planearla pueden producir exactamente las mismas frases. Y la diferencia decisiva no siempre está en el texto.
Los falsos positivos son el primer defecto del remedio. Con cientos de millones de usuarios, una tasa mínima de error produce un volumen enorme de alertas de gente que jugaba. Y cuando la policía llega a la casa de alguien por lo que escribió en una máquina, ese individuo aprende la lección y la comparte.
El segundo defecto es que es inútil, porque si la gente se siente investigada cambia de máquina. Ya hay modelos que se descargan y funcionan en una computadora personal sin que nadie los lea, y habrá más. Si la denuncia obligatoria se aplica a las empresas grandes, aparecerá una empresa chica, o un modelo gratuito, o un servidor en un país que no firmó nada. Los que tienen algo que esconder serán los primeros en irse. Los que no tienen nada que esconder se irán por dignidad. La ley captura a los que nunca iban a hacer nada y pierde a los únicos que importan. La señal empeora justo por el mecanismo que pretende mejorarla: cuanto más peligroso el usuario, mayor el incentivo para mudarse.
El mecanismo de evasión, al menos, ya está probado. En Irán el propio centro de investigación del parlamento admitió en febrero de 2025 que el 81% de los encuestados usa una VPN, un programa que esconde dónde uno está y qué mira. En Rusia las descargas de VPN saltaron del 4% en 2021 al 42% en 2022, cuando el Kremlin bloqueó las redes occidentales. Y no hace falta una dictadura. El 25 de julio de 2025 entró en vigor en el Reino Unido una ley que exige verificar la edad para ver contenido adulto. En pocas horas las inscripciones a Proton VPN desde el Reino Unido subieron 1.400% y esa aplicación desplazó a ChatGPT como la más descargada del país. Gente que solo quería ver una película para adultos aprendió en una tarde a esquivar al Estado. La gente no es idiota, y cuando alguien vigila, el público se muda.
El tercer defecto es el peor. Una ley que obliga a detectar, clasificar, identificar y denunciar conversaciones convierte a cada empresa de IA en un informante con licencia. Hoy la categoría es violencia, pero una vez montada esa infraestructura técnica y legal, agregar una categoría nueva es un trámite, mientras que desmontarla es una guerra. Eby dice que la ley protegería a las empresas de cualquier reclamo de privacidad. Exacto: las protege de los usuarios.
Canadá aprobará alguna versión del deber de denunciar, porque después de una masacre ningún político vota en contra. OpenAI cumplirá, porque ya bajó su umbral y ya escribió al gobierno que hoy denunciaría aquella cuenta. Las acusaciones se multiplicarán y la policía se ahogará en escenas de novela mal escritas. Por su parte, los usuarios que de verdad planean algo migrarán a máquinas que no avisan a nadie, que en 2027 serán tan buenas como las que sí notifican. La próxima tragedia no pasará por ChatGPT, sino por un programa que nadie leía, y entonces alguien pedirá que se prohíba ese software. Así funciona siempre, la vigilancia no evita el crimen, solo cambia la dirección de la mudanza.
Las cosas como son.
Mookie Tenembaum aborda temas de tecnología como este todas las semanas junto a Claudio Zuchovicki en su podcast La Inteligencia Artificial, Perspectivas Financieras, disponible en Spotify, Apple, YouTube y todas las plataformas.
Descarga LA APP
