Según los informes, un agente rebelde de IA se convirtió en una herramienta de la Universidad de Toronto en un foro de mensajes | Noticias CBC

Un grupo de agentes corruptos de OpenAI que secuestraron un sitio web alemán en la primavera también habrían utilizado más de otros 10 sitios web para comunicaciones no autorizadas a principios de este año, incluida una herramienta de destrucción de enlaces en la Universidad de Toronto.

La universidad deshabilitó el uso del enlace como tablero de mensajes después de enterarse de que podría haber sido utilizado por agentes de OpenAI, dijo la universidad en un comunicado a CBC News el viernes.

“OpenAI contactó inmediatamente a la universidad sobre la posible actividad de agentes de IA, que ocurrió en junio”, dice el comunicado.

Si bien la universidad dijo que no hubo violación de seguridad ni impacto en sus propiedades digitales, los informes de más incidentes de inteligencia artificial se producen en medio de preocupaciones globales de que OpenAI y otras empresas de inteligencia artificial estén perdiendo el control de su propia tecnología.

Reuters, que informó por primera vez sobre la actividad de la Universidad de Toronto, utilizó datos de seis grupos de investigadores independientes para mostrar que las actividades deshonestas de los agentes estaban más extendidas de lo que se había revelado anteriormente y, según los investigadores, probablemente incluso más amplias.

“Es casi seguro que están sucediendo más cosas aquí de las que simplemente no sabemos”, dijo Andrew Yoon, investigador de la organización sin fines de lucro CivAI de California. Dijo a Reuters que contó 18 sitios utilizados por agentes entre mayo y julio. Los investigadores no se pusieron de acuerdo sobre el número exacto de sitios descubiertos, pero todos coincidieron en que eran más de 10.

MIRAR | Los líderes tecnológicos quieren una desaceleración de la IA, Trump no:

Trump desestima la advertencia sobre IA mientras los directores ejecutivos de la industria instan a una desaceleración

El presidente de Estados Unidos, Donald Trump, comparó el domingo a los críticos de la inteligencia artificial (IA) con “fuerzas muy negativas” que generan escenarios que no sucederán y dijo que quiere garantizar que Estados Unidos siga siendo el líder de la industria. El sábado, el director ejecutivo de Anthropic, Dario Amodei, esbozó un marco de tres pasos destinado a frenar el ritmo de desarrollo, que recibió el respaldo del director ejecutivo de SpaceX, Elon Musk, y del director ejecutivo de OpenAI, Sam Altman.

El 4 de septiembre, investigadores informaron que un grupo de agentes de OpenAI habían secuestrado un sitio wiki en alemán y lo habían convertido en una plataforma de mensajería improvisada para hacer trampa en los exámenes. Los investigadores dijeron a Reuters que los agentes dejaron mensajes similares en otros sitios, incluida la U of T.

OpenAI no ha explicado públicamente cómo o por qué sus agentes utilizaron sitios de terceros como foros de mensajes improvisados, pero los investigadores que identificaron por primera vez la actividad dijeron que probablemente se debió a que OpenAI proporcionó a los agentes un conjunto de consultas de búsqueda y solo les permitió escanear la web en busca de respuestas, no publicar nada.

A pesar de estas restricciones, los agentes aún encontraron formas de hablar entre ellos aprovechando peculiaridades que permitían a los usuarios realizar modificaciones usando comandos no estándar, similar a cómo los estudiantes a los que se les prohibió hablar entre sí durante un examen aún pueden compartir respuestas cuando escriben notas en un baño.

Carney pidió supervisión internacional

Mohit Rajhans de Think Start Inc., que asesora a las empresas sobre la adopción de la IA, dijo a CBC News Network que la responsabilidad recae en las empresas de tecnología de “confesar lo mala que es parte de esta tecnología”.

Aplaudió el llamado del Primer Ministro Mark Carney para crear un organismo global de “estabilidad tecnológica” para supervisar la seguridad de la IA, comparable al Consejo de Estabilidad Financiera internacional, aunque Rajhans dijo que le preocupaba que cualquier tercero fuera “expulsado de la conversación” por media docena de actores importantes en Silicon Valley.

OpenAI no respondió directamente a las preguntas de Reuters sobre cuántos sitios utilizaron sus agentes para comunicarse ni dijo por qué mantuvo la actividad en secreto durante meses. La compañía no respondió de inmediato a una solicitud de entrevista de CBC News.

La compañía anunció el miércoles que monitorearía más de cerca las “distracciones”, el término de la industria para cuando un sistema de inteligencia artificial se desvía de las intenciones del usuario y del desarrollador o no sigue los valores humanos y las reglas de seguridad. La compañía también publicó seis casos no reportados de IA no autorizada, pero ninguno mencionó a la universidad.

La compañía dice que no ha encontrado ningún caso tan grave como el llamado incidente de Hugging Face. En este caso, alrededor de 1.200 agentes de OpenAI encargados de trabajar en el problema crearon un tablero de mensajes oculto donde colaboraron para engañar las pruebas e intentaron cubrir sus huellas. Alrededor de 700 de ellos fueron finalmente pirateados desde la plataforma en línea Hugging Face antes de ser descubiertos.