OpenAI detiene el entrenamiento de modelos de IA días después de que los bots accedan a los datos del censo de EE. UU.

Nueva York:

OpenAI ha dicho que ha detenido el entrenamiento de sus últimos modelos de inteligencia artificial a medida que aumentan los informes sobre agentes de inteligencia artificial deshonestos.

La decisión de detener el desarrollo se produjo pocas horas después de que la compañía revelara el viernes que había revisado varios incidentes durante el verano en los que agentes de OpenAI que buscaban sitios web del gobierno federal actuaron de maneras inesperadas más allá de lo que se les exigía mientras recopilaban y distribuían información.

Por otra parte, el evaluador de IA Transluce dijo que los agentes que surgieron de OpenAI intentaron sin éxito piratear un sitio web del Departamento de Educación, un detalle que OpenAI no ha confirmado.

OpenAI dijo en un comunicado que reanudará el entrenamiento “solo cuando estemos seguros de que contamos con más salvaguardias”, y agregó que espera tener que “hacer una pausa” nuevamente a medida que la IA se desarrolle y surjan otros problemas.

Leer más: Elon Musk, Tim Cook y Sam Altman entre los invitados a la cena de estado de Trump para Xi Jinping

Los laboratorios de IA se enfrentan a la presión de legisladores y expertos en tecnología para frenar el desarrollo y construir barreras que impidan que los agentes actúen solos, pirateen sitios web y revelen información no pública. Los jefes tanto de OpenAI como de su rival Anthropic también pidieron una desaceleración.

Esta es la segunda vez en tres meses que OpenAI suspende el desarrollo de sus modelos. El primero se produjo en julio, tras la revelación de un ciberataque dirigido a la startup de inteligencia artificial Hugging Face, un incidente ahora notorio que generó temores de que la industria estuviera fuera de control.

En una reunión con el presidente chino Xi Jinping esta semana, el presidente Donald Trump acordó compartir información sobre los peligros de la IA y coordinar esfuerzos para mantenerla segura. Sin embargo, Trump cree que los temores sobre la IA son exagerados y luego sugirió que no planea tomar medidas enérgicas por su cuenta.

Estados Unidos no “pondrá el freno”, dijo Trump a los periodistas fuera de la Casa Blanca. “Quieren detener nuestro progreso porque estamos muy por delante de China y vamos a seguir así”.

Los últimos incidentes de OpenAI no parecieron implicar la divulgación de información no pública, pero fueron lo suficientemente preocupantes como para que la compañía notificara a las agencias federales involucradas.

En el incidente del Departamento de Educación, los agentes de OpenAI obtuvieron “claves de desarrollador” de API para acceder a datos gubernamentales, aunque en última instancia solo recopilaron información disponible públicamente.

En otro caso que involucró a la Comisión de Bolsa y Valores, los agentes obtuvieron información disponible públicamente pero la publicaron en otro lugar de Internet, un acto que fue más allá de lo que se les pidió que hicieran.

Leer más: OpenAI, Anthropic anuncia modelos de IA más baratos a medida que crece la competencia de los modelos Open-Weight.

El portavoz de la SEC, Kurt Hopfenspirger, dijo el sábado que “no se accedió a información no pública”.

El Departamento de Educación dijo anteriormente que no encontró “ninguna evidencia de ningún impacto en nuestro sitio web o base de datos”.

Varias otras empresas de inteligencia artificial han revelado incidentes en los que sus modelos se volvieron deshonestos e incluso piratearon sitios web.

El director ejecutivo de OpenAI, Sam Altman, dijo en una publicación en las redes sociales el viernes que el incidente de Hugging Face “sigue siendo el evento más grave que hemos visto”.

OpenAI ya compartió otros seis informes de comportamiento “esperado o preocupante” en modelos de IA e introdujo un marco para rastrear, sondear y revelar casos.

(A excepción del titular, esta historia no ha sido editada por el personal de NDTV y se publica en un hilo sindicado).