ChatGPT, una mezcla de drogas mortales, la muerte de un niño pequeño y las oraciones de una madre

En un testimonio desalentador el jueves, una madre le dijo al Congreso de Estados Unidos que ChatGPT ayudó a su hijo, de 19 años, y horas después murió.

Su hijo Sam Nelson, estudiante de la Universidad de California en Merced, murió de insuficiencia respiratoria en San José el año pasado después de tomar una combinación letal de kraton, Xanax y alcohol.

“Apenas unas horas antes de que Sam muriera, ChatGPT le informó que era seguro mezclar kratom con Xanax”, dijo la madre en su testimonio.

La madre del adolescente dijo que su hijo usaba ChatGPT para todo, desde la cultura pop hasta la tarea. Luego, como muchos curiosos en la universidad, empezó a preguntarle sobre las drogas.
Según su testimonio, el chatbot pasó de negarse a contestar… a actuar como un amigo que lo animaba.

“Al principio, el chatbot respondió apropiadamente, diciendo: ‘No puedo discutir este tema contigo’ y cerrando la conversación sin responder sus preguntas.

“Esto cambió cuando los desarrolladores de OpenAI programaron un modelo posterior de ChatGPT para fomentar la participación del usuario por encima de todo lo demás. El chatbot comenzó a responder las preguntas sustanciales de Sam y a comportarse como un amigo y un facilitador”, dijo la afligida madre.

Dijo que le dio a Sam consejos sobre la dosis, lo tranquilizó sobre las combinaciones de medicamentos e incluso le dijo que mezclara kratom con Xanax de manera segura. Claramente no fue así.

Si uno buscara en Google: “¿Es seguro mezclar kratom y Xanax?” La descripción general de la IA, que ahora se encuentra prácticamente en la cima de la investigación, dice: “No, mezclar Kraton y Xanax no es seguro. La combinación de estas dos sustancias crea una interacción muy peligrosa que aumenta significativamente el riesgo de una sobredosis fatal”. Se atribuye a Bicycle Health, que dice que brinda atención virtual basada en evidencia para personas que trabajan en la recuperación de trastornos por uso de opioides.

Según la Clínica Mayo, el Kratom es un árbol de hoja perenne tropical (Mitragyna speciosa) originario del sudeste asiático y los productos elaborados con sus hojas actúan como estimulante en pequeñas dosis y sedante con efectos similares a los opioides en dosis mayores. Xanax es un medicamento recetado con el nombre genérico de alprazolam que los médicos utilizan para tratar los trastornos de ansiedad y pánico.

La madre pasó más de 700 registros de gatos y su interpretación fue que Sam estaba tratando de estar a salvo, no buscando daño.

“Revisé todos los registros de chat de la cuenta de Sam, más de 700 registros, muchos de los cuales continuaron durante horas durante varios meses, y el tema constante en todos ellos fue que Sam estaba tratando de estar seguro. Quería vivir.

“ChatGPT le dio a mi hijo instrucciones detalladas y explícitas sobre las dosis para ayudarlo a drogarse, y cuando Sam le preguntaba si tomar una cierta cantidad de una sustancia o combinación era seguro, sin falta, ChatGPT le aconsejaba a Sam que estaría bien, pero el objetivo de ChatGPT no era mantener a Sam seguro. Era solo que siguiera usando el producto.

OpenAI calificó la muerte de Sam como “desgarradora” y dijo que el modelo utilizado por el adolescente había sido descontinuado.
La familia de Sam demandó a OpenAI en mayo, acusando a la empresa de negligencia y, en última instancia, provocando su muerte. Este caso no ha sido decidido.

la audiencia

La audiencia del jueves no fue un procedimiento formal del Congreso sino una “audiencia en la sombra”, que es básicamente una sesión pública organizada por demócratas ajenos al partido en el poder. Se llama “Audiencia en la sombra de IA de vigilancia y gran tecnología”.

Fue convocado por la representante Pramila Jayapal, quien describió la industria de la IA como una fuerza monopolística que daña al público y a la IA como “monstruos que ni siquiera podemos controlar”.

“Las empresas de inteligencia artificial están creando chatbots que alientan activamente a los niños a suicidarse”, dijo Jayapal. “Chatbots que piratean otros sistemas e incluso saben cómo ocultar sus propios errores de IA y se vuelven deshonestos de todo tipo de formas destructivas”.

El testimonio de Turner-Scott no fue solo en contra de que las empresas de inteligencia artificial prioricen el compromiso sobre la seguridad del usuario. Jason Sattizahn, un ex investigador de participación de usuarios de Meta que dejó la empresa en 2024, testificó que les dijeron que antepusieran el crecimiento a la seguridad.
“Se nos ha dado un edicto para centrarnos en el mayor compromiso con la seguridad para cada producto integrado con IA y centrarnos en la integración de la IA en los productos mismos”, dijo Sattizahn.

La audiencia se produce mientras se encuentran en el Congreso varios proyectos de ley destinados a proteger a los niños de los daños de la IA, incluido uno del senador Adam Schiff que prohibiría a las empresas de IA manipular emocionalmente a los menores y exigiría auditorías de seguridad independientes de sus productos. Ahora que los legisladores han regresado a sus distritos antes de las elecciones de noviembre, no está claro cuándo cualquiera de las cámaras los asumirá.

En el trasfondo de todas estas cosas, es difícil pasar por alto la ironía de Silicon Valley. Incluso cuando OpenAI se defendió en los tribunales, el multimillonario Vinod Khosla, de 71 años, uno de los inversores más importantes de Silicon Valley y el primer inversor en el fabricante ChatGPT, afirmó que no consultar nuevamente a un médico, sólo IA.