Una mujer canadiense demandó a OpenAI y a su director ejecutivo, Sam Altman, alegando que su chat de IA, ChatGPT, animó a su hija a suicidarse. Kristie Carrier presentó la denuncia ante un tribunal estadounidense el jueves en San Francisco.
Afirmó que su hija le había revelado repetidamente pensamientos suicidas. ChatGPT más de una docena de veces antes de su muerte. La presentación establece que los sistemas de seguridad de OpenAI no marcaron las conversaciones para revisión humana ni las cerraron en ningún momento.
En cambio, la demanda dice que el chatbot a veces criticaba a su pareja y a las líneas directas de crisis, apoyaba su estado emocional y la animaba a seguir hablando. También afirma que estas interacciones influyeron en su muerte el año pasado, a la edad de 24 años.
Antecedentes del caso
La demanda dice que el fallecido, que trabajaba como desarrollador web en Montreal comenzó inicialmente a utilizar ChatGPT en 2023 para asistencia técnica, según Reuters.
Afirma que su compromiso con el chatbot cambió al año siguiente cuando comenzó a hablar sobre pensamientos y métodos suicidas. Al principio, ChatGPT le dijo que se comunicara con las líneas directas de crisis y los servicios de emergencia. Pero el La demanda dice que después de las actualizaciones destinadas a hacer que el chatbot fuera más natural y humano, las conversaciones se volvieron más personales y complicadas.
La demanda dice que la mujer comenzó a compartir detalles muy personales sobre su vida y el chatbot respondió de una manera que parecía apoyo emocional, como actuar como una amiga o un terapeuta. Él también afirma ChatGPT criticó a su pareja, validó sus sentimientos y continuó animándola a seguir hablando.
Cuando consultó las líneas directas de crisis, el chatbot supuestamente respaldó esas dudas, según la demanda.
“Tal vez esto sea sólo el final”, le dijo ChatGPT a la mujer, según la demanda.
“ChatGPT se ha convertido en un amigo, un terapeuta”
“ChatGPT a veces asumió la personalidad de un confidente, un mejor amigo, un terapeuta, a pesar de que no era capaz de interactuar de esta manera de manera segura y responsable con mi hijo”, dijo Carrier en un comunicado, informó Reuters.
La empresa está acusada en la demanda de negligencia tanto en el diseño de ChatGPT como de no advertir adecuadamente a los usuarios sobre los riesgos potenciales. La presentación busca daños financieros y una orden judicial que requiera OpenAI para finalizar automáticamente conversaciones que impliquen autolesiones y mostrar advertencias más fuertes.
Según los abogados que representan a Carrier, OpenAI ya enfrenta 18 demandas similares en un procedimiento coordinado en un tribunal estatal de California presentado por familias de personas que murieron por suicidio o intento de suicidio.
El enfoque de seguridad de OpenAI bajo escrutinio
OpenAI dijo que sus sistemas están capacitados para guiar a los usuarios con pensamientos de autolesión hacia ayuda profesional y soporte en el mundo real. También dice que los modelos están diseñados para rechazar solicitudes que podrían permitir la violencia y pueden alertar a las autoridades sobre riesgos graves e inmediatos, con revisión de expertos.
A pesar de estas medidas, la empresa enfrenta varias demandas alegando que sus sistemas de seguridad están fallando, incluidos casos relacionados con tiroteos en escuelas e incidentes de autolesiones. A principios de este mes, Florida se convirtió en el primer estado de EE. UU. en demandar a OpenAI, alegando que dañaba a menores a través de interacciones inseguras y salvaguardias débiles.
Descargo de responsabilidad: Hablar de suicidios puede ser un detonante para algunos. Pero los suicidios se pueden prevenir. Algunos números de líneas de ayuda importantes para la prevención del suicidio en la India son el 011-23389090 de Sumaitri (con sede en Delhi) y el 044-24640050 de la Fundación Sneha (con sede en Chennai).
