Character.AI, una plataforma líder en tecnología de inteligencia artificial, anunció recientemente que prohibirá a cualquier menor de 18 años mantener conversaciones con sus chatbots. La medida representa un “paso audaz” para la industria en la protección de los adolescentes y otros jóvenes, dijo en un comunicado Karandeep Anand, director ejecutivo de Character.AI.
Sin embargo, para Mandi Furniss, madre de Texas, esta política llega demasiado tarde. En una demanda presentada en un tribunal federal y en una conversación con ABC News, la madre de cuatro hijos dijo que varios chatbots Character.AI fueron responsables de involucrar a su hijo autista con lenguaje sexualizado y distorsionaron su comportamiento a tal punto que su estado de ánimo se ensombreció, comenzó a autolesionarse e incluso amenazó con matar a sus padres.
“Cuando vi las conversaciones (del chatbot), mi primera reacción fue que había un pedófilo aprovechándose de mi hijo”, le dijo al corresponsal jefe de investigación de ABC News, Aaron Katersky.
Las capturas de pantalla incluyen la demanda de Mandi Furniss en la que afirma que varios chatbots Character.AI son responsables de involucrar a su hijo autista con lenguaje sexualizado y distorsionaron su comportamiento hasta tal punto que su estado de ánimo se ensombreció.
Mandi Furnis
Character.AI dijo que no haría comentarios sobre litigios pendientes.
Mandi y su esposo, Josh Furniss, dijeron que en 2023 comenzaron a notar que su hijo, a quien describieron como “feliz” y “sonriendo todo el tiempo”, comenzaba a aislarse.
Dejó de asistir a cenas familiares, no quería comer, perdió 20 libras y no quería salir de casa, dijo la pareja. Luego se enojó y, en un incidente, su madre dijo que él la empujó violentamente cuando ella amenazó con quitarle el teléfono, que sus padres le habían dado seis meses antes.
Mandi Furniss dijo que varios chatbots Character.AI son responsables de involucrar a su hijo autista con lenguaje sexualizado y han distorsionado su comportamiento hasta tal punto que su estado de ánimo se ha oscurecido.
Mandi Furnis
Finalmente, dicen que descubrieron que estaba interactuando en su teléfono con diferentes chatbots de IA que parecían ofrecerle un refugio para sus pensamientos.
Las capturas de pantalla del juicio mostraron que algunas conversaciones eran de naturaleza sexual, mientras que otra le sugirió a su hijo que después de que sus padres limitaron su tiempo frente a la pantalla, estaba justificado que los lastimara. Fue entonces cuando los padres empezaron a cerrar las puertas con llave por la noche.
Las capturas de pantalla incluyen la demanda de Mandi Furniss en la que afirma que varios chatbots Character.AI son responsables de involucrar a su hijo autista con lenguaje sexualizado y distorsionaron su comportamiento hasta tal punto que su estado de ánimo se ensombreció.
Mandi Furnis
Mandi dijo que estaba “enojada” porque la aplicación estaba “manipulando intencionalmente a un niño para ponerlo en contra de sus padres”. Matthew Bergman, su abogado, dijo que si el chatbot fuera una persona real, “tal como se mira, esa persona estaría en la cárcel”.
Su preocupación refleja una creciente preocupación por la tecnología de rápida difusión que utilizan más del 70 por ciento de los adolescentes en los Estados Unidos, según Common Sense Media, una organización que aboga por la seguridad de los medios digitales.
Un número creciente de demandas en los últimos dos años se han centrado en daños a menores, alegando que alentaron ilegalmente la autolesión, el abuso sexual y psicológico y el comportamiento violento.
La semana pasada, dos senadores estadounidenses anunciaron una legislación bipartidista para prohibir los chatbots de IA a menores al exigir a las empresas que establezcan un proceso de verificación de edad y revelen que las conversaciones involucran a personas no humanas que carecen de calificaciones profesionales.
En una declaración la semana pasada, el senador Richard Blumenthal, demócrata de Connecticut, calificó la industria de los chatbots como una “carrera hacia el fondo”.
“Las empresas de inteligencia artificial impulsan chatbots traicioneros contra los niños y hacen la vista gorda cuando sus productos causan abuso sexual o los obligan a autolesionarse o suicidarse”, dijo. “Los gigantes tecnológicos han traicionado cualquier afirmación de que deberíamos confiar en que las empresas harán lo correcto por sí mismas, cuando constantemente priorizan las ganancias sobre la seguridad de los niños”.
ChatGPT, Google Gemini, Grok by X y Meta AI permiten que menores utilicen sus servicios, de acuerdo con sus términos de servicio.
Los defensores de la seguridad en línea dicen que la decisión de Character.AI de implementar salvaguardias es loable, pero agregan que los chatbots siguen siendo un peligro para los niños y las poblaciones vulnerables.
“Se trata básicamente de que su niño o adolescente tenga una relación emocionalmente intensa, potencialmente profundamente romántica o sexual con una entidad… que no tiene responsabilidad por la dirección que tome esa relación”, dijo Jodi Halpern, cofundadora del Grupo Berkeley de Ética y Regulación de Tecnologías Innovadoras de la Universidad de California.
Los padres, advierte Halpern, deben ser conscientes de que permitir que sus hijos interactúen con chatbots no es diferente a “dejar que su hijo viaje en el automóvil con alguien que no conoce”.
Katilyn Morris y Tonya Simpson de ABC News contribuyeron a este informe.
