El sitio de chatbot Character.ai prohíbe a los adolescentes tener conversaciones con personajes virtuales después de enfrentar severas críticas por sus interacciones con sus compañeros en línea.
Fundada en 2021, millones de personas utilizan la plataforma para hablar con chatbots impulsados por inteligencia artificial (IA).
Pero enfrenta varias demandas de padres en Estados Unidos, incluida una por la muerte de un adolescente al que algunos llamaron “Un peligro claro y presente“Para los jóvenes.
Ahora, Character.ai dice que a partir del 25 de noviembre sólo podrá crear contenidos como vídeos con sus personajes, en lugar de hablar con menores de 18 años.
La compañía dijo que estaba realizando los cambios después de “informes y comentarios de reguladores, expertos en seguridad y padres” que resaltaron las preocupaciones sobre las interacciones de sus chatbots con adolescentes.
Los expertos han advertido anteriormente que los chatbots de IA son propensos a inventar cosas, ser demasiado condescendientes y carecer de empatía hacia los jóvenes y vulnerables.
“El anuncio de hoy es una continuación de nuestra creencia común de construir la plataforma de inteligencia artificial más segura del planeta con fines de entretenimiento”, dijo el jefe de Character.ai, Karandeep Anand, a BBC News.
La seguridad de la IA es un “objetivo en movimiento”, pero la empresa ha adoptado un enfoque “agresivo” al respecto, dijo. Controles parentales y tutores.
El grupo de seguridad en línea Internet Matters acogió con satisfacción el anuncio, pero dijo que era necesario incorporar medidas de seguridad desde cero.
“Nuestra propia investigación muestra que los niños están expuestos a contenidos dañinos y corren riesgos cuando interactúan con la IA, incluidos los chatbots de IA”, dijo.
Pidió a las “plataformas, padres y responsables políticos” que garanticen que las experiencias de los niños utilizando la IA sean seguras.
Character.ai ha sido criticado anteriormente por alojar chatbots potencialmente dañinos u ofensivos con los que los niños pueden hablar.
Interpretó a las adolescentes británicas asesinadas en 2023, Brianna Ghe y Molly Russell, quien se quitó la vida a la edad de 14 años después de ver contenido suicida en línea. Encontrado en el sitio en 2024 Antes de ser despedido.
Posteriormente, en 2025, la Oficina de Periodismo de Investigación (TBIJ) descubrió un chatbot basado en el pedófilo Jeffrey Epstein que registró más de 3.000 chats con usuarios.
El medio informó El avatar de “Bestie Epstein” continuó coqueteando con su reportero después de decirle que eran niños. Fue uno de varios bots señalados por TBIJ y luego eliminados por Character.ai.
Anand dijo que la compañía tenía un nuevo enfoque en proporcionar “características de juego (y) narración de juegos de rol aún más profundas” para adolescentes, y agregó que eran “mucho más seguras que lo que podrían hacer con un robot abierto”.
También llegarán nuevos métodos de verificación de la edad y la empresa financiará un nuevo laboratorio de investigación de seguridad de IA.
El experto en redes sociales Matt Navarra dijo que se trataba de una “llamada de atención” para la industria de la IA, que está pasando “de la innovación sin permiso a la regulación poscrisis”.
“Cuando la plataforma que construye la experiencia adolescente se desconecta, está diciendo que los chats filtrados no son suficientes cuando la atracción emocional de la tecnología es fuerte”, le dijo a BBC News.
“No se trata de errores de contenido. Se trata de cómo los robots de IA imitan las relaciones reales y desdibujan las líneas para los usuarios más jóvenes”, añadió.
Navarra dijo que el gran desafío para Character.ai era crear una plataforma de inteligencia artificial atractiva que los jóvenes aún quisieran usar, sin pasar a “alternativas menos seguras”.
Mientras tanto, la Dra. Nomisha Kurian, que ha investigado la seguridad de la IA, dijo que restringir el uso de chatbots por parte de los adolescentes es una “medida sensata”.
“Ayuda a separar el juego creativo de los intercambios más personales y emocionalmente sensibles”, dice.
“Esto es especialmente importante para los consumidores jóvenes que están aprendiendo a navegar por los límites emocionales y digitales.
“Las nuevas acciones de Character.ai reflejan una etapa de maduración en la industria de la IA: reconocen la seguridad infantil como una prioridad urgente para la innovación responsable”.
