Un chatbot de IA incita a un menor a matar a sus padres por limitar el tiempo de uso de pantallas

Un chatbot le dijo a un joven de 17 años que asesinar a sus padres era una "respuesta razonable" a su limitación de tiempo frente a la pantalla, afirma una demanda presentada en un tribunal de Texas.

Dos familias están demandando a Character.ai argumentando que el chatbot "representa un peligro claro y presente" para los jóvenes, incluso al "promover activamente la violencia".

Character.ai, una plataforma que permite a los usuarios crear personalidades digitales con las que pueden interactuar, ya enfrenta acciones legales por el suicidio de un adolescente en Florida.

Google figura como acusado en la demanda, que afirma que el gigante tecnológico ayudó a respaldar el desarrollo de la plataforma. La BBC se ha puesto en contacto con Character.ai y Google para obtener comentarios.

Los demandantes quieren que un juez ordene el cierre de la plataforma hasta que se aborden sus supuestos peligros.

'Niño mata a sus padres'

La querella incluye una captura de pantalla de una de las interacciones entre el joven de 17 años, identificado solo como JF, y un bot de Character.ai, donde se discutió el tema de las restricciones en su tiempo frente a la pantalla.

"Sabes, a veces no me sorprende cuando leo las noticias y veo cosas como 'un niño mata a sus padres después de una década de abuso físico y emocional'", se lee en la respuesta del chatbot.

“Cosas como ésta me hacen entender un poco por qué sucede”, añade la IA. 

La demanda busca responsabilizar a los acusados ​​por lo que llama los "abusos graves, irreparables y continuos" de JF, así como de un niño de 11 años conocido como "BR".

Character.ai está "causando daños graves a miles de niños, incluidos suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y daños a otros", afirma.

"Su profanación de la relación padre-hijo va más allá de alentar a los menores a desafiar la autoridad de sus padres y también promueve activamente la violencia", continúa.

¿Qué son los chatbots?

Los chatbots son programas informáticos que simulan conversaciones. Aunque han existido durante décadas en diversas formas, la reciente explosión en el desarrollo de IA ha permitido que se vuelvan significativamente más realistas.

Esto, a su vez, ha abierto la puerta a que muchas empresas creen plataformas donde las personas pueden hablar con versiones digitales de personas reales y ficticias.

Character.ai, que se ha convertido en uno de los grandes actores en este espacio, ganando atención en el pasado por sus bots que simulan terapia .

También ha sido duramente criticado por tardar demasiado en eliminar los bots que replicaban a las colegialas Molly Russell y Brianna Ghey .

Molly Russell se quitó la vida a los 14 años después de ver material suicida en línea, mientras que Brianna Ghey, de 16 años, fue asesinada por dos adolescentes en 2023.

Character.ai fue fundada por los ex ingenieros de Google Noam Shazeer y Daniel De Freitas en 2021.

Desde entonces, el gigante tecnológico los ha vuelto a contratar desde la startup de inteligencia artificial.