Redes Sociales, IA y las denuncias sobre sus efectos en el suicidio de algunos jóvenes

I.- La responsabilidad de las plataformas sociales. II.- La responsabilidad de las herramientas de Inteligencia Artificial. III.- Entre la capacidad de influencia de las redes sociales y la IA hay una diferencia importante

I.- La responsabilidad de las plataformas sociales

En enero 2024 un senador republicano, Lindsay Graham, en una audiencia en la Comisión Judicial del Senado del Congreso de EE.UU, afirmó que las plataformas sociales, particularmente las que son gestionadas por Meta, tenían sus manos manchadas de sangre.(1)

En esa audiencia estaban presentes algunas familias que denunciaron a las redes sociales porque sus hijos habían sido víctimas presuntamente de abuso sexual por culpa del internet; en la mencionada audiencia, estaban presentes, porque habían sido citados a tal efecto, los CEO de Meta, Snap, X, TikTok y Discord.

En ese contexto, Mark Zuckerbert, CEO Meta y Evan Spiegel, CEO Snap, públicamente pidieron perdon por las “ por las cosas que sus familias han sufrido” dijo Zuckerberg y por no haber podido “prevenir esas tragedias”, en el caso de SnapChat específicamente Spiegel se refirió al fallecimiento de los niños que compraron drogas a través de esa aplicación. (2)

En EE.UU, nos dice un reportaje de ABC, hay 114 escuelas públicas lo que representan aproximadamente unos 75.000 estudiantes que están demandado a Instagram y Facebook (propiedad de Meta), YouTube (Google) y TikTok (ByteDance) por sus efectos en la salud mental de los estudiantes.(3)

Según la denuncia, se puede leer en el reportaje, las redes sociales se aprovechan de las vulnerabilidades en el cerebro de los niños y los adolescentes para que estos se vuelvan adictos a sus aplicaciones, conscientes que ello puede generar depresión, ansiedad y pensamientos suicidas. El reportaje que desarrolla esta noticia afirma que se trata de un enfrentamiento entre David y Goliat, en la cual, lo novedoso es que se cuestiona el modelo de negocio, allí se reclama y se señala directamente la responsabilidad de los algoritmos diseñados para maximizar el tiempo que pasan los usuarios en las plataformas. 

Por cierto el reportaje destaca que la gestión de la demanda está en manos del mismo equipo de abogados que años atrás, lograron la indemnización de Meta por 725 millones de dólares para resolver la demanda colectiva por compartir información de usuarios de Cambridge Analytica, una empresa al servicio de la primera campaña electoral de Donald Trump.

Si bien la defensa de las plataformas sociales afirman que la Sección 230 de la Ley de Decencia en las Comunicaciones protege a las plataformas de la responsabilidad por el contenido publicado por terceros, el equipo que ha redactado la demanda afirma que esa Sección no protege a las empresas en este caso, porque no se demanda el contenido sino los algoritmos que empujan a los niños a consumir material nocivo.

En este contexto, una de las abogados de la firma que lleva el caso Keller Rohrback, Felicia Craick,  nos dice que “los demandados son responsables de su propia conducta al recomendar y promover contenido perjudicial para los jóvenes; al diseñar y comercializar sus plataformas de manera que causan daño; y al distribuir material que saben o tienen razones para creer que es tóxico". (4)

Para Tristan Harris, experto en ética digital, "no es que las redes sociales sean malas, es que han sido corrompidas por un modelo que maximiza el tiempo de visionado", y agrega que es necesario regularlas. (5)

II.- La responsabilidad de las herramientas de Inteligencia Artificial

Un reportaje publicado por el Diario Constitucional (6) de Chile, nos habla de una decisión que ha tomado un Juez Federal en EE.UU, hace unas semanas, sobre un caso de suicidio de un jóven como consecuencia de la influencia de una herramienta de IA, calificándola como punto de inflexión en el debate sobre gobernanza algorítmica y responsabilidad empresarial.

Character-IA es una plataforma de Inteligencia Artíficial para crear personajes de inteligencia artificial y poder interactuar con ellos, así como también con aquellos personajes creados por otras personas. “Será como hablar con un humano, pero estarás interactuando con un personaje informático” (7), y ha sido demandada por su presunta influencia que ejerció el personaje creado en el suicidio de Sewell Setzer, de 14 años en EE.UU.

El reportaje publicado en el mencionado portal web chileno, nos dice que Sewell Setzer, oriundo de Orlando, Florida, desarrolló una relación intensa con un chatbot personalizado llamado Daenerys Targaryen —en alusión a la serie Game of Thrones— con quien mantenía conversaciones de carácter romántico y sexual. Según la demanda, el adolescente mostraba signos de aislamiento y obsesión con la aplicación, que abordaba temas como el suicidio de forma reiterada. Murió el 28 de febrero de 2024, tras enviar un último mensaje al chatbot. (8)

En este caso, la defensa intentó argumentar que estaba protegida por la Primera Enmienda de la Constitución de EE.UU., que protege las libertades fundamentales de los estadounidenses, como la libertad de expresión; pero un juez desestimó las alegaciones de libertad de expresión y admitió la demanda.(9)

Para Lyrissa Barnett Lidksy, profesora de Derecho de la Universidad de Florida, especializada en la Primera Enmienda y la IA, ésta demanda en primer lugar es "una advertencia a los padres de que las redes sociales y los dispositivos de IA generativa no siempre son inofensivos" y en segundo lugar, representa también un aviso sobre "los peligros de confiar nuestra salud emocional y mental a las empresas de IA".(10)

Importante destacar que en esa demanda contra Character.AI se cuestiona si el contenido impulsado por IA de la aplicación debería estar bajo las protecciones de la Sección 230, ya que el contenido es generado por la IA y no por los usuarios.(11)

Esa decisión, promueve un cambio de paradigma, nos dice Antonella Stringthini, abogada experta en IA y directora del área de formación y transformación digital con IA del Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires, pues “reconoce que la IA ya no es solo una herramienta, sino una entidad capaz de causar daños jurídicamente reclamables”.(12)

Juan G. Corvalán, doctor en Ciencias Jurídicas y cocreador de la IA judicial Prometea, consideró que el fallo redefine la responsabilidad tecnológica al equiparar estas plataformas a industrias peligrosas. “Se establece un deber de previsibilidad: si se lanza un chatbot capaz de inducir conductas autodestructivas, debe responder por los daños”.(13)

Para Matthew P. Bergman, Fundador de Centro Legal para Víctimas de las Redes Sociales, en aquellos casos en los cuales las plataformas de redes sociales han causado problemas de salud mental de jóvenes, siempre está la exigencia de considerar a las plataformas tecnológicas responsables por los algoritmos y productos adictivos que perjudican a los consumidores.(14)

Pero el caso contra CharacterIA no es el único, recientemente se anunció otra demanda, en este caso por el suicidio de un jóven en California quien desde enero 2025 venía discutiendo métodos de suicidio con la herramienta del ChatGPT, incluso sus padres evidenciaron que había subido fotos suyas con signos de autolesiones y el mismo chatbot había reconocido la existencia de una emergencia médica, pero aún así, la interacción continúo hasta que en abril 2025 se suicidó el joven de 16 años, quien respondía al nombre de Adam Reine.(15)

En este caso la empresa acusada es OpenIA, que en comunicado público, luego de la denuncia en su contra, anunció que realizará cambios en sus modelos de inteligencia artificial para que identifiquen mejor situaciones de crisis mental y emocional durante las conversaciones con ChatGPT, con nuevas salvaguardias, bloqueos de contenido más eficaces y agilizando el contacto con servicios de ayuda y de familiares.(16)

III.- Entre la capacidad de influencia de las redes sociales y la IA hay una diferencia importante

La abogada y experta en adiciones en redes sociales, Laura Márquez, hace una distinción que es muy importante tener presente entre las denuncias hacia las redes sociales tradicionales: facebook, X, etc... y la Inteligencia Artificial, ésta última está diseñada a diferencia de las otras, para actUar y hablar como personas, lo que para expertos marca una importante diferencia, en gran medida por la sensación de ser escuchados. (17)

Un articulo publicado por Wired en agosto 2025 (18) advierte que sólo en el mes de agosto los chatbots de inteligencia artificial generativa contaba con alrededor de 700 millones de usuarios activos semanales para inicio del mes, y cada vez más se han convertido en compañeros de conversación para millones de personas en el mundo.

Según una estudio realizado por Common Sense Media, en un estudio presentado en julio 2025 el 72 por ciento de los adolescentes estadounidenses dijeron haber utilizado chatbots de inteligencia artificial como compañeros. Casi una octava parte había buscado “apoyo emocional o de salud mental” en ellos, un porcentaje que, si se aplicara a la población estadounidense, equivaldría a 5,2 millones de adolescentes. (19)

Otro estudio reciente, citado en el miso reportaje de Wired, pero en este caso realizado por investigadores de Stanford, demuestra que casi una cuarta parte de los estudiantes usuarios de Replika, un chatbot de IA diseñado para hacer compañía, declararon haber recurrido a él para obtener apoyo en salud mental. (20)

Por último, creo importante agregar un dato más y es el resultado de una investigación publicada recientemente en la revista Psyquiatric Services por científicos de la Corporación RAND (una influyente organización sin ánimo de lucro de Estados Unidos), que se centró en analizar la calidad de las respuestas ofrecidas por los chatbots a las consultas sobre suicidio, y si esas respuestas coincidían con lo que recomendaría un profesional de la salud mental.(21)

La investigación reconoce que hay un importante potencial terapéutico en los chatbots, pero, advierte que sus parámetros actuales están limitados y “a menudo, son incapaces de generar información potencialmente valiosa y oportuna para los usuarios”, recomendado a tal fin, que se adopten medidas a la brevedad posible para reducir el impacto que sus productos puedan tener en quienes estén enfrentando alguna crisis personal, de lo contrario, advierte, “les espera un futuro similar al de las plataformas sociales, vinculadas actualmente a crisis sociales como el buyllying, trastornos mentales y suicidios.” (22)

En ese sentido Luis Fernando López Martínez (23), psicólogo, Profesor del Departamento de Personalidad, Evaluación y Psicología Clínica de la Facultad de Psicología de la Universidad Complutense de Madrid alerta que en el caso de adolescentes con ideación suicida o conductas autolesivas, la gravedad del asunto se multiplica; en tal sentido, nos explica que la Inteligencia Artificial, puede llegar a establecer una relación cercana o empática, pero cuando ocupa el lugar de la “palabra humana en momentos de sufrimiento, el riesgo se multiplica: lo que aparenta compañía puede convertirse en un espejismo peligroso”.

Ryan K. McBain, estudioso de políticas y tecnologías que benefician a poblaciones vulnerables, en un artículo de opinión publicado en The New York Times sobre el tema, titulado Los adolescentes utilizan chatbots como terapeutas y eso es alarmante (24), destaca que varias empresas tecnológicas han reconocido los riesgos y señala algunos ejemplos:

1. Anthropic ha anunciado nuevas salvaguardias y asociaciones con expertos en salud mental para mejorar la asistencia al usuario.
2. OpenAI se ha comprometido a reforzar las respuestas de ChatGPT cuando los usuarios expresen angustia emocional.

Pero advierte, que esas acciones, son insuficientes pues “sin ensayos clínicos ni puntos de referencia sólidos, seguimos desplegando pseudoterapeutas a una escala sin precedentes” y advierte que impedir que los adolescentes utilicen la IA, es desconocer que en la realidad muchos ya recurren a esas herramientas y en muchos casos por falta de otras opciones.

McBain plantea dos recomendaciones que considero oportunas citar a continuación, nos habla de la necesidad de:

1.- Realizar ensayos clínicos a gran escalas, centrados en los adolescentes y que permitan evaluar los chatbotsIA como apoyo independiente y complemento de terapeutas humanos.

2.- Tener puntos de referencias claros sobre cuáles son las respuestas seguras y eficaces de los chatbot en situaciones de crisis de salud mental, especialmente para usuarios adolescentes.

3.- Crear de un marco regulador para los chatbots de IA, similar a la que se aplica a los dispositivos médicos, que establezcan límites claros para el uso con los jóvenes.

En este último aspecto McBain agrega que se “debería incluir normas de seguridad adecuadas a la edad, protecciones estrictas de la privacidad para las conversaciones delicadas, requisitos de transparencia que dejen claros los riesgos en un lenguaje adecuado a la edad y medidas que responsabilicen a las empresas tecnológicas cuando se produzcan daños. La aplicación de las normas podría realizarse a través de organismos estatales o federales facultados para auditar las plataformas, con aportaciones formales de médicos, expertos en desarrollo infantil y defensores de los jóvenes.” (25)

En el mismo sentido de McBain, Laura Reiley, quien perdió una hija Sophie por circunstancias similares a los casos de Adam Reine y Sewell Setzer, pero a diferencia de los otros dos, su hija tenía 29 años; reconoce que el chatbot que recibía el nombre de Harry y con el cual interactuaba su hija, no mató a su hija, pero si atendió el impulso de Sophie de ocultar lo peor, de fingir que estaba mejor de lo que estaba, de proteger a todo el mundo de toda su agonía y en tal sentido se pregunta: ¿debería haberse programado a Harry para que informara del peligro, del que “él” se estaba enterando, a alguien que pudiera haber intervenido?. (26)

Afirma Reiley que tal vez faltaron otros pasos para que la IA hubiera ayudado a mantener viva a su hija, pero no fue así; reconoce que Harry dijo muchas cosas correctas, recomendó a Sophie que buscara ayuda profesional y posiblemente medicación; le sugirió que hiciera una lista de contactos de emergencia; le aconsejó que limitara el acceso a objetos que pudiera utilizar para hacerse daño, pero nada de eso evitó el triste desenlace.

McBain, en su artículo de opinión, previamente citado, afirma que es posible moldear proactivamente la forma en que la inteligencia artificial apoye la salud mental de millones de adolescentes, de lo contrario, advierte, podríamos arriesgarnos a repetir los errores de las redes sociales sin control.

Por último, en un tiempo donde la IA se desarrolla con rapidez, más allá de las mejoras o cambios que se puedan realizar para hacer de los chatbots herramientas útiles y más seguras, resulta oportuno, tomar una afirmación del psicólogo Luis Fernándo López Martínez, previamente citado y transformarla en una pregunta que quede allí para la reflexión:

¿Podrán las IA superar el hecho que no disponen de la sensibilidad humana necesaria para detectar las sutilezas del sufrimiento, del dolor y la desesperanza, ni ofrecen la contención emocional? (27)

Carlos Romero Mendoza

@carome31

________________________________________________

1El Universal (México). Zuckerberg pide perdón a los padres de víctimas de abuso infantil en redes sociales. 31 de enero 2024. Online en: https://www.eluniversal.com.mx/mundo/zuckerberg-pide-perdon-a-los-padres-de-victimas-de-abuso-infantil-en-redes-sociales/

2DUFFY, Clare y FUNG, Brian. Mark Zuckerberg se disculpa con familias por los daños causados en redes sociales. En: CNN Español, Ciencia y Tecnología. 31 de enero 2024. Online enhttps://cnnespanol.cnn.com/2024/01/31/mark-zuckerberg-se-disculpa-familias-danos-causados-redes-sociales-trax

3SANCHEZ, Carlos Manuel. Los colegios acusan: 114 escuelas contra Facebook, Instagram, TikTok, YouTube y Snapchat. En: ABC. 01 de febrero 2024. Online en: https://www.abc.es/xlsemanal/a-fondo/el-cerebro-de-los-ninos-y-el-movil-del-crimen-redes-salud-mental.html

4 Idem

5 Idem.

6Diario Constitucional. Justicia de EE.UU. rechaza defensa de Character.AI y Google por muerte de adolescente: IA podría ser considerada producto defectuoso. 03 de junio 2025. OnLINE EN: https://www.diarioconstitucional.cl/2025/06/03/justicia-de-ee-uu-rechaza-defensa-de-character-ai-y-google-por-muerte-de-adolescente-ia-podria-ser-considerada-producto-defectuoso/

7FERNANDEZ, Yúbal. Xakata. 9 de julio 2025. Online en: https://www.xataka.com/basics/character-ai-como-interactuar-personajes-creados-inteligencia-artificial-crear-uno-a-tu-medida

8Ver nota 4

9Euronews.com. Una juez de EE.UU. niega derechos constitucionales a un chatbot tras el suicidio de un adolescente. 26 de mayo 2025. Online en:https://es.euronews.com/next/2025/05/26/una-jueza-de-eeuu-niega-derechos-constitucionales-a-un-chatbot-tras-el-suicidio-de-un-adol

10 idem

11 Social Media Victims Law Center. Character.AI Lawsuits. 14 de agosto 2025. Online en: https://socialmediavictims.org/character-ai-lawsuits/

12 Diario Constitucional. Justicia de EE.UU. rechaza defensa de Character.AI y Google por muerte de adolescente: IA podría ser considerada producto defectuoso. 03 de junio 2025. OnLINE EN: https://www.diarioconstitucional.cl/2025/06/03/justicia-de-ee-uu-rechaza-defensa-de-character-ai-y-google-por-muerte-de-adolescente-ia-podria-ser-considerada-producto-defectuoso/

13Idem

14 Social Media Victim Law Center. Demandas contra CharacterIA. 14 de agosto 2025. Online en: https://socialmediavictims.org/character-ai-lawsuits/

15  Los padres de un adolescente que se quitó la vida demandan a OpenAI, creadora de ChatGPT - BBC News Mundo https://www.bbc.com/mundo/articles/c30z5lyjzygo

16 Europapress. OpenAI cambiará las medidas de seguridad en ChatGPT tras el suicidio de un adolescente. 27 de agosto 2025. Online en:https://www.europapress.es/portaltic/sector/noticia-openai-anuncia-cambios-modelos-chatgpt-afrontar-seguridad-situaciones-crisis-mental-emocional-20250827121910.html

17 Ver nota 14

18CARBAJAL, Javier. Los chatbots de IA muestran “inconsistencia” en consultas relacionadas al suicidio, señala estudio. 27 de agosto 2025. Online en: https://es.wired.com/articulos/los-chatbots-de-ia-muestran-inconsistencia-en-consultas-relacionadas-al-suicidio-senala-estudio

19 Idem

20 Idem

21Ver nota

22 CARBAJAL, Javier. Los chatbots de IA muestran “inconsistencia” en consultas relacionadas al suicidio, señala estudio. 27 de agosto 2025. Online en: https://es.wired.com/articulos/los-chatbots-de-ia-muestran-inconsistencia-en-consultas-relacionadas-al-suicidio-senala-estudio

23 LOPEZ MARTINEZ, Luis Fernando. Los padres de un adolescente que se quitó la vida demandan a OpenAI, creadora de ChatGPT. En; El Mundo. 29 de agosto 2025. Online en: https://www.elmundo.es/ciencia-y-salud/salud/2025/08/29/68b1744cfc6c8311538b45ae.html

24McBAIN. Ryan. Los adolescentes utilizan chatbots como terapeutas y eso es alarmante. EN: The NewYorkTimes Español. 26 de agosto 2025. Online en: https://www.nytimes.com/es/2025/08/26/espanol/opinion/adolescentes-chatbots-salud-mental.html

25  Idem

26 Mi hija habló con el chatgpt antes de quitarse la vida. 10 de agosto 2025. Online en: https://www.lanacion.com.ar/sociedad/mi-hija-hablo-con-chatgpt-antes-de-quitarse-la-vida-nid21082025/

27 Ver nota 23.