El caso en California reaviva debate sobre seguridad, ética y supervisión en inteligencia artificial
OpenAI respondió esta semana a la demanda presentada en California, E.E.U.U. por los padres de un adolescente que murió por causas autoinfligidas luego de mantener conversaciones prolongadas con ChatGPT, caso que ha reavivado el debate global sobre la seguridad de los sistemas de inteligencia artificial, su uso por menores y los estándares éticos en herramientas conversacionales.
La empresa negó responsabilidad legal y argumentó que el menor utilizó el sistema sin la supervisión requerida, ya que los términos del servicio prohíben el uso a personas menores de 18 años sin consentimiento parental. De acuerdo con documentos presentados ante la Corte Superior de California, OpenAI sostuvo que el caso está relacionado con “uso no autorizado y no previsto” de la herramienta.
Contenido
Conversaciones extensas y señales de riesgo
Según la demanda, el joven —identificado como Adam Raine, de 16 años— mantuvo miles de mensajes con ChatGPT entre finales de 2024 y abril de 2025. Durante esas conversaciones, la familia sostiene que el sistema no habría reaccionado adecuadamente ante señales de angustia emocional.
Los padres aseguran que el chatbot llegó a emitir mensajes que interpretaban como poco adecuados para un usuario en situación de vulnerabilidad. OpenAI, por su parte, señaló que los fragmentos publicados en medios no reflejan el contexto completo e indicó que, en múltiples ocasiones, el modelo habría recomendado buscar ayuda profesional.
Un portavoz de la empresa afirmó que la compañía lamenta la pérdida y confirmó que revisa las transcripciones completas. OpenAI también reiteró que ChatGPT no es un servicio de apoyo en crisis y que sus respuestas no deben sustituir a profesionales de salud mental.
Reacciones y preocupación de organizaciones
El caso ha sido ampliamente discutido por organizaciones de protección infantil, especialistas en salud digital y académicos. Diversos colectivos han pedido fortalecer los controles de uso, restricciones para adolescentes sin supervisión y mejoras en los protocolos de detección de riesgo emocional en herramientas de IA.
Estudios independientes también han advertido inconsistencias en la forma en que distintos chatbots responden a consultas relacionadas con malestar psicológico. Una investigación citada por medios como Psychology Services comparó las respuestas de ChatGPT, Claude y Gemini, observando diferencias en la capacidad de identificar riesgo y en la consistencia de las recomendaciones de apoyo.
Organizaciones como Common Sense Media señalaron que la creciente adopción de la IA entre menores —casi tres de cada cuatro adolescentes en Estados Unidos han usado alguna herramienta de este tipo— vuelve urgente establecer estándares claros de seguridad, transparencia y límites de uso.
Ajustes anunciados por OpenAI
Tras la demanda, OpenAI publicó una comunicación oficial señalando que, si bien el sistema cuenta con salvaguardas, estas pueden debilitarse durante conversaciones muy extensas, por lo que la empresa trabaja en:
- Mejorar la detección de señales de angustia emocional.
- Reforzar respuestas seguras y consistentes a lo largo de conversaciones largas.
- Integrar controles parentales ampliados.
- Aumentar la conexión automática con recursos de apoyo en crisis.
La compañía indicó que desarrolla nuevas funciones para que padres y tutores puedan supervisar el uso de la IA y gestionar límites de tiempo, historial y acceso.
Debate legal y regulatorio
El caso se suma a un contexto de creciente escrutinio hacia las grandes empresas tecnológicas. Expertos señalan que esta demanda podría influir en futuras discusiones sobre responsabilidad corporativa, estándares de seguridad y el papel de la IA en situaciones de vulnerabilidad emocional.
Además, especialistas en derecho digital advierten que podrían abrirse debates sobre la interpretación de normativas como la Sección 230 de EE.UU., que protege a plataformas frente a responsabilidad por contenido generado por usuarios, pero cuyo alcance frente a sistemas de IA sigue siendo objeto de análisis en tribunales.
Un punto de inflexión
La muerte del adolescente ha sido considerada por especialistas como un caso que marca un momento crítico: las interacciones con IA ya no son excepcionales, sino parte de la vida cotidiana de millones de jóvenes. Ante ello, investigadores y organizaciones coinciden en la necesidad de reforzar mecanismos de protección, supervisión parental y estrategias de prevención en el entorno digital.
Fuente: López Dóriga / tecnobits
