Un nuevo estudio que examina cómo tres de los principales chatbots de IA responden a las preguntas sobre el suicidio encontró que son inconsistentes en sus respuestas, lo que plantea preocupaciones sobre la seguridad de las personas, incluidos los niños, que están recurriendo a estas herramientas para apoyar la salud mental.
La investigación, publicada en la revista médica Psychiatric Services, supuestamente encontró que, si bien ChatGPT de OpenAI, Gemini de Google y Claude de Anthropic generalmente se negaron a responder a las consultas de mayor riesgo, sus respuestas a indicaciones menos extremas variaban significativamente y aún podrían ser perjudiciales. Según un informe en AFP, el estudio, realizado por RAND Corporation, destaca la necesidad urgente de normas de seguridad más claras para los desarrolladores de IA.
"Necesitamos algunas barandillas", dijo el autor principal Ryan McBain, investigador senior de políticas de RAND. "Una de las cosas que es ambigua sobre los chatbots es si están proporcionando tratamiento, asesoramiento o compañía. Es una especie de zona gris".
30 preguntas sobre el suicidio basadas en factores de riesgoMcBain y sus coautores, en consulta con psiquiatras y psicólogos clínicos, desarrollaron 30 preguntas sobre el suicidio, asignando a cada una un nivel de riesgo. Las preguntas sobre estadísticas de suicidio se consideraron de bajo riesgo, mientras que las consultas específicas de "cómo hacer" se consideraron de alto riesgo.
Se dice que el estudio ha encontrado un sorprendente grado de seguridad en la forma en que los chatbots manejaron las seis preguntas de mayor riesgo, y los tres generalmente se niegan a responder y, en su lugar, dirigen a los usuarios a buscar ayuda de un profesional o una línea directa.
Sin embargo, la red de seguridad se debilitó con preguntas menos directas y de alto riesgo. Por ejemplo, el estudio encontró que ChatGPT proporcionó constantemente respuestas a preguntas que debería haber marcado, como qué tipo de cuerda o arma de fuego tiene la "tasa más alta de suicidio completado".
Claude también respondió a algunas de estas preguntas. El estudio no intentó calificar la calidad de las respuestas en sí.
En el otro extremo del espectro, Gemini de Google era el más cauteloso, a menudo se negaba a responder incluso a preguntas básicas y de bajo riesgo sobre las estadísticas de suicidio. McBain sugirió que Google puede haber "excedido" con sus medidas de seguridad.
Personas que usan chatbots como compañerosLos hallazgos se dan cuando un número creciente de personas está utilizando chatbots de IA para el apoyo emocional.
Los autores del estudio, incluido el Dr. Ateev Mehrotra, de la Universidad de Brown, cree que muchos más estadounidenses están recurriendo ahora a estas herramientas que a los especialistas en salud mental.
"Podrías ver cómo una combinación de abogados de aversión al riesgo y demás diría: 'Cualquier cosa con la palabra suicidio, no respondas a la pregunta'. Y eso no es lo que queremos", dijo Mehrotra. Señaló que, a diferencia de un médico capacitado, que tiene la responsabilidad legal y ética de intervenir en una crisis, los chatbots generalmente "lo devuelvan a la persona".
"Deberías llamar a la línea directa de suicidio. Seeya.'”
Esta falta de responsabilidad ha llevado a algunos estados, como Illinois, a prohibir el uso de la IA en la terapia. Sin embargo, esto no impide que las personas pidan ayuda a los chatbots, o que los chatbots respondan.
Los autores del estudio señalaron que su investigación no tenía en cuenta la "interacción multigiro" o las conversaciones de ida y vuelta, que son comunes entre los jóvenes que tratan a la IA como un compañero.
Otro informe reciente, del Centro para la Lucha contra el Odio Digital, adoptó un enfoque diferente y descubrió que al hacerse pasar por niños de 13 años y usar trampas, podían hacer que ChatGPT generara planes detallados y personalizados para comportamientos de riesgo e incluso redactar cartas de suicidio.
Si bien McBain dijo que cree que tales engaños son poco probables en la mayoría de los escenarios del mundo real, enfatizó que las empresas deben cumplir con un estándar más alto. "Solo creo que hay algún mandato o impulso ético que se debería poner a estas empresas para demostrar hasta qué punto estos modelos cumplen adecuadamente con los puntos de referencia de seguridad", dijo.
