Con los tiroteos masivos como un miedo constante para los padres y administradores escolares casi en todo Estados Unidos, varios estados han pasado la última década invirtiendo en sistemas de vigilancia para monitorear la actividad en línea de los estudiantes.
Un incidente reciente en Florida mostró esta tecnología. Un sistema de monitoreo escolar marqueó a un estudiante después de que le pidiera consejo a ChatGPT sobre cómo matar a su amigo.
El evento se desarrolló cuando una computadora emitida por la escuela marcó una consulta preocupante hecha a ChatGPT de OpenAI. Según la policía local, el estudiante anónimo preguntó a la herramienta de IA "cómo matar a mi amigo en medio de la clase". La pregunta desencadenó inmediatamente una alerta a través del sistema de vigilancia en línea de la escuela, que es operado por una empresa llamada Gaggle.
Según un informe en la WFLA local, afiliada a NBC, los ayudantes del sheriff del condado de Volusia respondieron a la escuela y entrevistaron al estudiante. Según se informa, el adolescente le dijo a los oficiales que "solo estaba trolleando" a un amigo que lo había molestado. Sin embargo, los agentes de la ley no se divirtieron con la explicación. "Otra 'broma' que creó una emergencia en el campus", declaró la Oficina del Sheriff del Condado de Volusia, instando a los padres a hablar con sus hijos sobre las consecuencias de tales acciones.
El estudiante fue posteriormente arrestado y ingresado en una cárcel del condado, aunque los cargos específicos no han sido revelados públicamente.
Se dice que este incidente es el último ejemplo de la creciente dependencia de un distrito escolar en la tecnología de vigilancia para monitorear la actividad digital de los estudiantes a raíz del aumento de los tiroteos masivos. Gaggle, que proporciona servicios de seguridad a los distritos escolares de todo el país, describe su sistema como una herramienta para marcar "comportamientos relacionados con autolesiones, violencia, acoso y más".
El sitio web de la compañía indica que su software de monitoreo filtra palabras clave y gana visibilidad en el uso del navegador, incluidas las conversaciones con herramientas de IA como Google Gemini, ChatGPT y otras plataformas".
Este evento se produce a medida que los chatbots y otras herramientas de IA aparecen cada vez más en casos penales, a menudo en relación con la salud mental. El aumento de la "psicosis de la IA", donde las personas con problemas de salud mental tienen sus delirios exacerbados por las interacciones con los chatbots, se ha convertido en una preocupación creciente, y algunos suicidios recientes también están vinculados a la tecnología.
El fin del Artículo