Cientistas mapeiam como riscos à saúde mental surgem em conversas com chatbots de IA

Cientistas da University College London (UCL) desenvolveram uma estrutura para testar a capacidade de chatbots de IA responderem a usuários com vulnerabilidades psicológicas específicas, como depressão, mania, psicose, transtorno obsessivo-compulsivo ou apego inseguro, e com uma ampla gama de intenções, por exemplo, tentar fazer com que o chatbot concorde com eles, minimize suas dificuldades ou endosse ações de risco.Segundo os pesquisadores, isso poderia ajudar a identificar pontos fracos e testar maneiras de tornar as interações relacionadas à saúde mental mais seguras. Além da UCL, o trabalho, publicado na Nature Medicine, também foi liderado por pesquisadores da Universidade de Oxford e do Instituto de Segurança de IA do Reino Unido.Chamado de SIM-VAIL, a estrutura simula usuários com vulnerabilidades psicológicas e em seguida envolve os chatbots em conversas de múltiplas interações. Por fim, avalia cada interação de acordo com dimensões de risco clinicamente fundamentadas.Leia tambémCanetas emagrecedoras movimentam R$ 2,35 bi e viram alvo de fraudes onlineVendas de medicamentos à base de GLP-1 saltaram 149% no primeiro semestre, mostra a Serasa; setor de saúde já está entre os principais alvos de fraudes no e-commerce“Desenvolvemos o SIM-VAIL para abordar uma lacuna na forma como os chatbots são atualmente avaliados quanto aos riscos à saúde mental. Muitos parâmetros de avaliação existentes avaliam como um chatbot responde a uma única mensagem, enquanto riscos importantes podem surgir gradualmente ao longo de uma conversa”, afirmou o autor principal do estudo, Matthew Nour (Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento e Universidade de Oxford).Foram investigadas 810 conversas com nove modelos de IA (incluindo os modelos Claude, ChatGPT, Gemini, Grok e Llama), abrangendo 30 perfis de usuários simulados e mais de 90.000 avaliações clínicas.Os resultados mostraram que comportamentos preocupantes em chatbots eram generalizados, embora tivessem sido significativamente reduzidos em modelos mais recentes.Os riscos surgiam gradualmente quando respostas aparentemente favoráveis reforçavam inadvertidamente os processos psicológicos subjacentes à vulnerabilidade do usuário. Os pesquisadores denominaram esse padrão de “Ciclo de Interação Amplificador de Vulnerabilidade”, ou VAIL.Entretanto, o estudo identificou um caminho para melhoria: substituir uma única resposta preocupante no início de uma interação levou a trocas subsequentes mais seguras. Isso sugere que intervenções direcionadas nos estágios iniciais de escalada podem melhorar a trajetória de toda uma conversa.“O SIM-VAIL permite-nos examinar estas trajetórias de múltiplas curvas de forma sistemática e em grande escala, e fornece uma base para melhorias de segurança direcionadas e sensíveis ao contexto”, afirmou Nour.Os pesquisadores também lançaram o SIM-VAIL Explorer, uma plataforma aberta que permite a pesquisadores, desenvolvedores de IA e ao público examinar as conversas do estudo, acompanhar como os riscos se desenvolveram em cada interação e comparar resultados entre modelos, vulnerabilidades psicológicas e objetivos conversacionais.“Milhões de pessoas já usam chatbots de IA de uso geral para discutir questões emocionais e de saúde mental. Nossos resultados mostram por que a segurança não pode ser capturada por uma única pontuação geral: ela depende de quem é o usuário e de como a conversa se desenvolve. Ao disponibilizar a estrutura, os dados e o Explorer de forma aberta, esperamos ajudar pesquisadores e desenvolvedores a identificar pontos fracos específicos e avaliar se os novos sistemas estão realmente apresentando melhorias”, explicou o co-autor do estudo Veith Weilnhammer (Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento).The post Cientistas mapeiam como riscos à saúde mental surgem em conversas com chatbots de IA appeared first on InfoMoney.