Usuários do ChatGPT que demonstrarem sinais de extremismo violento poderão ser encaminhados a serviços de apoio especializado por meio de um sistema em desenvolvimento na Nova Zelândia, segundo responsáveis pelo projeto. A iniciativa busca reduzir riscos de violência combinando atendimento humano e chatbots.
A ferramenta está sendo criada pela startup neozelandesa ThroughLine, contratada pela OpenAI, empresa responsável pelo ChatGPT, além de outras como Anthropic e Google. A proposta é redirecionar usuários que apresentem sinais de crise, como automutilação, violência doméstica ou transtornos alimentares, para suporte adequado.
O projeto representa uma resposta às crescentes preocupações sobre a segurança em plataformas de inteligência artificial, diante do aumento de processos judiciais contra empresas do setor. Em fevereiro, por exemplo, o governo do Canadá ameaçou intervir após um massacre em escola cujo autor, banido da plataforma, não teve sua conduta reportada às autoridades.
A ThroughLine atua conectando pessoas em risco a uma rede de 1.600 linhas de apoio em 180 países, com monitoramento constante. Atualmente, o foco se limita a algumas categorias específicas de problemas, mas a empresa planeja expandir o alcance, incluindo a prevenção do extremismo violento.
“Estamos em conversações com o The Christchurch Call, uma iniciativa para combater o ódio online criada após um ataque terrorista na Nova Zelândia em 2019”, afirmou Elliot Taylor, fundador da ThroughLine e ex-assistente social. O grupo deve fornecer diretrizes enquanto a empresa desenvolve o chatbot para intervenção em casos de extremismo.
O sistema híbrido combinará respostas automatizadas com encaminhamento a serviços presenciais de saúde mental. A tecnologia não utilizará os dados genéricos comuns a modelos de linguagem, mas contará com a colaboração de especialistas na área, segundo Taylor. A ferramenta está em fase de testes, sem data prevista para lançamento.
Consultores e especialistas destacam a importância do projeto para combater o extremismo online. Galen Lamphere-Englund, do The Christchurch Call, espera que o sistema esteja disponível para moderadores de fóruns e para pais interessados em proteger jovens em ambientes digitais.
Para o pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, a eficácia da ferramenta dependerá da qualidade dos mecanismos de acompanhamento e do suporte oferecido após o redirecionamento dos usuários. Ele ressalta que o problema não é só o conteúdo, mas a dinâmica do relacionamento estabelecido online.
Taylor informou que ainda são definidas medidas de acompanhamento, incluindo possíveis alertas às autoridades, considerando o risco de reações agressivas. Segundo ele, pessoas em crise frequentemente revelam questões delicadas pela internet, e medidas mais rígidas podem agravar a situação ao bloquear ou silenciar esses usuários.
Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, mostrou que a moderação excessiva em plataformas pode fazer com que apoiadores de extremismo migrem para redes menos reguladas, como o Telegram. Isso evidencia a necessidade de abordagens que privilegiem o acompanhamento e o apoio.
Taylor conclui que a possibilidade de conversar com uma inteligência artificial e ser encaminhado a um serviço de apoio pode captar crises importantes que passariam despercebidas se as conversas forem interrompidas abruptamente. A ThroughLine busca, assim, ampliar o suporte oferecido às pessoas em situação vulnerável dentro do ambiente digital.
—
Palavras-chave relacionadas para SEO: ChatGPT, OpenAI, extremismo violento, inteligência artificial, saúde mental, apoio especializado, ThroughLine, combate ao extremismo, prevenção, tecnologia híbrida, chatbot, New Zealand, segurança digital.
Fonte: g1.globo.com
Imagem: s2-g1.glbimg.com
Fonte: g1.globo.com
