Pesquisadores testaram diferentes formas de falar com inteli

Pesquisadores testaram diferentes formas de falar com inteligência artificial (IA) em 2024 para identificar quais estratégias produzem as melhores respostas, mas concluíram que muitas técnicas populares não têm efeito consistente. O experimento ocorreu em vários ambientes virtuais com chatbots conhecidos, incluindo o ChatGPT, para entender como a formulação das perguntas influencia os resultados.

O estudo avaliou métodos como elogiar a IA, incentivar o raciocínio cuidadoso e usar contextos lúdicos, como imaginar o chatbot em cenários da série Star Trek. Apenas a simulação desse cenário específico melhorou o desempenho em matemática básica. Outras abordagens, como ser educado ou até mesmo insultar a IA, mostraram resultados contraditórios em diferentes contextos.

Histórias de usuários que tratam chatbots com “por favor” e “obrigado” para obter respostas melhores estão difundidas, mas especialistas afirmam que essas estratégias não modificam significativamente a precisão das respostas. O funcionamento dos grandes modelos de linguagem (LLMs), por trás das IAs, envolve a análise estatística de pequenos blocos de texto chamados “tokens”, o que torna difícil prever os efeitos das variações nas palavras usadas.

Algumas pesquisas indicam que perguntas formuladas de forma educada geram respostas mais precisas, enquanto outras mostram que insultos podem aumentar a precisão em versões anteriores do ChatGPT. Diferenças culturais também foram notadas: chatbots que operam em japonês responderam pior a usuários excessivamente educados, em comparação com versões em inglês e chinês.

Especialistas ressaltam que os modelos evoluíram rapidamente e que estratégias como bajulação, ameaça ou educação tendem a ser ineficazes para melhorar respostas. Eles destacam que é mais importante a estrutura do pedido do que as palavras específicas usadas. Jules White, professor da Universidade Vanderbilt, explica que não existe uma “combinação mágica de palavras” para garantir a melhor resposta, mas sim a forma como o usuário organiza sua solicitação.

Mesmo modelos avançados, como ChatGPT, Gemini e Claude, não são capazes de detectar mudanças sutis na linguagem que possam ser aproveitadas consistentemente para melhorar respostas. Rick Battle, engenheiro da Broadcom, afirma que antigas tentativas de manipulação dos sistemas eram “tiros no escuro” e que, atualmente, os chatbots identificam melhor as partes importantes das perguntas.

Outro ponto abordado é a prática de pedir que a IA finja ser um especialista em alguma área para obter respostas mais precisas. Esse método pode aumentar a chance de “alucinações”, ou respostas incorretas apresentadas com confiança. No entanto, pode ser útil em tarefas que exigem criatividade ou brainstorming, e para simular entrevistas de emprego, por exemplo.

Para melhorar a interação com chatbots, pesquisadores indicam algumas recomendações práticas. Pedir várias opções de resposta ajuda o usuário a comparar alternativas. Oferecer exemplos claros da resposta esperada facilita a adaptação do modelo ao estilo desejado. Realizar uma espécie de entrevista, onde a IA faz perguntas para entender melhor a solicitação, também pode aumentar a qualidade das respostas.

Além disso, especialistas aconselham evitar direcionar a IA para respostas específicas, mantendo a neutralidade nos prompts para não influenciar os resultados. Quanto ao hábito de usar “por favor” e “obrigado”, embora não aumente a precisão, pode tornar o uso da ferramenta mais confortável para o usuário, o que pode incentivar a continuidade do uso da tecnologia.

Considerações éticas e ambientais envolvendo o uso da IA também estão no debate. Trata-la apenas como uma ferramenta e não como um ser com sentimentos, segundo especialistas, ajuda a estabelecer expectativas realistas sobre suas capacidades e limitações.

Em resumo, a forma como as pessoas conversam com a IA influencia menos do que o esperado o desempenho dos modelos atuais. A clareza, a estrutura da pergunta e a utilização de exemplos são estratégias que realmente ajudam a obter respostas melhores, enquanto tentar manipular o comportamento do chatbot com educação, insultos ou fingimentos raramente traz resultados consistentes.

—

Palavras-chave relacionadas: inteligência artificial, chatbots, grandes modelos de linguagem, ChatGPT, engenharia de prompts, interação com IA, respostas precisas, aprendizado de máquina, pesquisa em IA, tecnologia digital.

Fonte: g1.globo.com