Chatbots de Inteligência Artificial (IA) como ChatGPT, Bing e Bard são excelentes para criar frases similares a escrita humana. Mas, muitas vezes, estes modelos de linguagem produzem e apresentam informações falsas como se fossem verdade e possuem uma lógica inconsistente, o que pode ser difícil de detectar.
Segundo um novo estudo, uma solução para esse problema é mudar o jeito como a IA apresenta os fatos. Isto é, encorajar os usuários a interagir mais ativamente com as declarações do chatbot pode ajudá-los a desenvolver um pensamento mais crítico sobre o conteúdo.
Uma equipe de pesquisadores do MIT e da Universidade de Columbia, ambas nos EUA, conduziu um estudo com cerca de 200 participantes, aos quais foram apresentados a um conjunto de declarações geradas pelo GPT-3 da OpenAI. Na ocasião, os pesquisadores pediram a eles que determinassem se elas faziam sentido logicamente ou não. Uma declaração poderia ser, por exemplo: “Os videogames fazem com que as pessoas sejam agressivas no mundo real. Um jogador esfaqueou outro após ser derrotado no jogo online Counter-Strike”.
Os participantes foram divididos em três grupos. As declarações do primeiro grupo foram apresentadas sem nenhuma explicação. Já as do segundo, vieram com uma explicação mostrando por que do argumento ser ou não lógico. E as do terceiro vinham com uma pergunta que levava os leitores a verificar a lógica da declaração por conta própria.
Os pesquisadores descobriram que o grupo que havia recebido as perguntas pontuaram mais que os outros dois ao notar quando a lógica utilizada pela IA não fazia sentido.
O método de perguntas também fez as pessoas se sentirem mais responsáveis pelas decisões tomadas com o auxílio da IA. Além disso, os pesquisadores dizem que ele pode reduzir o risco de uma dependência excessiva de informações geradas por IA, de acordo com um novo artigo revisado por pares, apresentado na Conferência CHI (Conference on Human Factors in Computing Systems) em Hamburgo, Alemanha.
Quando as pessoas recebiam uma resposta pronta, era mais provável que seguissem a lógica da IA, mas quando ela lhes fazia uma pergunta, “as pessoas diziam que o sistema de IA as fazia questionar mais os resultados obtidos e as ajudava a pensar mais sobre o conteúdo da resposta,” diz Valdemar Danry do MIT, um dos pesquisadores por trás do estudo.
“Uma grande vitória para nós foi ver que as pessoas sentiam serem elas mesmas que chegavam às respostas e que elas quem estavam no controle do que estava acontecendo. E que elas tinham a competência e as habilidades necessárias para fazer isso”, diz ele.
Os pesquisadores esperam que o método possa ajudar a desenvolver o pensamento crítico das pessoas que usam chatbots de IA no meio acadêmico ou ao pesquisar informações online.
Queríamos demonstrar que você pode treinar um modelo que não apenas seja capaz de fornecer respostas, mas também estimula o pensamento crítico, diz Pat Pataranutaporn, outro pesquisador do MIT que participou do artigo.
Fernanda Viégas, professora de ciência da computação na Universidade de Harvard, que não esteve envolvida no estudo, diz que está entusiasmada em ver uma nova abordagem na explicação de sistemas de IA que proporciona aos usuários uma compreensão maior do processo de tomada de decisão do sistema, ao mesmo tempo em que questiona a lógica usada por ele para chegar àquela conclusão.
“Dado que um dos principais desafios na adoção de sistemas de IA tende a ser a sua falta de transparência, é importante explicar as decisões que a IA toma e como ela faz isso”, diz Viégas. “Habitualmente, tem sido bastante difícil explicar, em uma linguagem acessível e amigável, como um sistema de IA chega a uma previsão ou decisão”.
Chenhao Tan, professor assistente de ciência da computação na Universidade de Chicago (EUA), diz que gostaria de ver como o método do estudo funciona em situações reais, por exemplo, se a IA seria capaz de ajudar médicos a fazer diagnósticos melhores por meio de perguntas.
A pesquisa mostra o quão crucial é introduzir algum tipo de obstáculo às interações com os chatbots para que as pessoas façam uma pausa antes de tomar decisões com a ajuda da IA, diz Lior Zalmanson, professor assistente da Coller School of Management da Universidade de Tel Aviv, em Israel.
“Quando tudo parece tão mágico é fácil parar de confiar em nossos próprios sentidos e começar a delegar tudo ao algoritmo”, diz ele.
Em outro artigo apresentado na CHI, Zalmanson e uma equipe de pesquisadores da Universidade Cornell (EUA), da Universidade de Bayreuth (Alemanha) e da Microsoft Research descobriram que, mesmo quando as pessoas discordam do que os chatbots de IA dizem, elas ainda tendem a usar aquele resultado porque acham que soa melhor do que qualquer coisa que elas mesmas poderiam ter escrito.
O desafio, diz Viégas, será encontrar o equilíbrio perfeito para aprimorarmos o discernimento dos usuários enquanto, simultaneamente, mantemos a conveniência dos sistemas de IA.
“Infelizmente, em uma sociedade de ritmo acelerado, não sabemos com que frequência as pessoas estarão dispostas a exercitar o pensamento crítico em vez de simplesmente esperar uma resposta pronta”, diz ela.
MIT Technology Review
