Estudo: com IA à mão, quase ninguém admite que não sabe

Os modelos de IA continuam a alucinar em 2026, mas isso não está a travar ninguém. Um grupo de investigadores em França e Itália decidiu medir o estrago: o que acontece à nossa capacidade de dizer “não sei” quando temos um chatbot sempre pronto a responder a tudo.

Valerio Capraro, professor na Universidade de Milano-Bicocca, e colegas montaram uma experiência simples. Criaram perguntas de pormenor sobre filmes, do género cor dos equipamentos em Bend It Like Beckham ou o tipo de carro que uma personagem conduz em Like a Cat on a Highway. Coisas suficientemente obscuras para não aparecerem nos dados de treino de certos modelos. E escolheram de propósito um modelo chamado Step 3.5 Flash, que falha quase sempre nestas perguntas, para afastar a desculpa fácil de que as pessoas estavam só a delegar numa ferramenta fiável.

Os participantes foram divididos em dois grupos. Um tinha de responder sem ajuda de IA. O outro podia pedir conselho ao modelo antes de responder. No grupo sem IA, 44 por cento das pessoas disseram simplesmente que não sabiam. Suspenderam o juízo. No grupo com IA, esse número caiu para 3 por cento. A presença do bot praticamente apagou a opção “não sei”. Isto é mais do que preguiça, é um efeito directo de ter uma resposta barata sempre à mão.

O mais preocupante é que a qualidade das respostas também desceu. Sem IA, 27 por cento dos participantes acertaram. Com IA, só 9 por cento acertaram. Ou seja, algumas pessoas que teriam respondido bem sozinhas foram perguntar à máquina e passaram a errar. Em paralelo, a confiança disparou: a percentagem de participantes que se dizia confiante na resposta saltou de 30 para 76 por cento quando havia IA. Ficaram três vezes menos certos, mas duas vezes mais convencidos. Quem já olhou para respostas alucinadas do ChatGPT ou de outros modelos ditas com ar solene reconhece este padrão.

Os investigadores repetiram o teste com incentivos monetários ligados à precisão. Houve uma ligeira recuperação: a admissão de ignorância subiu de 3 para 8 por cento e a taxa de acerto de 9 para 16 por cento. Mas continuou abaixo do grupo sem IA. Nem pagar mais por respostas certas chega para compensar o enviesamento criado pelo aconselhamento automático. É uma espécie de Dunning-Kruger assistido por IA: menos conhecimento, mais certeza, agora em escala industrial.

Este estudo encaixa de forma desconfortável no contexto em que governos, empresas e até escolas empurram chatbots para o dia-a-dia como se fossem calculadoras morais e enciclopédias infalíveis. Quando se discute regulação global da IA, como no debate em torno de uma “polícia” internacional da tecnologia, fala-se muito de cibersegurança e de empregos, e pouco desta erosão silenciosa: a capacidade de um humano dizer “não sei” sem vergonha. Olhando para estes números, delegar o nosso juízo crítico num modelo que não assume dúvidas parece menos uma ferramenta e mais uma escola de certezas ocas. A tecnologia pode ajudar a responder, mas talvez o verdadeiro luxo em 2026 seja manter vivo o reflexo de, às vezes, recusar responder.

Fonte: The Register