Novos testes mostram chatbots de IA perigosos a ler raios‑X

O CRASH Lab, da Universidade Ashoka na Índia, decidiu medir uma coisa que devia ser óbvia na medicina, mas que quase ninguém avalia na IA: saber ficar calado. O novo RadLE 2.0, acrónimo de “Radiology’s Last Exam”, testa não só se o modelo acerta o diagnóstico em exames de imagem, como também o grau de confiança e a capacidade de dizer “não sei” quando está fora de pé.

O benchmark correu 200 casos em 16 modelos diferentes, comparando-os com um painel de radiologistas. Em pontos acumulados numa escala de 0 a 2.000, que combina acerto e confiança, os humanos chegaram aos 988,7. O melhor modelo ficou nos 758. Em bruto, os modelos de topo aproximam-se do desempenho humano, mas quando se pesa a confiança, a ilusão cai: muitos erram com a mesma certeza com que um especialista acerta.

O sistema de pontuação é simples e cruel. Resposta certa com confiança alta vale pontos altos. Resposta errada com confiança alta tira pontos na mesma proporção. “Não sei” vale zero, sem bónus nem castigo. O efeito é claro: um modelo que dispara sempre uma resposta, mesmo com bom rácio de acertos, é penalizado se embandeira em arco quando está enganado. Na prática clínica, esse é o cenário mais perigoso. Um chatbot que olha para uma radiografia e devolve um falso negativo de cancro com ar muito seguro não é uma ferramenta, é um risco.

Entre os modelos analisados, não há campeão absoluto. O Claude Fable 5 da Anthropic liderou na métrica principal de respostas fiáveis e seguras. O Gemini 3 Pro da Google teve a maior taxa de acertos em bruto. E o Muse Spark 1.1 da Meta foi o mais competente a perceber quando devia passar o caso ao humano, beneficiando de um ajuste recente para reduzir alucinações à custa de recusar mais perguntas. Em sentido oposto, há modelos como o Grok 4.5, que sabe mais, mas também alucina mais e com maior convicção, um cocktail perfeito para relatórios convincentes e totalmente errados.

O estudo é especialmente duro para muitos modelos de código aberto e para alguns treinados especificamente para uso médico. Segundo a equipa, vários teriam subido bastante no ranking se simplesmente tivessem respondido “não sei” com mais frequência. Em vez disso, tentaram dar resposta a quase todos os casos, muitas vezes com confiança máxima. Isto bate certo com o alerta recente da OMS sobre a falta de governação séria da IA em saúde na Europa, incluindo a portuguesa, onde se fala mais em “aproveitar oportunidades” do que em desenhar limites claros para estes sistemas.

Para hospitais que já andam a testar chatbots a apoiar triagem ou laudos, a mensagem é directa: accuracy sozinho é estatística para slide de conferência, não é critério de segurança. Um modelo que acerta quase tanto como um radiologista mas nunca admite dúvidas é pior que um estagiário zeloso. A próxima vaga de regulação e compras públicas em saúde digital devia exigir métricas de humildade algorítmica, não apenas benchmarks brilhantes em papers. A IA que nos interessa na radiologia não é a que sabe mais que o médico, é a que sabe quando chamar o médico.

Fonte: The Decoder