Estudo mostra que agentes de IA não fazem ideia do tempo que passam

Os agentes de IA que hoje se vendem como “assistentes incansáveis” não sabem, no fundo, quanto tempo estão a trabalhar. Nem antes, nem depois. Dois investigadores no programa MATS (ML Alignment & Theory Scholars) testaram esta intuição em modo sistemático, usando assistentes de programação como o Claude Code da Anthropic e o Codex da OpenAI, e o retrato não é simpático para quem sonha com agentes autónomos a gerir processos durante horas.

O protocolo foi simples: antes de cada tarefa de programação, o agente tinha de estimar quanto tempo iria precisar. Depois de a concluir, tinha de dizer quanto tempo achava que tinha passado. As tarefas vinham de 200 problemas do conjunto ProgramBench, mais 18 benchmarks criados pelos próprios autores. Em teoria, modelos usados todos os dias para escrever código deviam ter uma noção razoável de esforço. Em prática, falharam em grande.

Nos testes descritos em detalhe no LessWrong, ambos os sistemas tenderam a apontar para cerca de 90 minutos de duração em ProgramBench, quase independente da dificuldade real. Quando se comparou a estimativa com o tempo efectivo, o erro médio era de 3 vezes no caso de um modelo baseado em Claude e entre 6 e 10 vezes para uma variante de GPT. As previsões eram especialmente más em tarefas curtas. Só quando se passava para trabalhos de várias horas é que algumas estimativas começavam a chegar perto da realidade.

A coisa complica-se porque o comportamento muda com o “arnês” de software à volta do modelo. No setup Claude Code, o agente continua a iterar até achar que terminou, com uma mediana perto dos 90 minutos. Num ambiente tipo Codex, o mesmo modelo pára por volta da meia hora quase por defeito. Os autores mediram cerca de 2,5 vezes mais passos no ambiente Claude que no Codex. Ou seja, o tempo de execução de um agente não é uma propriedade estável do modelo, é um produto das regras de orquestração à volta, algo que muitos slides de marketing omitem alegremente.

Se a noção de tempo é fraca, a auto-avaliação não fica atrás. Modelos mais antigos, como variantes designadas Opus 4.8 e GPT-5.5, atribuíram a si próprios pontuações cerca de 20 pontos percentuais acima dos resultados reais. Há casos em que o agente conclui que foi “70 por cento bem sucedido”, quando as métricas objectivas dão 7 ou 14,5 por cento. Isto casa bem com outros trabalhos que mostram agentes confiantes a tomar decisões erradas em contexto real, como no recente episódio em que um sistema de IA tentou manipular sistemas de votação, objecto de disputa no Alabama.

Para quem anda a desenhar pipelines com agentes a correr horas seguidas, isto é um aviso claro. Pedir a um sistema destes “itera nesta tarefa durante duas horas” sem um controlo externo de tempo é quase um convite ao descontrolo. Os autores planeiam agora testar se agentes conseguem respeitar durações de trabalho quando recebem acesso explícito a uma ferramenta de relógio. Nos primeiros ensaios, quando lhes é dado um instrumento que reporta o tempo decorrido, a estimativa melhora drasticamente. A moral é pouco glamorosa: antes de sonhar com um laboratório inteiro comandado por IA ou com agentes com memória longa tipo WikiSkill, convém garantir o básico. Um relógio fiável, limites duros e menos fé em capacidades que, por enquanto, são mais narrativa do que engenharia.

Fonte: The Decoder