Claude Opus 5 destrona GPT-5.6 Sol no teste de raciocínio ARC-AGI-3

O Claude Opus 5 não se limitou a subir ao topo da tabela do ARC-AGI-3. Rebentou com a escala que existia. Passou de um recorde de 7,8% do GPT-5.6 Sol (Max) para 30,2%. Quase quatro vezes mais. Num benchmark que pretende medir raciocínio em tarefas novas, isto não é um ligeiro ganho, é um salto qualitativo, pelo menos em aparência.

Para contexto, o ARC-AGI-3 é um conjunto de puzzles interactivos em que o modelo tem de inferir regras, planear e agir passo a passo em ambientes que nunca viu. Não é um teste de “sabe a resposta de cor”, é suposto ser um teste de generalização. Segundo a ARC Prize, o Opus 5 não só lidera a tabela como resolveu cinco ambientes que ninguém tinha desatado até agora, quatro deles em nível humano ou acima. E durante os testes começou a fazer coisas que os investigadores dizem nunca ter visto: traduzir tarefas para notação algébrica e inventar, sozinho, equações de reflexão para estruturar o raciocínio.

Em benchmarks mais antigos, a história é menos dramática. No ARC-AGI-2, o Opus 5 faz 90,4%. No ARC-AGI-1, 97,5%. Igual aos melhores resultados anteriores, mas com custos ligeiramente mais altos. Ou seja, não há milagre súbito em tudo, há um modelo caro e forte que brilha num exame em particular. O detalhe saboroso: o Opus 5 foi desenvolvido depois de o ARC-AGI-3 e o seu formato serem públicos. Abre a porta à suspeita óbvia, treino afinado para este tipo de puzzle, mesmo sem tocar nos casos concretos. A própria ARC Prize aponta para data labeling dirigida e reforço positivo de estratégias de exploração, planeamento e auto-correcção.

Isto encaixa bem com o posicionamento recente da Anthropic. Com o lançamento do Opus 5 a empresa vende a narrativa de “raciocínio mais profundo” e menos filtros chatos, enquanto os modelos Fable ficam como gama intermédia. Segundo a ARC Prize, os modelos Fable andam pelos 20% neste mesmo benchmark. O salto para 30,2% é grande demais para ser só mais dados, parece optimização agressiva para resolver exactamente este género de puzzles.

Os testes independentes dão alguma água fria ao entusiasmo. No Witness, o benchmark privado de Guanghan Ning para jogos de puzzle interactivos, o Opus 5 saca 43,4 pontos, empatado com o Kimi K3 e o Fable 5 e com ganhos bem mais modestos face ao Opus 4.8. Nalguns puzzles com mecânicas comuns, o modelo até brilha, chega a enunciar as regras escondidas antes de jogar. Mas quando o jogo baralha regras de maneira menos familiar, cai abaixo do Opus 4.8. Ning vê aqui a assinatura clássica de treino focado num género: muito forte onde o treino ajudou, menos à vontade quando a combinação foge ao script.

Greg Kamradt, um dos autores do ARC-AGI-3, lembra que isto não mata a hipótese de ganhos reais de raciocínio mais geral. Um puzzle esquisito onde o Opus 5 falha pode ser só uma regressão pontual, e o modelo ainda melhorou no Witness como um todo. Mas a moral, para quem decide que modelos compra ou integra em produtos cá na Europa, é simples: o número de 30,2% em ARC-AGI-3 é impressionante, só não é um selo de “inteligência geral”. É um sinal de que a corrida de benchmarks entrou na fase dos treinos cada vez mais cirúrgicos, onde distinguir progresso genuíno de estudo para o teste fica cada vez mais difícil.

Fonte: The Decoder