GPT-6 Astra baralha benchmarks, mas acelera previsão de AGI

GPT-6 Astra é o primeiro modelo da OpenAI a que a própria casa chama “era AGI”, e os números começam a explicar porquê. O problema é que não dizem todos o mesmo. Dependendo de quem mede, Astra é ou o novo primeiro da fila ou um empate técnico com o antecessor.

Do lado mais optimista, a Epoch AI agrega mais de 50 benchmarks num único índice e coloca Astra claramente no topo, com 169 pontos, à frente de 267 modelos. Do lado mais ácido, a Artificial Analysis testa conhecimento, código e compreensão de texto e dá a Astra 61 pontos, exatamente o mesmo valor de GPT-5.6 Sol, e abaixo de Claude Fable 5.1 com 66 pontos. Dois laboratórios independentes, dois rankings globais, duas histórias diferentes. Bem-vindo à fase em que discutir benchmarks de IA é quase tão importante como treinar os modelos.

Há, no entanto, um número que salta do ruído: o ARC-AGI-3. Este teste, criado pela ARC Prize de François Chollet, atira o modelo para mundos de jogo que nunca “viu”, com regras e objectivos não explicados. A IA tem de descobrir tudo por tentativa e erro. GPT-6 Astra chega aos 62,7 por cento, onde Sol ficava nos 7,8 por cento e Claude Opus 5 nos 30,2 por cento. Ou seja, Astra não só joga nesta liga, como a joga com folga sobre o concorrente directo. Chollet diz que o progresso é “duas vezes mais rápido” do que previa, e avança a sua previsão de AGI. Quando o criador do teste que toda a gente cita aperta o calendário, convém prestar atenção.

Este salto vem com um detalhe incómodo: harnesses de raciocínio. OpenAI mostrou internamente números de 99,9 por cento em ARC-AGI-3, mas com um harness próprio que encadeia raciocínios entre pedidos e resume execuções longas. A ARC Prize insiste que, para comparação justa entre fornecedores, vale a corrida feita no harness interno deles, que dá os tais 62,7 por cento. O resto vai ser publicado, mas em tabelas separadas. É a mesma discussão que já vimos com Sol e com outras técnicas de raciocínio da OpenAI: onde acaba o “modelo” e começa o sistema à volta, o tal scaffolding que se tornou a arma secreta desta geração de IA.

Mesmo sem magia de marketing, Astra traz um padrão curioso: mais raciocínio sai mais barato. No ARC-AGI-3, aumentar o nível de “esforço” de raciocínio reduz o custo total dos testes, em vez de o inflacionar, porque o modelo usa muitos menos passos de computação para chegar ao mesmo resultado. Na prática, Astra precisa de um terço dos passos de Sol e um quinto dos de Opus 5 para certas tarefas. Resultado: apesar de a OpenAI cobrar duas vezes e meia mais por unidade de texto, o custo por tarefa sobe “apenas” cerca de 75 por cento face a Sol, e fica a menos de metade do de Claude Fable 5 em programação. Isto é a parte que interessa a quem está a fazer contas em euros na AWS, não nos slides da keynote.

Claro que não é tudo subida. No índice de coding agents, Astra marca 67 pontos, ainda atrás dos 70 de Fable 5.1. A taxa de alucinações no teste AA-Omniscience cai de 92 para 51 por cento, o que é uma melhoria séria, mas o modelo perde cerca de 80 pontos de Elo em GDPval-AA v2 e desliza em tarefas de apoio bancário, SciCode e raciocínio em longos contextos. No novo benchmark FrontierMath Erdős, Astra é o único a resolver dois dos 68 problemas abertos com provas verificadas em Lean, mas só depois de queimar até 300 dólares por tentativa, e bem mais de 220.000 dólares em corridas extra que nem contam para a pontuação oficial. É um lembrete de que estas “vitórias científicas” hoje são pagas ao preço de laboratório de física de partículas, e que a discussão séria sobre segurança da IA e limites de raciocínio, aquela que já acompanhámos quando a OpenAI testou novas técnicas de raciocínio, não vai abrandar com números destes.

O quadro que fica: Astra é claramente melhor em matemática, conhecimento e puzzles, enquanto Fable 5.1 domina quase todos os testes de código. Só que, para já, a Epoch só tem um resultado de programação para Astra, e ainda por cima feito num nível médio de raciocínio. Os benchmarks discordam porque estão, em parte, a medir coisas diferentes com medições incompletas. Mas o salto no ARC-AGI-3, com eficiência acima da média humana em mundos desconhecidos, muda a conversa. Não porque “a AGI chegou”, mas porque o relógio dos investigadores mais prudentes acabou de ganhar adiantamento.

Fonte: The Decoder