DiffusionGemma: o atalho da Google para texto mais rápido em IA

A Google DeepMind pegou no Gemma 4 e, em vez de treinar outro modelo gigante de raiz, afinou-o até se comportar como um modelo de difusão de texto. Chama-se DiffusionGemma e funciona mais como uma IA de imagens do que como os chatbots a que estás habituado: em vez de cuspir tokens um a um, refina blocos de 256 tokens em paralelo. Resultado prático: cerca de 1.500 tokens por segundo numa Nvidia H100, várias vezes mais rápido do que o Gemma 4 original, com uma precisão semelhante em benchmarks de raciocínio.

O truque não foi gastar ainda mais dados. A equipa partiu do Gemma‑4‑26B‑A4B já treinado e converteu-o para difusão usando menos de dez por cento do orçamento de tokens do treino inicial, segundo o relatório técnico publicado no arXiv. Em linguagem de centro de dados, isto significa menos milhões de dólares queimados em GPUs. Numa altura em que toda a gente anda a despejar clusters em modelos cada vez maiores, a Google tenta provar que há muita vida em reaproveitar o que já existe, algo que também se sente na corrida entre modelos como o Muse Code da Meta ou o Qwen da Alibaba, todos a espremer mais valor da mesma classe de arquiteturas.

O processo vem em duas fases. Primeiro, o modelo aprende a reconstruir blocos de texto ruidoso a partir de exemplos, uma espécie de treino supervisionado para “limpar” ruído. Depois entra o que a Google baptiza de SD·RL: uma fase combinada de sampler distillation e reinforcement learning (aprendizagem por reforço). A parte de reforço puxa pela qualidade das respostas, a distilação do amostrador reduz o número de passos de difusão necessários. Juntos, sobem em média dez pontos em benchmarks de raciocínio e quase quadruplicam o número de tokens processados por passo de cálculo. Há um efeito colateral curioso: as respostas ficam cerca de 50 por cento mais curtas, o que acelera ainda mais, mas também pode cortar nuance em tarefas onde o contexto longo interessa.

Onde a coisa fica realmente interessante é no raciocínio bidirecional. Um modelo autoregressivo clássico tem de se comprometer logo com o primeiro dígito de uma resposta antes de “pensar” até ao fim. Se se enganar, corrige depois, com aquele remendo verbal que todos já vimos. No exemplo matemático do artigo técnico, o Gemma 4 começa com “-1”, só mais tarde percebe que era “-25” e emenda a meio da explicação. O DiffusionGemma, por trabalhar o bloco inteiro ao longo de vários passos de denoising, consegue ir ajustando os tokens a meio do processo até a resposta estabilizar. Na prática, erra cedo mas não fica preso ao erro.

O mesmo princípio aplica-se a problemas mais estruturados. Em Sudoku, onde cada célula depende de escolhas futuras, um pequeno ajuste por cima do modelo base chega para o DiffusionGemma resolver perto de 85 por cento dos puzzles, enquanto o Gemma 4 “normal” pura e simplesmente falha a tarefa. Para saídas rígidas como JSON ou reparação de código, o relatório fala em duas a três iterações de refinamento até chegar à versão final, porque a maior parte dos tokens já vem ditada pela entrada. E, se for preciso, o modelo mantém o modo clássico de gerar palavra a palavra, o que permite escolher entre difusão rápida ou geração autoregressiva mais controlada consoante o caso.

Nos gráficos de comparação, o DiffusionGemma fica à direita da maior parte da concorrência: Gemma 4, Mercury 2, LLaDA 2.1 Flash, Nemotron Diffusion. Mais velocidade, qualidade semelhante. Mas convém não romantizar. O modelo está optimizado para raciocínio, código e formatos estruturados, não para prosa literária ou respostas longas cheias de contexto. E por muito eficiente que seja converter um modelo existente em difusão, isto continua a ser tecnologia pensada para clusters de topo, não para a tua RTX no desktop cá de casa. O recado implícito é outro: a corrida da IA está menos em inventar uma arquitetura milagrosa e mais em saber reciclar bem os gigantes que já temos.

Fonte: The Decoder