DeepSeek V4.1 Flash promete IA gigante com fome de GPU bem menor

Enquanto metade da indústria despeja milhares de milhões em megacentros de dados para alimentar modelos cada vez maiores, a chinesa DeepSeek apareceu com uma heresia saudável: um LLM com 763 mil milhões de parâmetros que, ainda assim, precisa de muito menos memória para servir pedidos. O modelo chama-se DeepSeek V4.1 Flash e tenta responder a uma pergunta que raramente é feita nas apresentações de GPUs: até onde é que conseguimos ir só com arquitectura mais esperta.

O V4.1 é mais do dobro do V4 Flash em número de parâmetros e supera mesmo os modelos V3 e R1 que tornaram a DeepSeek conhecida em 2025. Normalmente isto seria sinónimo de mais GPUs, mais consumo, mais conta de luz. Aqui não. A equipa mexeu fundo em dois pontos: a forma como o modelo usa as caches de chave-valor, que guardam o contexto entre tokens e sessões, e a própria arquitectura de atenção, onde introduziu um causal encoder-decoder (CED) novo.

O resultado, segundo o relatório técnico partilhado no Hugging Face, é que as caches KV passam a consumir só entre 13 e 25 por cento da memória que o V4 Flash precisava. Em termos práticos, isto significa servir entre quatro e oito vezes mais utilizadores com a mesma pegada de memória. Numa altura em que Google anda a construir data centers glaciais na Finlândia para aguentar a sede de IA, ter um modelo gigante que não exige um exército de GPUs por instância não é um detalhe técnico, é uma mudança de ordem económica.

O truque mais curioso, porém, está na forma como o modelo separa “memória” de “cálculo”. Dos 763 mil milhões de parâmetros, 196 mil milhões são dedicados a N-grams, um módulo de memória condicional. Em vez de depender só dos pesos clássicos do transformer, o modelo ganha um repositório de sequências recorrentes de tokens que consegue ativar quando o contexto o pede. A ideia faz lembrar a Per-Layer Embedding (PLE) da equipa Gemma da Google, que também tenta pôr modelos úteis a correr em dispositivos com pouca RAM e largura de banda.

Na prática, os N-grams são blocos de tokens que funcionam como associações de palavras e frases. Perguntas sobre perímetros de triângulos rectângulos, leis de Newton ou expressões idiomáticas são tratadas com recurso a padrões já interiorizados em vez de recalcular tudo de raiz. Isto reduz a computação necessária por resposta e, segundo a DeepSeek, permite escalar a inteligência do modelo sem escalar na mesma proporção o custo por utilizador. É exactamente o tipo de truque que os grandes fornecedores de IA precisam se quiserem deixar de resolver tudo à força bruta de GPU.

Para quem olha a partir de Portugal, onde a conta de electricidade dos centros de dados não é abstracção mas linha orçamental, este tipo de abordagem é mais interessante do que mais um benchmark de tops na tabela. A indústria anda obcecada com chips e fábricas, da TSMC a testar máscaras gigantes para wafers ainda maiores até à Nvidia que compra a Hugging Face para controlar o lado do software. Modelos como o DeepSeek V4.1 Flash lembram que há outra frente de batalha: pôr a arquitectura a trabalhar a sério, para que cada GPU sirva mais gente durante mais tempo. Se esta linha de investigação pegar, o gargalo da IA deixa de ser só mais silício, passa a ser também quem consegue desenhar a memória mais esperta.

Fonte: The Register