Subquadratic promete IA barata e rápida ao matar a “atenção quadrática”

Quando uma startup de Miami aparece a dizer que resolveu o problema matemático que torna os modelos de linguagem lentos e gastadores de energia, o reflexo saudável é levantar a sobrancelha. A Subquadratic fez isso em maio, com 29 milhões de dólares de seed e um novo modelo chamado SubQ. A reacção foi imediata: comparações com a Theranos da IA, direito a meme em X.

O alvo é conhecido por quem anda nisto desde o paper da Google de 2017: o transformer e a sua atenção densa. Em modelos de linguagem grandes, cada palavra é comparada com todas as outras. Se duplicas o tamanho do contexto, o trabalho mais ou menos quadruplica. Escala quadrática, em bom português. É por isto que meter mais contexto num GPT ou num Claude é tão caro em GPUs e em electricidade. E é por isto que governos e empresas andam preocupados com a factura energética da IA, enquanto vendem narrativas de segurança total como se fossem possíveis, como já vimos no caso da Anthropic e da Casa Branca.

A Subquadratic diz que resolveu isto com atenção esparsa. Em vez de comparar tudo com tudo, só mantém as ligações que importam. A ideia não é nova, vários grupos académicos e industriais já tentaram versões disto. O problema é que, até agora, sempre houve perda de qualidade em relação à atenção densa. O truque da Subquadratic, explica o co-fundador e CTO Alex Whedon, é escolher dinamicamente onde prestar atenção, com base no conteúdo, e não num padrão fixo. É aqui que eles dizem que está o “molho secreto”. O cepticismo da comunidade é que esse molho costuma azedar depressa quando sai do laboratório.

Percebendo a desconfiança, a empresa chamou uma entidade externa, a Appen, que se dedica a avaliar modelos de outros. Nos testes reportados, o SubQ correu 56 vezes mais rápido do que o FlashAttention, um dos métodos de atenção mais optimizados que existem hoje. Num benchmark exigente de programação, marcou 89,7%, perto dos melhores modelos comerciais. Em custos, a diferença que a empresa mostra é quase obscena: um teste de contexto longo que num modelo topo da Anthropic sairia por cerca de 2.600 dólares, no SubQ teria custado 8 dólares. Se estes números aguentarem escrutínio, não é um ganho marginal, é mudar a escala a que se pensa em janelas de contexto.

Mas benchmarks não são produção. Os testes de laboratório raramente captam a diversidade e o caos do uso real, desde pedidos mal escritos até dados específicos de cada organização. E há outro detalhe importante: o SubQ não foi treinado de raiz, partiu de um modelo existente. Isto levanta questões sobre até onde vai a contribuição matemática original e onde começa apenas um excelente trabalho de engenharia em cima de bases alheias. Também não ajuda o facto de o modelo ainda não estar amplamente acessível, apesar de a lista de espera contar já dezenas de milhares de pessoas.

Para quem vê isto a partir de Portugal, o impacto directo é mais tectónico do que imediato. Se a atenção esparsa do SubQ cumprir o que promete, abre a porta a modelos com contextos gigantes a custos que um laboratório europeu médio, ou uma PME com orçamento decente, consegue suportar. Isto pode aliviar a dependência de gigantes norte-americanos que fecham modelos e dados, como a própria Anthropic fez recentemente. Até lá, a Subquadratic ganha manchetes e alguma credibilidade, mas ainda não ganhou o direito a reescrever os livros de texto.

Fonte: The Next Web