Richard Sutton dispara contra a moda dos dados sintéticos em IA

Quando um Turing Award abre a boca para dizer que a estratégia dominante em IA é “um grande erro”, convém parar para ouvir. Richard Sutton, um dos pais do reinforcement learning (aprendizagem por reforço), não podia ser mais claro: a obsessão atual com dados sintéticos para alimentar modelos gigantes está torta na raiz.

No podcast Training Data, da Sequoia Capital, Sutton pegou na moda dos dados gerados por modelos e cravou a etiqueta: “That’s just a big mistake”. Não é um comentário de café. Este é o autor do ensaio The Bitter Lesson, que meio mundo da IA cita para defender que escalar computação e dados ganha, a prazo, à esperteza artesanal de humanos a afinarem regras. O ponto curioso é que agora ele acusa os dados sintéticos de reintroduzir, pela porta do cavalo, exatamente esse juízo humano que o seu texto denunciava.

Sutton tem duas críticas concretas. Primeiro, “não há forma de termos dados sintéticos para as mentes de outras pessoas”. Um modelo a inventar texto sobre o que alguém pensa é um simulacro pobre, não uma janela para a diversidade real de perspectivas humanas. Depois, o mundo físico: “O mundo é infinitamente complexo e qualquer simulação é microscópica”. A sua big world hypothesis é simples e devastadora: a realidade é sempre maior do que o modelo, logo qualquer simulador é compressão com perda garantida. Apostar tudo nesse espelho distorcido parece confortável para as big tech, mas é cientificamente preguiçoso.

O contexto explica a ansiedade. A equipa da Epoch AI estima que o stock de texto humano público, à volta de 300 biliões de tokens, fique esgotado entre 2026 e 2032. Daí a correria: empresas a comprar e cortar livros em segunda mão para recuperar texto pré-2022 e, em paralelo, a gerar montanhas de dados sintéticos para continuar a escalar modelos. Já escrevemos sobre como a corrida a dados está a criar decisões agressivas, como a compra de espólios de dados falidos para treinar IA. Sutton olha para isto e vê um beco sem saída mascarado de progresso.

A alternativa que defende não é teórica. Chama-lhe dados experienciais: informação recolhida por um agente a agir no seu ambiente, em vez de datasets pré-cozinhados por alguém. No limite, é a tal visão de “IA encarnada”, robôs e sistemas que aprendem pela interação, não pela digestão infinita de PDFs. Sutton e David Silver já tinham formulado a tese em 2025, no paper Welcome to the Era of Experience, mas agora ele aponta explicitamente a mira aos dados sintéticos de modelos de linguagem.

Para quem está em Portugal, isto não é só filosofia de laboratório. A forma como treinamos modelos hoje define os sistemas que amanhã vão decidir crédito, triagem hospitalar ou o teu currículo. Encher modelos com texto gerado por outros modelos, sem ancorar em nova experiência, é reciclagem de ruído com selo de ciência. O problema não é falta de dados, é falta de imaginação sobre que dados interessam. A indústria pode continuar a pressa de curto prazo com dados sintéticos, mas a história da computação costuma ser dura para quem confunde multiplicar ficheiros com aprender algo de novo.

Fonte: The Next Web