Netflix testa modelo de linguagem para mandar no que vês a seguir

A Netflix anda a matar o seu próprio legado. Depois de uma década a polir um motor de recomendações cheio de regras e sinais feitos à mão, a empresa está a testar o GenRec, um sistema baseado em modelo de linguagem que, em testes internos, bateu o algoritmo clássico com cerca de 1,6 por cento de melhoria na qualidade das recomendações. Parece pouco, mas no universo de milhões de utilizadores e horas de visionamento, é a diferença entre deixar um catálogo parado ou espremer mais umas séries ao teu serão.

O motor atual da Netflix vive de milhares de features artesanais sobre utilizadores, títulos e interações. É um castelo de cartas: poderoso, mas caro de manter e lento a adaptar quando a empresa decide que também é plataforma de jogos, eventos em direto ou podcasts. Cada novo tipo de conteúdo implica meses de engenharia. Ao mesmo tempo, modelos de linguagem gerais também falham o alvo: adoram empurrar só o que é popular, inventam títulos que não existem no catálogo e ignoram restrições de negócio. O GenRec aparece como compromisso pragmático entre as duas abordagens.

A arquitetura é relativamente simples, o que é precisamente o ponto. A Netflix pega num modelo de linguagem de pesos abertos, adapta-o ao seu catálogo e dados internos numa primeira fase, e faz depois uma segunda ronda de treino específica para ranking. Esta segunda fase é atualizada com mais frequência, para seguir novos lançamentos e mudanças de gosto. Em vez de traduzir o teu comportamento em vetores densos construídos à força, a empresa converte tudo em texto, quase como se fosse um diálogo entre ti e o sistema: o que viste, durante quanto tempo, quando desististe, o que marcaste com polegar para cima ou para baixo.

Claro que escrever literalmente toda a tua vida de Netflix rebentava o limite de contexto do modelo. A solução é filtrar agressivamente. Sessões longas e completas ficam com mais detalhe, zappings rápidos e toques perdidos vão para o lixo, maratonas são comprimidas num resumo. Depois, o modelo lê esse texto uma vez e, com recurso ao vLLM, atribui pontuações a todos os candidatos relevantes numa única passagem, sem gerar texto. Para evitar alucinações, há ainda um módulo separado que garante que só entram na lista títulos que existem mesmo no catálogo.

Nos testes offline e num ensaio A/B com utilizadores reais, este esquema deu ganhos pequenos mas estatisticamente robustos face ao sistema de produção. Mais interessante, fez isto com cerca de 40 vezes menos exemplos rotulados na segunda fase de treino. Menos anotação manual, menos engenharia à medida, mais dependência de um modelo geral que se pode reaproveitar noutros produtos internos. É a mesma lógica que está a levar grandes empresas a apostar em modelos de linguagem como camada base para tudo, da pesquisa interna a suporte ao cliente, algo que temos visto em relatórios como o da Forrester sobre IA em software e serviços TI.

Para quem vê Netflix em Portugal, a pergunta não é se o GenRec é tecnicamente elegante. É se a secção “Recomendado para ti” se vai tornar ainda mais homogénea ou finalmente menos obcecada pelos mesmos 10 títulos que ocupam a capa durante semanas. Modelos de linguagem tendem a amplificar tendências. Se a empresa não for cuidadosa com as regras de diversidade e descoberta, o catálogo de dezenas de milhares de títulos pode acabar reduzido a um punhado de escolhas óbvias. A boa notícia é que, com esta abordagem mais textual e geral, afinar essas regras talvez deixe de ser cirurgia ao cérebro do sistema e passe a ser edição de prompts. Menos magia negra, mais engenharia visível. Veremos se isso se traduz em escolhas que pareçam menos algoritmo e mais curadoria.

Fonte: The Decoder