Como correr o teu próprio chatbot de IA no computador de casa

Usar o ChatGPT ou o Gemini é fácil: abres o site, escreves texto, recebes texto. Em troca, ofereces dados, dependência da nuvem e mais uma mensalidade potencial. A alternativa menos falada é simples: pôr um modelo de linguagem grande a correr no teu próprio computador e fechar a porta ao servidor de terceiros.

Convém alinhar expectativas. Os modelos locais que vais correr em casa não são clones perfeitos do GPT-4 ou do Gemini mais recente. São normalmente versões destiladas, mais pequenas, treinadas ou afinadas para caberem em hardware “mortais”. Em troca perdes algum brilho nas respostas, mas ganhas três coisas muito concretas: privacidade, funcionamento offline e controlo sobre o que corre quando e onde.

Em termos de requisitos, o panorama é menos dramático do que parece nas apresentações da Nvidia. Um portátil com 8 GB de RAM já consegue correr modelos pequenos, desde que aceites alguma lentidão e limites em contexto. Dezasseis gigas é o ponto razoável para começar a levar isto a sério, e a partir dos 32 GB abres a porta aos modelos maiores. Ter uma gráfica dedicada com pelo menos 8 GB de VRAM ajuda bastante, sobretudo em Windows, porque a memória da GPU está optimizada para este tipo de cálculo. Se tens um desktop com placa Nvidia moderna, estás bem posicionado.

No macOS, a história é diferente mas curiosamente mais simples. Os chips Apple Silicon juntam CPU, GPU e RAM num só pacote e o ecossistema de ferramentas para IA tem sido afinado para tirar partido disso. Não é por acaso que tanta gente que brinca com modelos locais prefere um Mac recente. Em Linux também encontras excelentes opções, mas aí assumes que gostas de mexer em linhas de comando e bibliotecas a meio da noite.

Depois do hardware, entram as duas peças de software que interessam: o “motor” que corre o modelo e o modelo em si. Para começar, LM Studio Bionic é provavelmente a escolha mais amigável em Windows e macOS. É gratuito, tem interface gráfica decente e esconde boa parte da complexidade. Alternativas como vLLM, Llama.cpp, Ollama ou GPT4All são óptimas, mas mais técnicas. Pensa no LM Studio como a aplicação de chat, depois escolhes lá dentro que “cérebro” queres usar.

Esses cérebros vivem em repositórios públicos. O mais conhecido é a Hugging Face, que lista milhões de modelos de todo o tipo. A dimensão em gigabytes é o primeiro filtro prático: quanto maior, mais RAM ocupa e mais tempo demora a carregar, mas em regra responde melhor. Os frontends gráficos costumam destacar recomendações e “staff picks”, o que é uma boa forma de evitar lixo. Vale a pena lembrar que a Hugging Face se tornou tão central neste mundo que acabou a ser comprada pela Nvidia, um sinal claro de quanto a corrida à IA está a recentrar-se em quem controla a infra-estrutura e os modelos abertos.

Na prática, o fluxo é este: instalas o LM Studio, crias um projecto, abres a janela de conversa, clicas para escolher modelo, fazes download, esperas uns minutos e começas a escrever. Ficas responsável pelas actualizações e por gerir o espaço em disco, é o preço de não depender de um servidor alheio. Em troca, tens um chatbot que pode viver inteiramente no teu portátil, mesmo num comboio sem rede, e que não envia os teus ficheiros para lado nenhum. Para quem leva a sério privacidade, ou simplesmente se cansou de jogar segundo as regras das grandes plataformas, esta autonomia vale mais do que meia dúzia de features novas em mais uma app na nuvem.

Fonte: Wired