Dois anos de dados: proibir IA nas aulas deixa alunos para trás

Um professor de Direito da Vrije Universiteit Amsterdam passou dois anos a fazer aquilo que muita universidade evita: em vez de escrever mais um regulamento anti-IA, testou-o. Resultado desconfortável para quem anda a coleccionar declarações solenes contra o ChatGPT. Os alunos a quem foi proibido usar IA tiveram, em média, pior desempenho do que os colegas que puderam usá-la, mesmo sem grande orientação.

Thibault Schrepel dividiu aleatoriamente os estudantes da cadeira “Law of AI” em três grupos. Todos tinham a mesma tarefa: em equipas de quatro ou cinco, tinham 20 minutos para melhorar um artigo do AI Act da União Europeia, avaliados em conteúdo, clareza, proporcionalidade e inovação. O primeiro grupo não podia usar IA. O segundo recebia sugestões do ChatGPT já embutidas no texto e podia continuar a usá-lo, mas sem formação. O terceiro tinha direito a treino em prompt engineering jurídico e em validação de respostas. Depois, todos enfrentavam os mesmos exames: escolha múltipla e um trabalho em casa com outra disposição legal para rever.

O grupo sem IA fez aquilo que se vê em muitas faculdades de Direito: cosmética. Pequenas mexidas de redação, cortes de redundâncias e pouco atrevimento substantivo. Ao fim de 10 a 15 minutos, muitas equipas ficavam sem ideias, o que Schrepel baptiza de “exaustão de ideias”. Sim, houve discussão mais profunda entre colegas, mas isso não chegou para compensar a falta de tração. Em contraste, o segundo grupo aceitava muita coisa da IA quase sem questionar, trocando termos jurídicos (“shall”, “individual”) por alternativas que “soavam melhor”, mas com implicações legais pouco compreendidas. Cada equipa deixou ficar pelo menos um termo enganador vindo do modelo.

Só o terceiro grupo, treinado, tratou o chatbot como parceiro de debate e não como oráculo. Testou formulações diferentes, explorou as questões materiais por trás do enunciado e trabalhou num regime de vaivém com a IA. Em 2024 isso traduziu-se em notas claramente superiores, sobretudo no trabalho em casa, mais exigente. Um ano depois, porém, a vantagem quase desapareceu. Em 2025, os três grupos tiveram desempenhos muito próximos. A explicação provável, escreve Schrepel, é simples: a literacia de IA fora da sala de aula disparou. Muitos estudantes já usam estes modelos no dia-a-dia, por isso a formação formal passou a acrescentar menos.

O dado que não mudou foi outro: o grupo sem IA ficou em último lugar nos dois anos. Proibir a IA produziu piores resultados médios do que a permitir. E aqui o próprio investigador teve de engolir em seco. Partiu da convicção de que a IA só ajuda com treino estruturado e que, caso contrário, devia ficar à porta da sala. Os dados não confirmaram a tese. O grupo com IA “livre” não só não colapsou, como acabou ligeiramente acima do grupo sem IA no exame. A hipótese mais plausível é que os alunos aprendem, por tentativa e erro, a detectar fragilidades da IA quando a nota em jogo é real.

Para quem anda a aprovar proibições de IA em bloco, incluindo faculdades de topo como Berkeley Law, o estudo de Schrepel é um balde de água fria. Não é um veredicto final, o próprio reconhece limites: amostra relativamente pequena, estudantes já interessados em IA, controlo imperfeito do uso de ferramentas fora do protocolo. Mas encaixa em tensão directa com narrativas mais simplistas, como as leituras apressadas dos dados do PISA sobre alunos que usam IA terem piores notas. Se a tese “sem IA pensam melhor” não se aguenta nem num curso de Direito da IA a mexer no AI Act, talvez o problema não esteja na ferramenta, mas na preguiça de redesenhar a forma como ensinamos e avaliamos.

Fonte: The Decoder