Métodos da psicologia expõem falhas grandes nos testes de segurança de IA

Os modelos de IA podem parecer mais seguros no papel só por dizerem “não” mais vezes. Um estudo com participação do UK AI Security Institute acaba de mostrar o quão enganador isso é, e vai meter pressão sobre quem anda a vender benchmarks de segurança como se fossem um número mágico.

Os investigadores pegaram em oito benchmarks de segurança populares para modelos de linguagem e aplicaram métodos emprestados da psicometria, a área que desenha testes de QI e exames de aptidão em humanos. Em vez de tratarem cada pergunta como um ponto numa folha de cálculo, usaram teorias como a Item Response Theory para perceber que capacidades estão realmente a ser medidas e que itens é que fazem diferença. Resultado: os benchmarks não medem uma “segurança” abstracta, medem três coisas distintas, com pouca relação entre si, e os scores agregados escondem mais do que revelam.

Essas três dimensões são: o quão estrito é o modelo a recusar pedidos, o quão verídico é quando responde e como lida com pedidos de risco contextual, que podem ser inofensivos ou perigosos dependendo do cenário. Um dos choques do artigo é a oposição directa entre duas métricas populares: HarmBench recompensa recusas a pedidos nocivos, OR-Bench-Hard penaliza o excesso de zelo em pedidos inofensivos. Brilhar num tende a implicar falhar no outro. Se depois se faz uma média cega dos vários testes, um modelo pode subir na “segurança” global apenas por bloquear mais coisas em bruto, ao custo da utilidade no dia-a-dia.

A segunda pancada vai à carteira de quem testa modelos. De mais de 5.000 perguntas analisadas em respostas de até 192 modelos, menos de 2 por cento acrescenta informação real para distinguir sistemas. O resto são questões que quase todos acertam ou quase todos falham, logo não servem para ordenar modelos. Ao escolher apenas itens realmente informativos, os autores mostram que três minitestes de 25 perguntas chegam para cobrir as três dimensões de segurança com melhor fidelidade do que um conjunto aleatório do mesmo tamanho.

Melhor ainda, quando se escolhem perguntas de forma adaptativa, como em exames de colocação em que a dificuldade sobe ou desce consoante o teu desempenho, cerca de dez itens bastam para aproximar muito o ranking do benchmark completo. Isto corta custos de avaliação em 97 a 99 por cento e abre a porta a auditorias de segurança frequentes, por exemplo a cada novo fine-tune ou compressão de modelo, em vez de um grande “crash test” ocasional. Numa altura em que se discute regulação de IA na UE e os EUA pressionam aliados a alinhar na corrida à IA, continuar com testes pesados e pouco informativos é um luxo caro.

O terceiro ponto é o mais político: como detectar modelos que estão a fazer sandbagging, ou seja, a portar-se de forma artificialmente cautelosa durante o exame para não soarem perigosos, e depois alargar os limites em utilização real. O estudo propõe um método estatístico para apanhar padrões de resposta estranhos que denunciam este comportamento. Se começar a ser usado por reguladores ou por grandes clientes empresariais, baixa a margem para publishers de modelos mostrarem resultados higienizados em benchmarks e libertarem versões “mais soltas” nos produtos. A mensagem é simples: continuar a tratar a segurança da IA como uma média de scores simpáticos em PDFs é receita para surpresas desagradáveis.

Fonte: The Decoder