Questionários de ética em IA não substituem formação e diversidade

Ferramentas de ética ajudam a organizar perguntas difíceis sobre modelos de linguagem, mas não resolvem sozinhas a falta de formação crítica de quem os constrói. Essa foi a tensão mais produtiva da apresentação de Jéssica Silva no Instituto de Computação da Unicamp, baseada em sua dissertação premiada sobre modelos desenvolvidos para a língua portuguesa. A pesquisa parte de um problema concreto: muitos modelos são criados por equipes de computação sem disciplinas fortes de ética e sem composição multidisciplinar, embora possam produzir linguagem tóxica, violar privacidade, reforçar vieses ou falhar em representar grupos sociais.

O trabalho avaliou ferramentas como Model Cards e Harms Modeling com desenvolvedores que já haviam disponibilizado modelos à sociedade. As entrevistas usaram as próprias perguntas das ferramentas como roteiro. Os resultados mostram utilidade e custo ao mesmo tempo: todos os participantes consideraram as ferramentas úteis para identificar riscos e gerar documentação responsável, mas cerca de 90% também disseram que elaborar considerações éticas era complicado. A diferença entre as ferramentas ilustra o dilema. Model Cards foi vista como mais objetiva e fácil, em cerca de duas horas. Harms Modeling foi considerada mais completa, mas extensa, chegando a quatro, seis ou até oito horas.

A limitação mais importante apareceu quando a ferramenta encontrou a autopercepção dos desenvolvedores. Em um grupo, segundo Jéssica, as respostas sugeriam que o modelo não teria riscos, avaliação que ela considerou incompatível com o que observou ao longo de meses de entrevistas, leitura do artigo e análise do propósito e dos dados do modelo. Também houve discordância entre pessoas do mesmo grupo sobre a presença de riscos, apesar de terem participado juntas das conversas. Isso indica que documentação ética não deve ser preenchida por uma pessoa isolada nem tratada como formulário burocrático: coleta de dados, modelagem, testes e implantação produzem visões parciais que precisam ser confrontadas.

O caso dos modelos em português torna o problema menos abstrato. As ferramentas analisadas eram generalistas e não perguntavam de modo suficiente sobre gírias, sotaques, expressões regionais, aspectos culturais brasileiros ou de outros falantes da língua portuguesa. Quando desenvolvedores reconheciam esses riscos, muitas vezes já chegavam à entrevista sabendo disso; a ferramenta não os havia levado a descobrir o problema. A consequência prática é incômoda: incorporar ética ao desenvolvimento de IA exige tempo, formação, referências externas à computação e equipes diversas. Sem isso, a lista de perguntas pode produzir uma documentação mais elegante do que responsável.

Assistir ao episódio original

Referências encontradas

Livros

• Data Feminism, de Catherine D'Ignazio; Lauren F. Klein — Ver livro na Amazon

Este post contém links de afiliado. Se você comprar por eles, eu posso receber uma pequena comissão sem custo adicional para você.