O problema dos dados que parecem objetivos em modelos de IA

A fragilidade de muitos sistemas de inteligência artificial começa antes do modelo: começa na suposição de que o dado disponível representa bem o problema que se quer resolver. No seminário do Instituto de Computação da Unicamp, Helena e Jéssica organizaram a conversa em torno dessa distância entre “o dado que você precisa” e “o dado que você tem”. A tese central é simples e incômoda para a cultura técnica: dados não são objetivos. Eles carregam escolhas, limites de coleta, erros de anotação, exclusões e interpretações humanas.

O mecanismo aparece com clareza nos exemplos. Para detectar quedas de idosos, não se pode provocar quedas reais em idosos; usa-se, muitas vezes, uma pessoa saudável encenando a queda. Para detectar material de abuso sexual infantil, os pesquisadores não podem manipular livremente o dado necessário, e o trabalho precisa ser tangenciado com mediação policial. Em reconhecimento facial, bases de celebridades podem gerar boa acurácia no teste e falhar no mundo real, sobretudo quando certos grupos estão mal representados. A métrica, nesse caso, não mente exatamente; ela mede outra coisa.

A conversa também mostra que o problema não é apenas ausência de dados, mas o modo como os dados são produzidos. Helena recorre ao livro A falsa medida do homem para lembrar como medições supostamente neutras serviram a pressupostos racistas e sexistas na craniometria. Jéssica, por sua vez, mostra legendas problemáticas de um conjunto de imagens muito usado: descrições inventam estados emocionais, fazem inferências sem base ou registram falhas do próprio sistema de anotação. Quando esses dados entram no treino ou no teste, o erro ganha aparência estatística.

A consequência prática é menos confortável do que exigir “mais dados”. É preciso documentar finalidade, origem, subpopulações, ruídos, informações sensíveis e critérios de anotação antes de tratar uma base como evidência. Ferramentas como datasheets, nutrition labels e documentação de modelos não eliminam viés, mas tornam visíveis decisões que costumam ficar escondidas. A pergunta técnica passa a ser também institucional: quem coletou, quem ficou de fora, que erro foi normalizado e que tipo de acurácia está sendo comemorada.

Assistir ao episódio original

Referências encontradas

Livros

• A Falsa Medida do Homem, de Stephen Jay Gould — Ver livro na Amazon

Este post contém links de afiliado. Se você comprar por eles, eu posso receber uma pequena comissão sem custo adicional para você.