Antes da acurácia, a pergunta: este sistema de IA deveria existir?

A decisão mais importante em um projeto de inteligência artificial pode vir antes do modelo: perguntar se aquele sistema deveria existir. Na conversa do Instituto de Computação da Unicamp, essa questão aparece como antídoto ao impulso de tratar IA como resposta automática para qualquer problema. A palestrante parte de casos concretos: desenvolvedores que não enxergam riscos nos próprios modelos, usuários cada vez mais entusiasmados e notícias sobre alucinações, recrutamento automatizado, deepfakes e relações afetivas com chatbots. O ponto não é rejeitar a tecnologia, mas recusar a ideia de que basta colocá-la em produção e transferir a responsabilidade para quem usa.

O mecanismo do erro começa na definição do problema. A referência ao livro A Falsa Medida do Homem ajuda a mostrar que há perguntas que já nascem deformadas: medir inteligência humana por crânios não falhou apenas por limitação técnica, mas porque carregava um projeto racista e eugenista. O mesmo vale, em outra escala, para uma ferramenta que tenta detectar gênero por foto e admite em seu próprio aviso que isso não é realmente inferível. Antes de discutir dados, arquitetura ou métrica, há uma pergunta anterior: o problema está bem definido ou transforma uma categoria social complexa em alvo computacional pobre?

Mesmo quando o objetivo parece legítimo, os dados estreitam o mundo. Uma base de celebridades não representa a população; raspar o Instagram inteiro não inclui quem não publica, quem não tem conta ou quem sequer tem internet. A coleta também pode ser eticamente problemática, como no uso de trabalhadores mal pagos para anotar dados sensíveis. A consequência técnica é direta: modelos de reconhecimento facial treinados majoritariamente com pele branca falham mais com pessoas negras; métricas altas no teste não garantem desempenho fora daquele recorte. Por isso a palestrante defende algo próximo a uma bula: documentar condições de treino, limites, vieses prováveis e situações em que o sistema não deveria ser usado.

A crítica se amplia no conceito de tecnochauvinismo: a crença de que a solução mais tecnológica é, por definição, superior. Escada rolante vendida como acessibilidade pode ser pior que uma rampa; um chatbot para fazer Pix pode complicar uma regra simples; um resumo automático de documento pode substituir a leitura que o usuário queria fazer. Há ainda custo ambiental no treino, no uso e na infraestrutura de data centers. A pergunta prática, então, não é apenas se a IA funciona, mas se seu benefício justifica o risco, o custo e a perda de controle que ela introduz.

Assistir ao episódio original

Referências encontradas

Livros

• A Falsa Medida do Homem, de Stephen Jay Gould — Ver livro na Amazon
• Algoritmos de Destruição em Massa: Como o Big Data Aumenta a Desigualdade e Ameaça a Democracia, de Cathy O'Neil — Ver livro na Amazon

Séries

• Dinosaurs — Ver no TMDB

Este post contém links de afiliado. Se você comprar por eles, eu posso receber uma pequena comissão sem custo adicional para você.