O raciocínio que você vê pode não ser o raciocínio real

Tem uma premissa implícita em quase toda conversa sobre modelos de raciocínio — o-3, Deepseek-R1, Claude com extended thinking — que nunca foi muito questionada: que o texto de raciocínio que o modelo gera antes de responder é de fato o raciocínio que levou à resposta.

Um paper recente no arXiv — "Reasoning Theater: Disentangling Model Beliefs from Chain-of-Thought" — sugere que essa premissa pode estar errada.

E se estiver errada, uma parte significativa do argumento de segurança em torno de modelos de raciocínio vai junto.

O que o paper mostra

A pesquisa investiga se existe alinhamento entre o que um modelo acredita internamente (medido por ativações, probabilidades de tokens, outros indicadores de estado interno) e o que ele escreve no seu chain-of-thought.

O achado central: não necessariamente.

Em vários casos testados, o modelo já tinha alta confiança na resposta correta quando começou a gerar o raciocínio visível. Mas continuou produzindo tokens de exploração — "hmm, talvez seja X... por outro lado, Y também faz sentido..." — que não refletiam essa confiança interna.

O raciocínio, nesse caso, é teatral. Não é falso no sentido de que leva a uma resposta errada — a resposta final pode ser ótima. Mas é desconectado do processo computacional real que gerou aquela confiança.

Os autores chamam isso de reasoning theater: uma performance de raciocínio que satisfaz expectativas humanas sobre como um agente pensativo deveria se comportar, sem necessariamente corresponder ao que está acontecendo internamente.

Por que isso importa mais do que parece

A maioria das pessoas vai ler esse resultado e pensar: ok, o raciocínio é decorativo em alguns casos — mas se a resposta está certa, qual o problema?

O problema não é a resposta. É a interpretabilidade.

O argumento central para confiar em modelos de raciocínio — especialmente em aplicações de maior risco — é que você pode ver o raciocínio. Você pode auditar. Se o modelo errou, você pode tentar entender onde o raciocínio quebrou. Se o raciocínio parece sólido, você tem mais base para confiar na resposta.

Esse argumento pressupõe que o chain-of-thought é uma janela para o processo interno. O que o paper sugere é que pode ser uma janela para um processo paralelo — ou pior, uma janela pintada na parede.

Se o raciocínio visível é gerado depois que o modelo já formou sua crença (ou pelo menos em paralelo, sem relação causal com ela), então:

1. Auditar o chain-of-thought não te diz como o modelo chegou à conclusão — te diz como ele justificou a conclusão depois do fato.
2. Um raciocínio que parece impecável não é garantia de resposta correta, porque o raciocínio pode não ter causado a resposta.
3. Raciocínio que parece falhar em algum passo pode ter chegado à resposta correta de qualquer forma, pelo caminho interno que não está visível.

Isso não é só um problema acadêmico. É um problema para qualquer pessoa usando esses modelos em sistemas onde o raciocínio é parte do contrato de confiança — revisão de código, diagnósticos médicos, análise jurídica, qualquer aplicação onde "mostre seu trabalho" era supostamente a garantia.

O problema mais profundo: nós não sabemos o que não sabemos

Há um segundo nível nessa questão que o paper abre, mesmo sem resolver.

Se o raciocínio visível é teatral, o que é o raciocínio real? Quais camadas do modelo estão fazendo o trabalho computacional que determina a crença? Podemos acessar isso? Podemos interpretá-lo?

A resposta honesta é: não, não conseguimos, não de forma confiável.

Interpretabilidade mecanística — o campo que tenta mapear o que neurônios e circuitos específicos fazem nos transformers — avançou muito nos últimos anos. Os trabalhos do grupo de interpretabilidade da Anthropic são genuinamente impressionantes. Mas ainda estamos muito longe de ter uma leitura confiável do "estado de crença" de um modelo em tempo de inferência.

O que o Reasoning Theater faz é tornar esse gap mais urgente. Antes, a falta de interpretabilidade profunda era parcialmente compensada pelo chain-of-thought: não entendemos os pesos, mas pelo menos vemos o raciocínio. Agora, nem isso é garantido.

O que sobra como garantia de confiança? Benchmarks de desempenho? São indicadores fracos para comportamento fora da distribuição de treino. RLHF e alinhamento? Trabalham na superfície comportamental, não no processo interno. Constitutional AI e similares? Melhoram o comportamento médio, mas não resolvem o problema de interpretação.

Estamos essencialmente avaliando sistemas complexos por seus outputs — que às vezes são excelentes — sem entender o processo que gera esses outputs. Isso não é novo, mas o paper torna mais difícil ignorar.

O que muda na prática

Para a maioria das aplicações do dia a dia, provavelmente nada muda agora. Se você está usando o o-3 para revisar um texto ou o Claude para depurar código, o raciocínio teatral não te prejudica de forma prática — o output continua sendo avaliado pelo que é, não pela qualidade intrínseca do raciocínio que o gerou.

Onde isso muda:

Sistemas de revisão humana baseados em cadeia-de-pensamento. Se você construiu um fluxo em que um humano revisa o raciocínio do modelo antes de aprovar uma ação, esse fluxo pode estar te dando uma falsa sensação de controle. O humano está revisando uma performance, não necessariamente o processo.

Pesquisa de alinhamento que usa CoT como proxy de intenção. Uma linha de pesquisa usa o raciocínio explícito do modelo para tentar entender se ele tem objetivos que divergem dos humanos — o chamado scratchpad alignment. Se o scratchpad é teatral, esses experimentos medem algo diferente do que imaginavam.

Qualquer argumento do tipo "mas eu posso ver o raciocínio". Esse argumento circula bastante em discussões sobre segurança de agentes autônomos. Merece mais ceticismo do que normalmente recebe.

Uma nota sobre o que o paper não diz

Vale ser preciso aqui: o paper não diz que o chain-of-thought é sempre falso ou sempre inútil. Diz que há casos em que ele não reflete a crença interna do modelo — e que esses casos são mais comuns do que se assumia.

Há evidências na literatura de que o chain-of-thought de fato melhora desempenho em problemas que exigem raciocínio multi-passo — aritmética, lógica formal, planejamento. Provavelmente há casos em que o raciocínio visível e o processo interno estão genuinamente alinhados, especialmente em problemas onde o espaço de busca é grande o suficiente para que o CoT force decomposição útil.

O ponto não é descartar o chain-of-thought. É parar de tratá-lo como transparência.

A crise de confiança que amadurece devagar

O que me parece significativo no Reasoning Theater não é o resultado específico — é o tipo de pergunta que representa.

A comunidade de ML passou alguns anos celebrando capacidades emergentes: modelos que passam em exames, resolvem provas de matemática, escrevem código funcional. Agora uma parte crescente está fazendo perguntas diferentes: o que exatamente está acontecendo quando o modelo faz isso? podemos confiar no processo, não apenas no output? o que precisaria ser verdade para que esse sistema fosse seguro em contextos de alta responsabilidade?

Essas perguntas são mais difíceis e menos fotogênicas do que benchmarks novos. Mas são as perguntas certas.

O Reasoning Theater é um passo nessa direção — não porque resolve o problema, mas porque o torna mais preciso. Agora há um nome para uma coisa que provavelmente muitos pesquisadores suspeitavam mas não tinham articulado de forma testável.

Nomear o problema é o primeiro passo para resolvê-lo. Ou pelo menos para parar de fingir que não existe.

Paper de referência: "Reasoning Theater: Disentangling Model Beliefs from Chain-of-Thought", arXiv 2025. Os resultados mencionados aqui são baseados no abstract e na análise publicada — para os detalhes metodológicos completos, consulte o paper diretamente.