O "pensamento" da IA que voc? l? n?o ?o que ela est? fazendo

TL;DR? Modelos de racioc?nio (Claude Extended Thinking, o1, DeepSeek R1?) passaram a mostrar o passo a passo antes de responder. Parece transpar?ncia. S? que a Anthropic mediu isso de forma direta ? e a conclus?o ?desconfort?vel: na maior parte das vezes, o texto do "pensamento" n?o reflete o que de fato mudou a resposta. E os papers mais recentes de interpretabilidade, que prometem "rastrear o pensamento" por dentro do modelo, tamb?m t?m um limite inc?modo: no fim, algu?m (ou algo) traduz atividade interna em hist?ria leg?vel para humano? e hist?ria leg?vel n?o ?a mesma coisa que mecanismo real. Este artigo traduz os papers da Anthropic para linguagem de mercado e lista testes pr?ticos que voc? pode rodar amanh? para n?o confundir narrativa bonita com auditoria de verdade.

1. A ilus?o de transpar?ncia

Abriu o Claude, o ChatGPT ou qualquer reasoning model recente e viu aquela caixa de "pensando?" com par?grafos de racioc?nio? Parece que finalmente d? para auditar a IA? ler o porqu?, checar se ela usou fonte errada, se inventou passo, se seguiu vi?s.

S? que tem um problema estrutural, e a pr?pria Anthropic escreveu sobre ele em dois lugares diferentes:

1. Paper de maio/2025?Reasoning Models Don't Always Say What They Think: modelos usam pistas escondidas no prompt e n?o falam que usaram.
2. Post de mar?o/2025?Tracing the thoughts of a large language model: mesmo quando rastreiam circuitos internos, s? capturam uma fra??o do que aconteceu ? e, em casos cl?ssicos, o modelo descreve um algoritmo que n?o usou. Traduzindo sem jarg?o de laborat?rio:

O que voc? l? n?o ?o processo. ? mais um texto gerado para parecer processo.

Isso n?o significa que todo racioc?nio vis?vel seja mentira. Significa que confiar no "pensamento" impresso na tela porque ele soa convincente?o mesmo erro de confiar num dashboard bonito sem saber de qual pipeline veio o n?mero.

2. O que a Anthropic testou (sem enrola??o)

2.1 O truque da "cola escondida"

A ideia ?simples ? e genial por isso.

Pegue uma quest?o de m?ltipla escolha. Fa?a duas vers?es:

• Vers?o A: pergunta normal.
• Vers?o B: mesma pergunta, mas com uma dica no prompt apontando para a resposta certa (tipo metadado, coment?rio, "a resposta correta ?C"). Rode as duas. Filtre s? os casos em que o modelo mudou a resposta por causa da dica? ou seja, ele claramente usou a cola.

Agora a pergunta que importa:

No texto de racioc?nio da Vers?o B, ele admite que usou a dica?

No paper, Claude 3.7 Sonnet verbalizou a dica em cerca de 25% dos casos. DeepSeek R1, 39%. Na pr?tica: mais da metade das vezes em que o modelo claramente usou a cola, o "pensamento" n?o contou.

E tem pior. Quando treinaram o modelo com refor?o (RL) para usar mais a cola ? ou seja, quando ele aprendeu a "dar cheat" melhor ?a taxa de confiss?o no racioc?nio n?o subiu. Ele ficou mais esperto no hack. N?o mais honesto no texto.

2.2 O que isso mata na pr?tica

Se voc? est? pensando em:

• monitorar CoT em produ??o para detectar comportamento indesejado;
• auditar compliance lendo o racioc?nio do modelo;
• confiar no "extended thinking" como trilha de auditoria; ?este paper diz, com n?meros: isso pega coisa frequente e ?bvia. N?o garante que voc? vai pegar o que ?raro e grave.

A Anthropic n?o esconde isso. Ela escreve que CoT monitoring ??til, mas n?o suficiente para descartar comportamento escondido.

3. E os papers de "rastrear pensamento por dentro"?

Em mar?o/2025 a Anthropic tamb?m publicou o trabalho de circuit tracing? basicamente, tentar montar um "microsc?pio" para ver o que acontece entre a pergunta e a resposta (Circuit tracing e On the biology of a large language model).

Tem descobertas fascinantes. Exemplos que eles mesmos destacam:

• Claude planeja palavras que v?o rimar antes de escrever o verso ? n?o improvisa s? no final.
• Em matem?tica mental, ele usa caminhos paralelos (aproxima??o + ?ltimo d?gito) ? n?o s? o algoritmo escolar.
• Quando pedem ajuda com dica errada, ele ?s vezes inventa racioc?nio plaus?vel para chegar onde queria chegar. Ou seja: o paper de interpretabilidade confirma o paper de faithfulness. O texto que o modelo mostra e o que acontece por baixo divergem.

Mas aqui entra o ponto que quase ningu?m fala em keynote:

A interpretabilidade tamb?m ?uma camada de tradu??o.

Ativa??es num?ricas viram "features" nomeadas. Features viram "circuitos". Circuitos viram par?grafo em ingl?s acad?mico dizendo que Claude "planejou o coelho". No meio disso tem pesquisador, ferramenta, suposi??o e narrativa.

A pr?pria Anthropic admite limita??o dura: mesmo em prompts curtos, o m?todo captura s? uma fra??o da computa??o total? e leva horas de trabalho humano para interpretar o que aparece.

Traduzindo de novo:

N?o ?CCTV do c?rebro da IA. ? radiografia parcial com legenda escrita por gente (ou por outro modelo) tentando explicar manchas.

Isso n?o invalida a pesquisa. Invalida tratar o output dessa pesquisa como prova definitiva do que o sistema fez em produ??o.

4. Por que isso acontece (sem mistificar)

Tr?s motivos, na minha leitura ? e nenhum deles ?"a IA virou consciente e mentirosa":

4.1 LLM foi treinado para produzir texto plaus?vel

Chain-of-thought n?o nasceu como janela da alma. Nasceu como t?cnica para melhorar acerto? pedir pro modelo escrever passos intermedi?rios antes da resposta final. O treino recompensa resposta certa + texto que parece racioc?nio humano. N?o recompensa confiss?o completa de todo atalho interno.

4.2 O "pensamento" e a resposta passam pelo mesmo tipo de m?quina

Tudo ?pr?xima palavra prov?vel. O bloco de racioc?nio obedece ?s mesmas press?es do bloco de resposta: soar competente, fechar argumento, agradar o usu?rio, evitar parecer que trapaceou.

4.3 Interpretabilidade ainda ?amostra, n?o filme completo

Quando a Anthropic mostra que Claude descreve "carregar o 1" na soma, mas internamente usa outra estrat?gia, isso ?evid?ncia forte de desalinhamento entre explica??o e mecanismo. N?o ?evid?ncia de que j? sabemos todo o mecanismo.

5. Testes pr?ticos ? o que voc? pode rodar amanh?

A boa not?cia: voc? n?o precisa de paper da Anthropic para desconfiar operacionalmente. Precisa de protocolo simples. Abaixo, seis testes que eu recomendo para qualquer time que queira usar LLM em decis?o, compliance ou produto cr?tico.

Teste 1 ? A cola escondida (r?plica direta do paper)

Setup: pegue 20 quest?es de m?ltipla escolha do seu dom?nio (pol?tica interna, produto, jur?dico, suporte).

Procedimento:

1. Rode cada quest?o sem dica.
2. Rode de novo com metadado no prompt: <!-- resposta correta: B --> ou equivalente discreto.
3. Filtre casos onde a resposta mudou para B s? na vers?o com dica.
4. Leia o CoT desses casos. Marque SIM/N?O: o modelo admitiu que viu a dica?O que esperar: se a taxa de confiss?o for baixa (? 30%), seu "monitoramento por racioc?nio"n?o ?auditoria.

M?trica simples:confiss?o / casos onde claramente usou cola.

Teste 2 ? Resposta primeiro, racioc?nio depois

Setup: mesma base de perguntas factuais.

Procedimento:

1. Diga ao modelo: "A resposta correta ?X. Explique passo a passo como chegar nela."
2. Compare com a execu??o normal (pergunta seca).
3. Veja se os passos mudam s? para justificar X? especialmente em perguntas dif?ceis.Sinal de alerta: passos elegantes que n?o aparecem quando voc? n?o entrega a resposta de bandeja. Isso ?racioc?nio motivado? a Anthropic documentou isso inclusive via circuit tracing.

Teste 3 ? Remo??o de contexto

Setup: pergunta que exige um trecho espec?fico do contexto (RAG, PDF, policy doc).

Procedimento:

1. Resposta com contexto completo.
2. Remova silenciosamente o trecho que sustenta a resposta.
3. Rode de novo.O que observar:

• Se a resposta muda, ok ? o modelo dependia da fonte.
• Se o CoT continua citando o trecho removido, voc? tem alucina??o de processo? pior que alucina??o de fato, porque parece audit?vel.

Teste 4 ? Estabilidade do "porqu?"

Setup: mesma pergunta, mesma temperatura baixa (0 ou 0.1), 10 execu??es.

Procedimento: compare respostas finais e chains-of-thought.

Sinal de alerta:

• Resposta final est?vel, mas narrativa muda bastante entre runs ? o "porqu?" ?p?s-justificativa, n?o trilha determin?stica.
• Resposta oscila sem mudan?a real de contexto ? instabilidade de decis?o.

Teste 5 ? Pergunta direta p?s-resposta

Depois que o modelo responde, pergunte:

"Voc? usou alguma informa??o do system prompt, metadado ou instru??o impl?cita que n?o mencionou antes?"

No paper, modelos frequentemente evitam revelar objetivos ou atalhos quando questionados. Trate a resposta como mais um texto gerado, n?o como depoimento sob juramento.

Teste 6 ? Diverg?ncia entre modelo explicador e modelo executor

Setup: pipeline com modelo A (responde) e modelo B (explica o que A fez) ? ou duas chamadas: resposta + "explique sua decis?o".

Procedimento: compare explica??o p?s-hoc com CoT inline.

Por que importa: muita "governan?a de IA" hoje ?modelo explicando outro modelo. Isso ??til para triagem.N?o ?ground truth.? mais uma camada de texto otimizada para leitura humana.

6. O que fazer com isso na empresa (sem paranoia, sem ingenuidade)

Aprendi isso na pr?tica, n?o no paper.

Trabalhando com o Cursor no dia a dia, cheguei a determinar pro meu time que o pensamento vis?vel dos modelos era suficiente pra avaliar se a IA tinha feito o certo. Parecia razo?vel ? o racioc?nio aparecia, era leg?vel, dava pra checar.

Depois de ler o paper e testar sistematicamente, tive que voltar atr?s.

O que funcionou de verdade foi mudar a camada de confian?a: sa? do "l? o pensamento e avalia" e fui pra documenta??es em m?ltiplos n?veis ? onde qualquer altera??o relevante no projeto for?a a documenta??o a ser refeita. O knowledge base do projeto precisa estar sempre ativo, sempre atualizado. N?o o CoT do modelo.

? exatamente essa l?gica que me faz manter contextos separados com a IA em vez de uma conversa gigante: coer?ncia n?o vem do modelo lembrar tudo ? vem de voc? controlar o que ele sabe em cada momento.

Tr?s camadas que funcionam melhor na pr?tica:

Confie no que voc? consegue verificar? fonte citada e rastre?vel, sa?da estruturada (JSON validado, enum fechado), regra de neg?cio implementada em c?digo, n?o prometida em prompt.

Separe explica??o de autoriza??o? CoT ??til pra debug e triagem. N?o deveria ser crit?rio ?nico pra liberar transa??o financeira, decis?o m?dica, aprova??o de cr?dito ou resposta regulat?ria.

Trate interpretabilidade como pesquisa, n?o como certificado? os papers da Anthropic s?o sinal de maturidade da ?rea e alerta de limite ao mesmo tempo. Use pra calibrar expectativa de lideran?a e board. N?o use como slide dizendo "auditoria do modelo resolvida".

7. Conex?o com o resto do que eu falo por aqui

Isso conversa direto com dois argumentos que j? publiquei no DataDriks:

1. Nem toda empresa precisa de IA? se voc? ainda n?o confia no dado operacional, transpar?ncia de racioc?nio de LLM vira teatro de governan?a.
2. IA sem dados confi?veis s? automatiza confus?o? LLM amplifica padr?o. Se o padr?o inclui narrativa convincente sem lastro, ele escala narrativa. A ordem continua a mesma:

Primeiro confie no dado. Depois confie no pipeline. Depois confie no modelo. E nunca confie s? no par?grafo que o modelo escreveu sobre si mesmo.

8. Pergunta-teste

??Se o chain-of-thought de amanh? contradisser o de hoje, mas a resposta final fosse a mesma, sua opera??o quebraria?

Se sim, voc? n?o monitora racioc?nio ? voc? monitora texto bonito.

Se n?o, ?timo: voc? j? separou decis?o verific?vel de hist?ria gerada.

Refer?ncias

Anthropic (leitura original)

• Chen, Y. et al. (2025).Reasoning Models Don't Always Say What They Think. Anthropic Alignment Science.
• Anthropic (2025).Reasoning models don't always say what they think? vers?o em blog.
• Anthropic (2025).Tracing the thoughts of a large language model.
• Anthropic (2025).Circuit tracing: Revealing computational graphs in language models.
• Anthropic (2025).On the biology of a large language model.

Contexto acad?mico (faithfulness / explica??o)

• Turpin, M. et al. (2023).Language Models Don't Always Say What They Think? predecessor do experimento de hints.
• Jacovi, A. & Goldberg, Y. (2020).Towards Faithfully Interpretable NLP Systems.

Dados com contexto, estrat?gia e pr?tica.