Como os vestígios de raciocínio de IA são extraídos: estudo de caso sobre destilação em duas etapas e isolamento de API

Introdução

A destilação de modelos de IA tem sido um dos tópicos mais sensíveis da indústria de LLMs. Quando um novo modelo de repente se torna muito mais poderoso, ou suas respostas começam a apresentar características comportamentais de modelos líderes, os pesquisadores naturalmente questionam se existe alguma forma de transferência de conhecimento ou raciocínio.

Um artigo de pesquisa recente, com 116 páginas, trouxe um tipo diferente de evidência para essa discussão. Os pesquisadores relataram que estados de raciocínio ocultos expostos em fluxos de trabalho específicos de API podem ser recuperados com a ajuda de outro modelo, nas condições estudadas. O mesmo estudo também levantou preocupações mais amplas de segurança: se trajetórias de raciocínio e caminhos de comportamento de agentes forem armazenados, compartilhados ou reproduzidos sem isolamento suficientemente rigoroso, eles podem conter informações sensíveis.

Essas descobertas devem ser vistas como um resultado de pesquisa, não como uma conclusão definitiva sobre destilação de IA. Os autores não afirmam que toda similaridade entre modelos prova a existência de destilação. Em vez disso, seus experimentos fornecem novas evidências sobre como trajetórias de raciocínio podem ser transferidas, reproduzidas e expostas.

Desvendando o Processo de Raciocínio do Opus Através de Duas Chamadas de API

Pesquisadores do MATS Research, ELLIS Institute Tübingen e outras instituições investigaram se o raciocínio geralmente oculto atrás de APIs pode ser recuperado.

A configuração experimental relatada usou um modelo mais forte para gerar estados de raciocínio e um modelo menor da mesma família de modelos para interpretá-los. No exemplo descrito no artigo de origem, o Opus 4.8 gera o raciocínio, enquanto o Haiku 4.5 é usado para expor o processo de raciocínio oculto.

A mesma ideia geral também foi relatada como aplicada a outros ecossistemas de modelos, incluindo os modelos da OpenAI e do Google. O ponto-chave não é que modelos menores inatamente conseguem ler os estados internos de todos os modelos mais fortes, mas que infraestruturas de API compartilhadas e formatos de estado de raciocínio compatíveis podem criar interfaces de interação inesperadas.

O processo descrito no artigo de origem é surpreendentemente simples.

Passo 1: Fazer o modelo mais forte resolver o problema

A primeira solicitação faz o Opus 4.8 resolver um problema, como encontrar o maior fator primo de 8.139.881.

De acordo com o artigo de origem, a resposta da API contém duas informações relevantes: um resumo de raciocínio processado e uma longa string aparentemente ilegível. O artigo identifica esta última como uma representação criptografada da cadeia de pensamento completa do modelo.

Passo 2: Reproduzir o bloco de raciocínio para outro modelo

O ataque relatado então coloca esse bloco criptografado em uma nova solicitação e troca o modelo para o Claude Haiku 4.5.

O prompt pede que o modelo menor continue e reproduza, dentro das tags ``, o raciocínio associado ao estado fornecido.

De acordo com os experimentos relatados, o Haiku conseguiu reproduzir o processo de raciocínio oculto. A trajetória recuperada supostamente inclui operações como divisão experimental, eliminação, fatoração e verificação.

O número de tokens relatado também é impressionante. O artigo de origem afirma que a quantidade de tokens de raciocínio extraídos se aproxima do número de tokens de pensamento efetivamente cobrados pela API, indicando que o material recuperado não é apenas um resumo curto.

Por que modelos menores conseguem ler os estados ocultos de modelos mais fortes?

Esta é a questão técnica central.

Modelos de raciocínio geralmente precisam executar trabalho em várias etapas. Em tarefas de agente, o modelo pode pesquisar na web, executar código, chamar ferramentas, verificar resultados e então continuar o raciocínio a partir do estado resultante.

Esse estado deve ser preservado entre chamadas de API.

Uma possível arquitetura é salvar o estado no lado do cliente, em vez de armazenar tudo nos servidores do provedor. O estado de raciocínio do modelo pode ser empacotado em um bloco criptografado, retornado ao cliente e depois fornecido novamente em solicitações subsequentes. O servidor pode descriptografar o bloco, permitindo que o modelo continue de onde parou.

Esse design pode reduzir a necessidade de armazenamento no servidor e suportar fluxos de trabalho focados em privacidade. Mas também cria um limite de segurança que deve ser implementado com cuidado.

O problema relatado é que os blocos de raciocínio criptografados nem sempre são suficientemente vinculados ao seu contexto original. Nas condições estudadas pelos pesquisadores, isso gerou três formas de interoperabilidade:

1. Entre sessões: Blocos de raciocínio de sessões anteriores podem ser reutilizados em novas sessões.
2. Entre usuários: Blocos de raciocínio expostos publicamente podem ser submetidos por outro usuário.
3. Entre modelos: Blocos de raciocínio gerados por modelos mais fortes podem ser processados por outros modelos do mesmo provedor.

Esses comportamentos podem ter motivações de engenharia legítimas. Troca de modelos, sistemas de fallback, compressão de contexto e fluxos de trabalho de agentes de longa duração se beneficiam de estados reutilizáveis.

O problema é que, se o estado não for estritamente limitado ao usuário original, sessão, modelo e contexto autorizado, essa mesma interoperabilidade pode se tornar uma superfície de ataque.

Decodificadores de baixo custo podem mudar a economia

Outra descoberta importante envolve custos.

O artigo de origem estima que, com base nas suposições de preços da API do Haiku 4.5 citadas, quando cada trajetória contém aproximadamente 12.000 tokens de entrada e saída, o custo nominal para decodificar 10.000 trajetórias de raciocínio é de cerca de 720 dólares.

Isso muda a economia da extração de trajetórias de raciocínio. Se modelos caros são usados apenas para gerar os estados brutos, enquanto modelos mais baratos executam a decodificação, ataques que exigiriam acesso caro a modelos de fronteira podem se tornar mais práticos.

Isso é especialmente importante para provedores de modelos, porque trajetórias de raciocínio podem representar uma parte significativa do valor criado durante o processo de raciocínio. Se essas trajetórias podem ser recuperadas e reutilizadas fora de seus limites pretendidos, elas podem se tornar uma nova forma de vazamento de propriedade intelectual do modelo.

O mistério da destilação ganha as primeiras evidências

Uma vez que os pesquisadores obtiveram trajetórias de raciocínio mais completas, eles as usaram para explorar uma questão mais ampla: os padrões de raciocínio específicos de um modelo podem revelar evidências de destilação?

Os pesquisadores realizaram dois experimentos.

Experimento 1: Reproduzindo tokens de raciocínio consecutivos

No primeiro experimento, os pesquisadores selecionaram 16 tokens consecutivos de uma trajetória de raciocínio do Opus e pediram a vários modelos que continuassem resolvendo o mesmo problema.

A ideia é simples: se um modelo consegue reproduzir exatamente a mesma continuação com mais facilidade do que outro modelo, isso pode indicar que ele aprendeu algo anormalmente próximo aos padrões de raciocínio do modelo de origem.

As diferenças relatadas foram grandes.

Um modelo teoricamente precisaria de cerca de 10 bilhões de tentativas para reproduzir a frase selecionada do Opus por acaso. Os outros dois modelos foram estimados em cerca de 100 trilhões e 1.000 trilhões de tentativas, respectivamente.

Em outras palavras, na comparação relatada, um modelo reproduziu o mesmo padrão de raciocínio do Opus com facilidade cerca de um milhão de vezes maior do que os modelos alternativos.

Experimento 2: Injetando apenas o início do raciocínio

O segundo experimento forneceu a outro modelo apenas o início da trajetória de raciocínio do Opus e observou como sua resposta se desenvolvia.

Em um exemplo, apenas cinco tokens foram fornecidos.

Segundo o relato, mesmo uma quantidade tão pequena de informação fez a formulação, a resposta e o ritmo de resolução de problemas do modelo-alvo se deslocarem em direção à trajetória do Opus. O escore de similaridade relatado subiu de 0,17 para 0,33.

Os pesquisadores então estenderam o teste para 30 perguntas. De acordo com o artigo de origem, 29 delas mostraram o mesmo efeito geral: dar ao modelo um ponto de partida no estilo Opus tornava as respostas subsequentes mais parecidas com o Opus do que quando se usava um ponto de partida de outro modelo.

Isso prova destilação?

Apenas isso não é suficiente.

O artigo de origem enfatiza que os pesquisadores não declararam o problema da destilação resolvido. A similaridade em saídas ou padrões de raciocínio é uma evidência que merece investigação, mas não prova automaticamente que um modelo foi treinado diretamente com dados privados de raciocínio de outro modelo.

O que esses experimentos fornecem é uma maneira mais concreta de estudar características de raciocínio específicas de modelos, porque agora é possível analisar trajetórias de raciocínio mais longas.

GitHub e trajetórias públicas de agentes criam outro problema de segurança

Esta questão não se limita às empresas de modelos.

Segundo o relato, os pesquisadores coletaram 6.708 trajetórias de agentes publicamente disponíveis do GitHub e do Hugging Face e reconstruíram 315.320 blocos de raciocínio.

Entre essas trajetórias, 328 continham pelo menos um item sensível, representando cerca de 4,9% das trajetórias coletadas.

O artigo de origem relata que os pesquisadores encontraram:

• 62 chaves de API
• 33 senhas
• 24 tokens de acesso
• 7 chaves privadas
• 30 endereços de e-mail pessoais
• 130 nomes pessoais
• 36 endereços postais

Este é um alerta prático para desenvolvedores que constroem sistemas de agentes.

Uma trajetória pode parecer uma saída de depuração comum, mas pode conter parâmetros de ferramentas, variáveis de ambiente, credenciais, informações pessoais, URLs internos ou outros dados que nunca deveriam fazer parte de conjuntos de treinamento públicos ou repositórios.

Se trajetórias de agentes forem registradas, compartilhadas ou publicadas, os desenvolvedores devem tratá-las como dados potencialmente sensíveis, e não como logs de aplicação comuns.

Perguntas Frequentes

O que é uma trajetória de raciocínio de IA?

Uma trajetória de raciocínio de IA é um estado intermediário ou saída relacionada ao raciocínio gerada pelo modelo durante a execução de uma tarefa. Dependendo do design da API, o usuário pode receber um resumo, um estado de raciocínio estruturado ou uma representação criptografada, em vez do cálculo interno bruto do modelo.

O que é destilação de modelo de IA?

Destilação de modelo é uma técnica que permite que um modelo menor ou diferente aprenda com o comportamento de um modelo maior ou mais forte. É amplamente usada para transferir capacidades úteis para modelos que são mais baratos de operar ou mais rápidos.

Recuperar trajetórias de raciocínio prova que um modelo passou por destilação?

Não.

Restaurar trilhas de raciocínio pode fornecer evidências de similaridade entre modelos, mas por si só não determina como um modelo foi treinado. Para fazer uma atribuição mais sólida, são necessárias fontes de dados de treinamento, experimentos controlados e outras evidências.

Por que estados de inferência criptografados representam um risco de segurança?

A criptografia protege o conteúdo do bloco de estado, mas não garante automaticamente que esse bloco esteja vinculado ao usuário, sessão, modelo ou contexto de autorização correto. Se esses limites forem frágeis, um estado criptografado válido pode ser reutilizado em um contexto não intencional.

Por que trilhas de agentes são sensíveis?

As trilhas de agentes podem conter chamadas de ferramentas, prompts, variáveis de ambiente, credenciais de API, dados pessoais, caminhos internos de arquivos e outras informações coletadas durante a execução. Portanto, publicá-las sem a devida sanitização pode expor informações confidenciais, mesmo que o aplicativo original pareça inofensivo.

Desenvolvedores devem publicar trilhas brutas de agentes de IA no GitHub?

A menos que tenham sido cuidadosamente revisadas e sanitizadas, trilhas brutas não devem ser publicadas. Antes de compartilhar trilhas, é necessário remover informações confidenciais, tokens, credenciais, dados pessoais, URLs privadas e dados proprietários.

Modelos menores sempre conseguem decodificar o raciocínio de modelos maiores?

Não. Os resultados relatados dependem do comportamento específico da API, da família de modelos, do formato do estado de inferência e das condições experimentais. Isso não deve ser interpretado como uma regra universal de que modelos menores sempre conseguem recuperar o raciocínio de modelos maiores.

Ferramentas relacionadas

• Documentação da API Anthropic: Documentação oficial para desenvolvimento com a API e modelos Claude.
• Documentação da plataforma OpenAI: Documentação oficial da API e integração de modelos OpenAI.
• Documentação da API Google Gemini: Documentação oficial para criar com modelos Gemini.
• GitHub: Plataforma comum para visualizar e compartilhar código-fonte e trilhas de agentes.
• Hugging Face: Plataforma principal para modelos, conjuntos de dados e recursos de pesquisa em aprendizado de máquina.

Links relacionados

• Documentação Anthropic: Documentação oficial da API e desenvolvedores Claude.
• Documentação OpenAI: Documentação oficial da API OpenAI.
• Google AI para desenvolvedores: Recursos oficiais para desenvolvedores Gemini e Google AI.
• GitHub: Plataforma de hospedagem e colaboração de código-fonte relacionada a trilhas públicas de agentes.
• [Hugging

Face](https://huggingface.co/): Centro de modelos e conjuntos de dados citado no artigo original.

• Referência de origem na plataforma X: Postagem de referência citada no artigo original.

Resumo

A pesquisa relatada destaca um limite de segurança sutil, porém importante, em torno dos estados de inferência da IA. Se blocos de raciocínio puderem ser reutilizados entre sessões, usuários ou modelos sem vínculos de autorização rigorosos, um recurso projetado para apoiar o gerenciamento eficiente de estados pode se transformar em um canal inesperado de extração.

Essa pesquisa também oferece um novo método para investigar similaridades entre modelos e possíveis destilação (distillation), examinando trilhas de raciocínio mais longas em vez de depender apenas das respostas finais. Ao mesmo tempo, essas descobertas não são uma conclusão definitiva sobre se qualquer modelo específico foi treinado por meio de destilação não autorizada.

Para desenvolvedores, a lição mais imediata é prática: trate estados de inferência e trilhas de agentes como dados sensíveis e aplique rigorosamente a vinculação de identidade, sessão, modelo e limites de acesso antes de armazenar ou compartilhar.