A segurança de IA está deixando de ser uma preocupação periférica nos roteiros de produtos para se tornar central. Agentes de codificação e ...
A segurança da IA está passando da periferia do roteiro de produtos para o centro.
Agentes de codificação e assistentes autônomos agora podem inspecionar arquivos, chamar ferramentas, executar comandos, navegar por sistemas externos e concluir fluxos de trabalho de longa duração. Essas capacidades os tornam úteis, mas também alteram a natureza do risco. Respostas prejudiciais não são mais a única preocupação. Um agente pode realizar ações perigosas antes mesmo que um humano perceba.
O relatório original começa com incidentes de segurança recentes envolvendo Claude Code e OpenClaw, citando avisos de risco emitidos pela plataforma de compartilhamento de informações sobre ameaças e vulnerabilidades de segurança cibernética do Ministério da Indústria e Tecnologia da Informação da China, bem como vulnerabilidades de alto risco divulgadas anteriormente no ecossistema OpenClaw.
Esses incidentes apontam para um padrão mais amplo: produtos de agentes frequentemente passam rapidamente de um lançamento impressionante para uma adoção generalizada, apenas para enfrentar injeção de prompt, abuso de permissões, envenenamento de memória, execução maliciosa de ferramentas, vazamento de segredos e outros riscos que a moderação de conteúdo tradicional não consegue abordar.
Para isso, o Laboratório de Segurança de IA da Ant Group lançou duas famílias de barreiras de proteção de código aberto:
A mesma linha de pesquisa também inclui AgentAegis (anteriormente chamado de ClawAegis em alguns relatórios), um plugin de segurança em tempo de execução para agentes estilo OpenClaw.
Juntos, esses projetos refletem uma mudança de corrigir vulnerabilidades isoladas repetidamente para construir uma infraestrutura de segurança reutilizável em torno de todo o fluxo de trabalho do agente.
Os sistemas tradicionais de segurança de IA eram usados principalmente para verificar o que o modelo dizia.
O padrão básico era simples:
Essa abordagem ainda é necessária, mas não é mais suficiente.
Agentes modernos fazem muito mais do que gerar texto. Eles podem:
Portanto, o limite de segurança deve se expandir do que o modelo diz para o que o agente pretende acessar e quais operações executa.
Uma solicitação pode parecer inofensiva no nível do texto, mas depois levar a uma chamada de ferramenta perigosa. Uma página da web pode conter instruções ocultas que redirecionam o agente. Uma habilidade comprometida pode modificar arquivos ou vazar credenciais. Uma memória envenenada pode afetar sessões subsequentes muito depois da interação original terminar.
Estes são riscos no nível do comportamento e do ciclo de vida, não apenas riscos no nível do conteúdo.
Vulnerabilidades conhecidas geralmente podem ser corrigidas com patches direcionados. O problema mais complicado é que o ambiente do agente está em constante mudança.
Novas ferramentas são integradas o tempo todo. Permissões são ajustadas com frequência. As políticas de negócios variam entre departamentos e regiões. Um comportamento que era seguro no passado pode se tornar inaceitável em um novo fluxo de trabalho. Os atacantes também se adaptam rapidamente quando as defesas se tornam previsíveis.
As estratégias baseadas em patches têm várias limitações:
Portanto, a indústria precisa de barreiras de proteção que possam definir limites de segurança, adaptar-se a novas regras e interceptar riscos antes que o agente execute ações críticas.
O SingGuard-NSFA e o SingGuard protegem diferentes partes dos sistemas de IA.
| Estrutura | Foco Principal | Tipo de Entrada | Principal Modelo de Política | Modo de Raciocínio |
|---|---|---|---|---|
| SingGuard-NSFA | Comportamento do agente e ameaças operacionais | Solicitações de texto e respostas do modelo | Taxonomia de risco de agente NSFA com cabeçalhos de classificação extensíveis | Raciocínio generativo mais classificação em tempo real |
| SingGuard | Conteúdo multimodal e conformidade com políticas | Consultas e respostas de texto, imagem, texto-imagem e multilíngues | Políticas de linguagem natural fornecidas em tempo de execução | Raciocínio baseado em políticas rápido, híbrido e lento |
| AgentAegis | Proteção em tempo de execução do ciclo de vida do agente | Habilidades, memória, prompts, ferramentas, comandos e saídas | Políticas de execução e observação configuráveis | Defesa em tempo de execução orientada a eventos |
Essas estruturas compartilham vários objetivos de design:
O SingGuard-NSFA é projetado especificamente para lidar com os riscos de agentes autônomos.
O projeto lançou quatro tamanhos de modelo:
Todas as quatro variantes suportam dois modos de raciocínio: raciocínio generativo e classificação em tempo real.
A estrutura é construída sobre uma taxonomia estruturada baseada nos objetivos de segurança clássicos: confidencialidade, integridade e disponibilidade.
O repositório oficial organiza os riscos em:
Cinco domínios de consulta cobrem:
Dois domínios de resposta cobrem:
Este sistema de classificação é validado de forma cruzada com três diretrizes OWASP e é projetado para riscos detectáveis em texto de rodada única, mantendo a barreira de proteção sem estado e adequada para interceptação de baixa latência.
O SingGuard-NSFA inicia a primeira verificação de segurança antes de o agente agir.
Solicitações maliciosas ou perigosas devem ser interceptadas no estágio de consulta, impedindo que o modelo crie planos ou chame ferramentas. A verificação do lado da resposta atua como uma segunda linha de defesa para evitar instruções, comandos, códigos ou informações confidenciais perigosas que o modelo ainda possa produzir.
O fluxo de implantação simplificado é o seguinte:
Solicitação do Usuário
↓
Verificação de Consulta do SingGuard-NSFA
↓
Planejamento do Agente e Seleção de Ferramentas
↓
Resposta do Modelo ou Ferramenta
↓
Verificação de Resposta do SingGuard-NSFA
↓
Permitir / Bloquear / Escalar / Auditar
A própria barreira de proteção não é um sistema de permissão completo. Agentes em produção ainda precisam ser combinados com mecanismos como isolamento do sistema operacional, credenciais de privilégio mínimo, lista de permissões de ferramentas, portões de aprovação e monitoramento de execução.
O SingGuard-NSFA divide a verificação de segurança em dois modos complementares.
O modo generativo produz explicações estruturadas com base na definição NSFA.
Adequado para:
Os auditores podem ver a categoria de risco e a análise por trás da decisão, em vez de apenas um rótulo binário.
O modo de classificação anexa cabeçalhos de domínio leves a uma rede neural principal congelada.
Sem a necessidade de gerar explicações palavra por palavra, uma única passagem direta produz pontuações de confiança para cada domínio de risco. Relatórios oficiais indicam que a latência desse modo é de aproximadamente 45–57 ms/amostra.
Este classificador é mais adequado para:
Os dois modos não são mutuamente exclusivos. Sistemas de produção podem usar a classificação rápida para tráfego normal, direcionando casos incertos, de alto risco ou que exigem auditoria para o caminho de geração.
Uma das principais vantagens de design é que, após congelar a rede neural principal, os cabeçalhos de classificação podem ser treinados de forma independente.
Quando novos riscos surgem, a equipe não precisa retreinar todo o modelo de barreira; basta treinar um novo cabeçalho leve e acoplá-lo à rede neural principal existente.
O repositório oficial relata que expandir de 5 para 50.000 cabeçalhos adiciona apenas cerca de 9 ms de latência, ainda abaixo do limite alvo de 100 ms.
A abordagem de expansão baseada em cabeçalhos também se aplica a outros modelos de barreira. Em experimentos do projeto, ao anexar cabeçalhos treinados com NSFA ao Llama Guard 3, o F1 do lado da consulta melhorou em 17,6 pontos percentuais.
Estes são resultados da equipe de pesquisa do projeto: o desempenho em implantação dependerá de hardware, loteamento, comprimento da entrada, método de implementação e distribuição do tráfego real.
O repositório oficial SingGuard-NSFA descreve três conjuntos de benchmark:
| Benchmark | Amostras | Cobertura |
|---|---|---|
| NSFA-Query-Multilingual | 63.431 | Riscos do lado da consulta em 133 idiomas |
| NSFA-Response-Multilingual | 29.972 | Riscos do lado da resposta em 133 idiomas |
| NSFA-CrossSource-Query | 3.435 | Amostras independentes adaptadas de cinco conjuntos de dados públicos de segurança para agentes |
O conjunto de dados CrossSource é proveniente de AgentDojo, InjecAgent, AgentHarm, AgentDyn e ATBench.
O projeto relata que todas as quatro escalas de modelo superaram 94% de F1 em seu benchmark multilíngue construído especificamente e são 6 a 12 pontos percentuais absolutos de F1 melhores que a alternativa mais forte testada.
O menor modelo de 0,8B é posicionado como uma opção compacta para implantação, enquanto o modelo de 9B visa maior precisão e generalização.
Esses números são úteis como referência, mas as equipes ainda devem testar os modelos em suas próprias ferramentas de agente, idiomas, permissões e padrões de ameaça. Os benchmarks não representam completamente o ambiente de tempo de execução empresarial.
O SingGuard aborda um problema diferente.
Riscos de segurança podem aparecer em:
Muitas barreiras dependem de taxonomias fixas durante o treinamento. Quando as políticas ativas mudam, o modelo pode precisar de ajuste fino ou continuar aplicando definições obsoletas.
O SingGuard trata a política de segurança como uma entrada em tempo de inferência.
O repositório público atualmente lista checkpoints de modelos de 2B, 4B e 8B. O artigo original também menciona uma variante de 0,8B, mas esta versão não está incluída na tabela de modelos públicos avaliados nesta versão.
A implantação pode fornecer regras em linguagem natural para definir os limites de segurança ativos.
Por exemplo, uma aplicação financeira pode exigir um conjunto de regras, enquanto um produto de saúde, plataforma social ou assistente interno empresarial pode precisar de outro conjunto.
O SingGuard avalia o conteúdo com base nas regras fornecidas no momento, não apenas na taxonomia fixa durante o treinamento.
Sua saída inclui:
Isso permite que as empresas alterem as políticas operacionais sem precisar retreinar o modelo a cada mudança.
O SingGuard suporta entrada multimodal, através de política adaptativa e raciocínio dinâmico, julga a segurança do conteúdo com base nas regras atuais, não na classificação fixa, e gera julgamento de segurança, regras acionadas e raciocínio opcional de base política, permitindo que os negócios ajustem as políticas operacionais de acordo com as mudanças nos conjuntos de regras, sem precisar retreinar o modelo a cada vez.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/7170e1dc-e122-446b-9f82-54cd01c86a36-14448bec-38df-4e34-8c6e-56f2f0fdb786.png)
O SingGuard divide a inferência em três modos.
Descreva sua ideia uma vez e o We0 AI pode gerar um site de apresentacao, paginas e CMS, alem de ajudar a atrair clientes e trafego apos o lancamento.
Uma geração completa de projetos para registro gratuito
Melhor para experimentar um fluxo de geração completo e ver rapidamente um primeiro rascunho do projeto.
O modo rápido gera julgamentos concisos, adequado para auditoria de baixa latência e triagem de alto rendimento.
É adequado para casos onde a situação é clara e o sistema não precisa de explicações longas.
O modo lento analisa as regras uma a uma e retorna o raciocínio baseado na política.
É mais adequado para:
O modo misto começa com um julgamento rápido.
Se o resultado for válido e a confiança for suficientemente alta, o modelo termina antecipadamente. Se a situação for incerta, ele prossegue para um processo de raciocínio de política mais aprofundado e pode corrigir a decisão inicial.
O objetivo é evitar o custo total de raciocínio para cada requisição, mantendo um caminho de raciocínio mais profundo para casos complexos.
Em ambientes de produção, as políticas podem conter dezenas de regras ativas.
Avaliar cada regra independentemente melhora o isolamento e a precisão, mas resulta em codificação repetida das mesmas imagens, prompts de sistema e conteúdo do usuário, levando a um custo de latência linear.
O SingGuard introduz a Máscara de Isolamento de Regras, ou RI-Mask.
Este método:
O artigo relata que, em um ambiente de implantação com 30 regras ativas, o SingGuard-2B obteve uma aceleração de mais de cinco vezes. A aceleração específica depende do comprimento do prefixo compartilhado, comprimento da regra, comprimento da saída, tamanho do modelo e memória GPU disponível.
RI-Mask é particularmente importante para auditoria multimodal, pois os tokens de imagem geralmente tornam a codificação repetida do prefixo compartilhado cara.
O repositório público do SingGuard recomenda usar as versões atuais do Transformers, Accelerate e PyTorch.
pip install -U transformers accelerate torch
Abaixo está uma versão simplificada do modo de inferência oficial:
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_name = "inclusionAI/Sing-Guard-8b"
processor = AutoProcessor.from_pretrained(
model_name,
trust_remote_code=True,
)
model =
torch.no_grad():
generated_ids = model.generate(
**inputs,
max_new_tokens=1024,
do_sample=False,
)
generated_ids_trimmed = [
output_ids[len(input_ids):]
for input_ids, output_ids in zip(inputs.input_ids, generated_ids)
]
result = processor.batch_decode(
generated_ids_trimmed,
skip_special_tokens=True,
clean_up_tokenization_spaces=False,
)[0]
print(result)
Antes de utilizar este exemplo em produção, consulte o cartão do modelo, a licença, os requisitos de hardware, a configuração de código remoto, o formato do prompt e o analisador de saída.
O artigo original posiciona duas famílias de barreiras de proteção no contexto de longo prazo do trabalho de segurança de IA do Ant Group. No início de 2026, o Ant Group e pesquisadores da Universidade de Tsinghua estudaram conjuntamente vulnerabilidades críticas no ecossistema OpenClaw. Posteriormente, um projeto de segurança em tempo de execução foi publicado sob os nomes ClawAegis e AgentAegis em diferentes materiais públicos.
Atualmente, o repositório oficial de código se chama AgentAegis.
Trata-se de um plugin leve que protege agentes no estilo OpenClaw nos seguintes cinco níveis:
O AgentAegis inclui os seguintes controles:
Cada defesa pode ser configurada nos seguintes modos:
observerenforceoffIsso suporta implantação progressiva. A equipe pode primeiro registrar o que o plugin interceptaria, estudar os falsos positivos e, em seguida, aplicar a execução forçada em políticas de alta confiança.
O repositório oficial de código oferece o seguinte processo de instalação:
git clone https://github.com/antgroup/agent-aegis
openclaw plugins install ./agent-aegis
Para uma primeira implantação cautelosa, use o modo de observação:
{
"allDefensesEnabled": true,
"defaultBlockingMode": "observe"
}
Defesas de alta confiança podem então ser alteradas para execução forçada:
{
"allDefensesEnabled": true,
"defaultBlockingMode": "observe",
"selfProtectionMode": "enforce",
"commandBlockMode": "enforce",
"memoryGuardMode": "enforce",
"exfiltrationGuardMode": "enforce"
}
Antes de bloquear fluxos de trabalho reais, teste a configuração em um ambiente diferente do de produção.
SingGuard-NSFA, SingGuard e AgentAegis operam em diferentes níveis.
Texto ou multimodal
Solicitação
↓
SingGuard / SingGuard-NSFA
Verificação de políticas e riscos
↓
Planejamento e memória do agente
↓
Controle do ciclo de vida do AgentAegis
↓
Validação de chamada de ferramenta
↓
Execução em sandbox
↓
Verificação de resultado da ferramenta
↓
Verificação de resposta do SingGuard / SingGuard-NSFA
↓
Usuário, auditor ou fila de escalonamento
Uma implantação completa ainda requer infraestrutura além desses projetos:
Modelos de barreira de proteção não devem ser considerados a única fronteira de segurança.
O texto original descreve o caminho de desenvolvimento do Ant Group em três etapas:
Esse progresso reflete uma mudança mais ampla no campo da segurança de IA.
A pesquisa de vulnerabilidades individuais ainda é importante. Ela revela padrões específicos de falha e força os fornecedores a corrigir comportamentos perigosos.
Em seguida, os plugins em tempo de execução transformam essas lições em controles em torno do ciclo de vida de um produto específico.
A estrutura genérica de barreira de proteção vai além, fornecendo taxonomia, referências, famílias de modelos, padrões de raciocínio e mecanismos de extensão, permitindo que outros produtos reutilizem.
O objetivo não é eliminar a pesquisa de vulnerabilidades, mas transformar lições recorrentes em infraestrutura que reduza o impacto da próxima ameaça desconhecida.
Números bons em referências não tornam automaticamente uma barreira de proteção adequada ao ambiente de produção de cada organização.
Antes da implantação, a equipe deve avaliar:
SingGuard-NSFA é uma estrutura de barreira de proteção de código aberto voltada para riscos de agentes autônomos, detectando injeção de prompts, solicitações de código malicioso, roubo de informações sensíveis, uso perigoso de ferramentas, abuso de recursos, respostas prejudiciais e vazamento de segredos.
O projeto oficial lista quatro modelos: 0.8B, 2B, 4B e 9B. Cada escala suporta raciocínio generativo e classificação em tempo real.
Relatórios do projeto indicam que, no modo de classificação discriminativa, cada amostra leva cerca de 45 a 57 milissegundos. A latência real depende do hardware, framework, comprimento da entrada, lote e configuração de implantação.
O SingGuard-NSFA foca em ameaças operacionais geradas por agentes autônomos. Já o SingGuard é uma barreira de proteção multimodal que avalia texto, imagens, entradas combinadas e respostas do modelo com base em políticas de linguagem natural fornecidas em tempo de execução.
O SingGuard aceita políticas ativas como entrada em tempo de execução, permitindo alterar ou adicionar regras em linguagem natural sem retreinar o modelo completo durante a implantação. No entanto, novas regras ainda precisam ser testadas para garantir a interpretação correta pelo modelo.
RI-Mask é a máscara de atenção de isolamento de regras do SingGuard, usada para avaliar múltiplas políticas em paralelo. Ela compartilha um prefixo de texto e imagem, evitando que ramos de regras interfiram entre si.
Na cobertura da mídia, ambos os nomes são usados para o projeto de segurança OpenClaw relacionado. Atualmente, o repositório oficial do Ant Group é nomeado AgentAegis, fornecendo cinco camadas de proteção em tempo de execução para agentes estilo OpenClaw.
Não. Barreiras baseadas em modelo devem atuar como uma camada em um sistema de defesa em profundidade. Agentes em ambiente de produção ainda precisam do princípio do menor privilégio, isolamento em sandbox, restrições de rede, mecanismos de aprovação, registro de logs e processos de resposta a incidentes.
A segurança de agentes não pode parar na detecção da saída do modelo. Uma vez que sistemas de IA podem chamar ferramentas, escrever arquivos, executar código, armazenar memória e agir autonomamente sem supervisão contínua, o perímetro de segurança deve cobrir toda a cadeia, da solicitação à execução.
O SingGuard-NSFA lida com ameaças de agentes em tempo de execução por meio de um sistema de classificação estruturado, raciocínio generativo interpretável, mecanismo de classificação de baixa latência e cabeçotes de detecção extensíveis. O SingGuard foca em conteúdo multimodal e políticas que podem ser alteradas em tempo de execução. O AgentAegis adiciona mecanismos de controle de ciclo de vida completo em torno de habilidades, memória, intenção, ferramentas, comandos e saídas.
Esses projetos não pretendem substituir métodos tradicionais de engenharia de segurança. Seu valor está em transformar riscos recorrentes de agentes em camadas de detecção, política e execução reutilizáveis.
A próxima fase da segurança de IA não será medida por quem consegue corrigir o incidente mais recente mais rápido, mas pela capacidade da equipe de construir uma fronteira de segurança dinâmica e adaptativa antes que a próxima ação ocorra.
Comece com uma frase e tenha um site completo em minutos.
