Introdução
A Open Secure AI Alliance, que já conta com mais de 120 organizações membros, está desenvolvendo um novo conjunto de diretrizes para fortalecer a segurança cibernética de agentes de IA. O anúncio coincide com o início da conferência anual Black Hat em Las Vegas, um dos principais eventos globais de segurança da informação. A iniciativa representa um movimento significativo da indústria para estabelecer padrões de segurança antes que regulamentações governamentais mais rígidas sejam impostas.
As diretrizes propostas, conhecidas como SAFE (Shared AI Findings Exchange), visam transformar incidentes de segurança cibernética envolvendo agentes de IA em proteção compartilhada para todo o ecossistema. Entre os membros da aliança estão gigantes como NVIDIA, Cisco, CrowdStrike, Hugging Face, Red Hat, Microsoft, Amazon, Capital One e Visa, demonstrando o amplo apoio da indústria a essa iniciativa de autorregulação.
O que são as diretrizes SAFE
O framework SAFE propõe um sistema estruturado para coletar e analisar confidencialmente incidentes e quase-incidentes envolvendo agentes de IA. As diretrizes incluem propostas para informar as partes afetadas, identificar falhas recorrentes de controle e publicar recomendações operacionais baseadas em evidências que reduzam riscos sistêmicos.
A Linux Foundation publicou um Request for Comments (RFC) detalhando essas diretrizes, que estão sendo elaboradas por um grupo de trabalho específico dentro da Open Secure AI Alliance. O objetivo é criar um mecanismo similar ao que já existe em outras áreas de segurança cibernética, onde o compartilhamento de inteligência sobre ameaças se torna um multiplicador de força para a defesa coletiva.
A necessidade dessas diretrizes se torna ainda mais evidente quando consideramos que agentes de IA não são apenas modelos isolados. Eles são sistemas complexos que incluem controles de identidade, harnesses, guardrails, logs e sistemas de avaliação. Proteger esses sistemas requer mais do que simplesmente escanear vulnerabilidades – exige uma abordagem em camadas e colaborativa.
Contribuições tecnológicas dos membros da aliança
Os membros da Open Secure AI Alliance estão contribuindo com ferramentas open source que cobrem toda a pilha de segurança de IA. A NVIDIA, por exemplo, está disponibilizando o NVIDIA Labs Object-Oriented Agent (NOOA), um harness de pesquisa que facilita testar, rastrear, auditar e governar o comportamento de agentes. O NVIDIA OpenShell funciona como um runtime que restringe o que um agente pode ver, tocar e fazer, aplicando controles de segurança e privacidade no nível do agente.
A empresa também está compartilhando suas famílias de modelos abertos como Nemotron para IA agêntica, Cosmos para IA física, Isaac GR00T para robótica e BioNeMo para saúde e ciências da vida. Todos esses modelos são disponibilizados com pesos abertos, datasets e técnicas de treinamento transparentes. Complementando essas ofertas, a NVIDIA oferece verified agent skills – conjuntos de instruções portáteis que são catalogados, escaneados para riscos como prompt injection e assinados criptograficamente.
Outras contribuições significativas incluem o Garak, scanner de vulnerabilidades LLM open source da NVIDIA que permite às equipes de segurança verificar modelos para vazamentos de dados, prompt injections e cenários de jailbreak antes do deployment. As ferramentas NeMo Guardrails, NeMo Anonymizer e NeMo Safe Synthesizer ajudam a aplicar políticas de segurança, proteger dados sensíveis e gerar dados sintéticos seguros para privacidade.
Identidade e permissões: controlando quem pode agir
Um dos pilares fundamentais da segurança de agentes de IA é o controle de identidade e acesso. A Okta está desenvolvendo implementações de referência para identidade e acesso de agentes, demonstrando como o protocolo aberto Cross App Access (XAA) permite que agentes de IA operando em ambientes sandbox OpenShell se conectem com segurança a aplicações empresariais.
A Palo Alto Networks contribuiu com ferramentas open source de sua plataforma de segurança de identidade de próxima geração, Idira, incluindo Agent Guard e Agent Watch. Essas ferramentas ajudam desenvolvedores e construtores de agentes a aplicar melhores práticas de segurança de identidade, como recuperar secrets de forma segura para workflows agênticos.
A Red Hat lançou o projeto asago, que pega os requisitos de governança personalizados de uma organização – como aqueles referenciados no NIST, OWASP e na Lei de IA da União Europeia – e os mapeia diretamente para o que os agentes têm permissão para fazer em runtime, com uma trilha de auditoria única desde a cláusula de política até o controle ao vivo.
Harnesses e ferramentas: orquestrando o trabalho de segurança
Os agentes de IA são mais do que apenas modelos – eles utilizam sistemas de modelos abertos e fechados, harnesses, ferramentas e runtimes para realizar trabalho. Se o modelo é o cérebro do agente, o harness é o corpo que toma ação usando ferramentas. O harness ao redor do modelo age como um orquestrador que determina como os agentes são implantados, coordenados e restringidos.
A Amazon, que se tornou um dos mais novos membros da aliança, contribui com o Strands Agents, um toolkit open source para construir agentes de IA que é aberto em todas as camadas, dando aos desenvolvedores visibilidade total do comportamento do agente. A empresa também contribui com Cedar, uma linguagem de autorização open source que aplica limites determinísticos e verificáveis sobre o que os agentes de IA têm permissão para fazer.
Outras contribuições notáveis incluem o VulnHunter da Capital One para segurança de código de IA agêntica, o Vulnerability Discovery Harness da Cloudflare como uma skill open source, e várias ferramentas do Microsoft AI Red Team, incluindo PyRIT (Python Risk Identification toolkit) que permite red teaming automatizado com memória integrada.
Modelos especializados para segurança e defesa
Nem toda tarefa de segurança ou safety requer um modelo de propósito geral. Modelos especializados de segurança e safety são construídos especificamente para defesa: treinados para entender código, localizar vulnerabilidades e raciocinar sobre ameaças em escala. A Cisco lançou o DefenseClaw, uma camada de governança agêntica open source que fica sobre o NVIDIA OpenShell para fornecer segurança robusta e automatizada no nível de runtime.
A CrowdStrike está fazendo fine-tuning do modelo NVIDIA Nemotron Nano para defesa cibernética, alcançando 96% de precisão em testes internos para gerar queries de investigação dentro do Falcon LogScale. A empresa também publicou pesquisas demonstrando como um modelo de raciocínio Nemotron Nano especializado supera modelos muito maiores na triagem de detecção do Security Operations Center.
A Mistral lançou seu novo modelo classificador de segurança multimodal Shieldstral como pesos abertos sob licença Apache 2.0, enquanto empresas como Akamai, Cognition e Perplexity estão contribuindo com ferramentas de avaliação e observabilidade que ajudam os defensores a entender não apenas o que um agente fez, mas por que ele agiu daquela forma.
Disponibilidade e resiliência: recuperação rápida quando cada momento conta
Sistemas de agentes devem permanecer confiáveis sob disrupção, conter falhas e se recuperar com segurança sem perder estado crítico ou expor o ambiente mais amplo. A LangChain está adicionando capacidades de resiliência aos seus frameworks open source – Deep Agents, LangGraph e LangChain – permitindo que agentes retentem trabalho interrompido, sigam um caminho de recuperação seguro e façam fallback automático para modelos alternativos quando o modelo primário falha.
A Veeam ajuda organizações a manter os dados e infraestrutura por trás da IA resilientes e recuperáveis com tecnologias como Kanister, seu framework open source para proteção de dados em Kubernetes. Isso ajuda equipes a proteger e recuperar workloads de IA, bancos de dados vetoriais e dados para um estado conhecido e verificado como bom.
O que isso significa para o mercado brasileiro
Para empresas brasileiras que estão desenvolvendo ou implementando sistemas de IA agêntica, essas diretrizes representam uma oportunidade de se alinhar com padrões globais de segurança antes que regulamentações mais rígidas sejam impostas. O movimento de autorregulação da indústria sugere que empresas que adotarem essas práticas proativamente estarão melhor posicionadas quando regulamentações formais chegarem.
A participação de gigantes tecnológicos e empresas de segurança estabelecidas valida a importância dessas diretrizes. Para startups e empresas de tecnologia brasileiras, o acesso a ferramentas open source de segurança de IA representa uma oportunidade de implementar práticas de segurança de classe mundial sem os custos proibitivos de soluções proprietárias.
Além disso, a ênfase em compartilhamento de inteligência sobre ameaças cria um ecossistema onde até empresas menores podem se beneficiar das descobertas e defesas desenvolvidas por organizações maiores. Isso é particularmente relevante para o mercado brasileiro, onde muitas empresas estão começando sua jornada com IA agêntica.
Conclusão
A proposta das diretrizes SAFE pela Open Secure AI Alliance marca um momento crucial na evolução da segurança de IA. Com mais de 120 organizações colaborando para criar padrões abertos e compartilhar ferramentas de segurança, a indústria está demonstrando que pode se autorregular efetivamente. Para empresas que estão construindo ou implementando agentes de IA, essas diretrizes e ferramentas open source oferecem um caminho claro para implementar segurança robusta desde o início.
O sucesso dessa iniciativa dependerá da adoção ampla e do compromisso contínuo dos membros em compartilhar descobertas e melhores práticas. No entanto, o nível de participação e as contribuições técnicas já realizadas sugerem que a indústria está levando a sério a necessidade de proteger sistemas de IA agêntica. Para o mercado brasileiro, isso representa tanto um desafio quanto uma oportunidade de se alinhar com padrões globais de segurança em IA desde o início dessa revolução tecnológica.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em NVIDIA Blog, disponível em https://blogs.nvidia.com/blog/open-secure-ai-alliance-contributions/.
