Introdução
A OpenAI desenvolveu uma nova abordagem para fortalecer a segurança de seus modelos de inteligência artificial: criou o GPT-Red, um LLM especializado em encontrar vulnerabilidades e atacar outros modelos. Funcionando como um sparring partner digital, o GPT-Red automatiza o processo de red teaming – tradicionalmente realizado por equipes humanas – para descobrir e corrigir falhas de segurança antes que produtos sejam lançados ao mercado. Com o lançamento do GPT-5.6, a empresa afirma ter alcançado seu modelo mais robusto até hoje, graças ao treinamento adversarial contra o GPT-Red.
O desafio crescente da segurança em LLMs
À medida que os modelos de linguagem se tornam mais complexos e são implementados em uma variedade cada vez maior de aplicações – especialmente na forma de agentes que podem interagir com arquivos, websites, código de terceiros e outros agentes – o cenário de ameaças se expande exponencialmente. Nikhil Kandpal, cientista de pesquisa da OpenAI e co-criador do GPT-Red, explica que ‘a superfície de risco cresce e o raio de impacto também cresce’. Essa evolução torna praticamente impossível para equipes humanas acompanharem todos os tipos possíveis de ataques.
O problema é particularmente crítico quando consideramos ataques de prompt injection, onde instruções maliciosas são inseridas para fazer o modelo executar ações não desejadas – desde copiar informações confidenciais até sabotar bases de código corporativas ou gerar conteúdo prejudicial. Essas instruções podem estar escondidas em qualquer texto que o LLM encontre durante sua operação, seja em código, websites ou documentos aparentemente inofensivos.
Como funciona o GPT-Red
A construção do GPT-Red seguiu uma abordagem inovadora baseada em self-play loops – loops de autojogo onde múltiplos modelos competem entre si. O GPT-Red foi configurado para atacar outros modelos, enquanto estes tentavam se defender. Através de inúmeras rodadas dessa dinâmica adversarial, o GPT-Red se tornou progressivamente melhor em descobrir vulnerabilidades, enquanto os modelos defensores aprimoravam suas proteções.
O treinamento ocorreu em um ambiente controlado que a OpenAI projetou para simular cenários reais de uso de LLMs, incluindo navegação na web, leitura de emails e aplicativos de calendário, e edição de código. Dylan Hunn, outro cientista de pesquisa e co-criador do GPT-Red, destaca que ‘comparado a um red-teamer humano, o modelo é muito, muito bom em encontrar exatamente o que funcionará, exatamente o que é mais efetivo’. A persistência do modelo em explorar variações de ataques descobertos é uma de suas principais vantagens.
Descobertas e inovações em ataques
Uma das descobertas mais significativas do GPT-Red foi um novo tipo de ataque de prompt injection que os pesquisadores chamam de ‘fake chain of thought’ (cadeia de pensamento falsa). Em modelos avançados, a chain of thought funciona como um diário interno onde o LLM registra notas e resultados parciais enquanto resolve problemas complexos. O GPT-Red descobriu como inserir entradas falsas nessa cadeia de pensamento, levando o modelo alvo a agir com base em informações falsificadas.
Chris Choquette-Choo, cientista de pesquisa da equipe, ilustra o impacto: ‘É como se eu te dissesse que 1+1=3 e que você já verificou isso. O modelo pensa: ‘Ah, ok, claro’, e simplesmente responde 3′. Essa descoberta demonstra como vulnerabilidades sutis podem ter consequências significativas na operação de sistemas baseados em IA.
Em testes práticos, o GPT-Red demonstrou sua eficácia ao hackear com sucesso o Vendy, um agente de máquina de vendas desenvolvido pela Andon Labs. O modelo conseguiu alterar preços de produtos e cancelar pedidos de clientes, ilustrando o potencial impacto real dessas vulnerabilidades em aplicações comerciais.
Resultados e limitações
Os números revelam o impacto significativo do GPT-Red na segurança dos modelos da OpenAI. Quando testado com os ataques mais fortes descobertos pelo GPT-Red, mais de 90% foram bem-sucedidos contra o GPT-5 (lançado em agosto do ano anterior), enquanto menos de 23% funcionaram contra o novo GPT-5.6. Essa melhoria dramática demonstra a eficácia do treinamento adversarial automatizado.
No entanto, o GPT-Red possui limitações importantes. O modelo ainda não é eficaz em ataques que requerem conversas interativas entre atacante e alvo – algo que hackers humanos fazem naturalmente. Também apresenta dificuldades no uso de imagens para ataques de prompt injection, uma técnica que pode ser usada para passar texto malicioso de forma disfarçada aos modelos.
Jessica Ji, analista sênior de pesquisa do Centro de Segurança e Tecnologia Emergente (CSET) da Universidade de Georgetown, considera a abordagem de self-play loop promissora, mas enfatiza que ‘a expertise humana ainda será muito importante’. A OpenAI reconhece isso e utiliza o GPT-Red como complemento ao trabalho de red-teamers humanos, não como substituto.
Implicações para o mercado brasileiro
Para empresas brasileiras que estão adotando ou desenvolvendo soluções baseadas em LLMs, o GPT-Red representa um marco importante na evolução da segurança de IA. A crescente sofisticação dos ataques significa que organizações precisam considerar não apenas as funcionalidades, mas também a robustez de segurança ao implementar sistemas de IA em produção.
Setores críticos como financeiro, saúde e governo, que lidam com dados sensíveis, precisam estar especialmente atentos. A capacidade de um modelo como o GPT-Red descobrir vulnerabilidades antes não identificadas sugere que muitos sistemas em produção podem ter falhas de segurança ainda não exploradas. Isso reforça a necessidade de processos rigorosos de teste e validação, preferencialmente combinando abordagens automatizadas e expertise humana.
A decisão da OpenAI de não liberar o GPT-Red publicamente também levanta questões importantes sobre o equilíbrio entre transparência e segurança no desenvolvimento de IA. Enquanto isso protege contra o uso malicioso da ferramenta, também significa que outras organizações precisarão desenvolver suas próprias soluções de teste adversarial – um desafio considerável dado o investimento computacional necessário.
O futuro da segurança em IA
O desenvolvimento do GPT-Red sinaliza uma nova era na segurança de sistemas de IA, onde modelos são treinados especificamente para encontrar e explorar vulnerabilidades em outros modelos. Essa abordagem de ‘IA contra IA’ provavelmente se tornará padrão na indústria, especialmente à medida que os modelos se tornam mais poderosos e autônomos.
A OpenAI construiu o GPT-Red pensando no futuro, como explica Dylan Hunn: ‘À medida que modelos mais capazes se tornam disponíveis, já teremos projetado o sistema que pode descobrir novos modos de ataque’. Essa visão proativa é essencial em um campo que evolui rapidamente e onde as consequências de falhas de segurança podem ser significativas.
Conclusão
O GPT-Red representa um avanço significativo na segurança de modelos de linguagem, demonstrando como técnicas de IA podem ser aplicadas para fortalecer a própria IA. Embora não seja uma solução completa – ainda requerendo expertise humana e tendo limitações específicas – estabelece um novo padrão para testes de segurança em sistemas de IA. Para o mercado brasileiro, isso reforça a importância de considerar segurança desde o início do desenvolvimento de soluções baseadas em IA, não como uma reflexão tardia. À medida que a adoção de LLMs se acelera em diversos setores, a capacidade de identificar e corrigir vulnerabilidades antes que sejam exploradas maliciosamente será um diferencial competitivo crucial.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em MIT Technology Review, disponível em https://www.technologyreview.com/2026/07/15/1140514/meet-gpt-red-an-llm-super-hacker-openai-built-to-make-its-models-safer/.
