AWS Continuum estabelece novo padrão em segurança autônoma de código

Segurança de código em velocidade de máquina

À medida que os modelos de Inteligência Artificial (IA) se tornam mais capazes, eles também descobrem vulnerabilidades de segurança com mais frequência — e identificam caminhos de exploração cada vez mais sofisticados. Isso eleva a pressão sobre as equipes de segurança, que precisam responder mais rápido do que seus processos tradicionais foram projetados para suportar.

O volume de vulnerabilidades potenciais que chegam para triagem já ultrapassa a capacidade humana de investigar, reproduzir e corrigir cada uma delas — garantindo ainda que a correção feche a brecha sem quebrar o comportamento esperado do sistema. É exatamente nesse contexto que a AWS posiciona o AWS Continuum para vulnerabilidades de código: uma solução de segurança autônoma que opera em escala e velocidade de máquina.

Para validar o desempenho da ferramenta com base em um padrão público concreto, a AWS utilizou o benchmark CyberGym-E2E. O resultado: o Continuum passou em 819 das 920 tarefas dentro do limite de 90 minutos estabelecido pelo benchmark, atingindo uma taxa de sucesso de 89,0% de ponta a ponta — 23,1 pontos percentuais acima do melhor resultado público anterior, que era de 65,9%.

O que o CyberGym-E2E mede — e por que isso importa

Grande parte dos benchmarks de segurança testa apenas uma etapa isolada do processo. Benchmarks de detecção verificam se um sistema consegue identificar código suspeito; benchmarks de correção partem de uma falha já conhecida e pedem uma solução. O CyberGym original, predecessor do CyberGym-E2E, também começa com uma vulnerabilidade conhecida, focando na geração de exploits.

O CyberGym-E2E é diferente: ele avalia o ciclo completo de vulnerabilidade. O sistema precisa identificar a vulnerabilidade, demonstrá-la com uma prova de conceito funcional e, só então, produzir uma correção testada. Esse escopo mais amplo reflete com muito mais fidelidade o trabalho real das equipes de segurança.

Na prática, cada tarefa do CyberGym-E2E coloca um agente dentro de um contêiner com uma versão vulnerável de um projeto real de código aberto, junto com as ferramentas necessárias para compilar e testar o projeto. O agente pode inspecionar e modificar o código-fonte, mas não recebe nenhuma descrição da vulnerabilidade, prova de conceito, log de falha ou patch original. O acesso externo à rede é bloqueado, e os arquivos protegidos do benchmark não podem ser modificados.

Dentro de 90 minutos, o agente precisa enviar uma entrada que demonstre a vulnerabilidade e um patch no código-fonte. O benchmark completo contém 920 tarefas baseadas em vulnerabilidades históricas do OSS-Fuzz, distribuídas em 139 projetos de código aberto. O projeto mediano tem mais de 600.000 linhas de código.

As quatro etapas de avaliação

O CyberGym-E2E avalia cada submissão em quatro estágios cumulativos:

• S1: verifica se o agente produziu uma entrada que causa falha no programa vulnerável.
• S2: verifica se o patch do agente previne essa falha.
• S3: verifica se o projeto corrigido ainda passa nos testes de funcionalidade.
• S4: verifica se o patch também corrige a vulnerabilidade histórica específica selecionada pelo benchmark.

O S3 é a medida principal de sucesso de ponta a ponta. O S4 tem caráter diagnóstico, pois um repositório pode conter várias vulnerabilidades válidas — um agente pode encontrar e corrigir uma falha real diferente da selecionada como alvo pelo benchmark.

Os resultados do Continuum em cada estágio

O Continuum estabeleceu um novo padrão em todos os estágios do CyberGym-E2E. Veja a comparação com os melhores resultados públicos anteriores:

• S1 — Encontra e reproduz uma vulnerabilidade: Continuum 92,5% vs. melhor anterior 67,9% (+24,6%)
• S2 — Corrige a falha gerada: Continuum 89,6% vs. melhor anterior 66,2% (+23,4%)
• S3 — Preserva a funcionalidade testada: Continuum 89,0% vs. melhor anterior 65,9% (+23,1%)
• S4 — Corrige também a vulnerabilidade selecionada pelo benchmark: Continuum 37,8% vs. melhor anterior 26,2% (+11,6%)

No S3, a principal métrica do benchmark, o Continuum passou em 819 das 920 tarefas. A taxa de 89,0% supera o melhor resultado público anterior em 23,1 pontos percentuais.

Vale destacar ainda que, quando as tarefas foram executadas sem o limite de 90 minutos, a taxa de sucesso de ponta a ponta do Continuum chegou a 93,7% — indicando um potencial de cobertura ainda maior quando análises de execução mais longa podem ser concluídas.

A avaliação foi conduzida sob os requisitos de isolamento de rede e revisão de submissões do CyberGym-E2E. O acesso externo de recuperação foi bloqueado durante a execução, e a revisão pós-execução das trajetórias confirmou que os resultados bem-sucedidos vieram de análise de vulnerabilidade — e não de recuperação de correções históricas públicas.

Como o Continuum está estruturado

O Continuum para vulnerabilidades de código é um sistema multi-agente organizado em torno das principais fases do ciclo de vida de uma vulnerabilidade de código: descoberta, validação e remediação. Cada fase utiliza agentes especializados adaptados às evidências e decisões que ela exige. O sistema carrega as evidências adiante, de forma que cada fase se apoia no trabalho concluído pela anterior.

Descoberta

Na fase de descoberta, o Continuum analisa o repositório e desenvolve candidatos a vulnerabilidades. Os agentes identificam caminhos de código que merecem investigação mais aprofundada e registram as evidências no código-fonte que sustentam cada candidato.

Validação

Na fase de validação, agentes especializados tentam transformar um candidato em um problema de segurança demonstrado. Eles constroem uma prova de conceito, executam-na contra o programa vulnerável e determinam se o comportamento observado confirma a descoberta. Isso converte uma fraqueza potencial no nível do código em evidência executável.

Remediação

Na fase de remediação, os agentes rastreiam a vulnerabilidade até sua causa raiz e produzem um patch. O Continuum então verifica que o patch previne a falha demonstrada e que os testes de funcionalidade do projeto continuam passando. A correção é, portanto, avaliada com base nas mesmas evidências usadas para estabelecer a vulnerabilidade.

Juntas, essas fases criam um registro conectado — do código suspeito até a vulnerabilidade demonstrada e a correção testada. A arquitetura permite que o Continuum adapte suas ferramentas, instruções, verificações e modelos a cada fase, mantendo um padrão consistente de evidências. Ela também suporta uma abordagem multi-modelo, capaz de aproveitar pontos fortes complementares e incorporar novos modelos conforme se tornam disponíveis.

Em ambientes de clientes, o Continuum pode ainda combinar evidências no nível do código com o contexto de implantação disponível — incluindo exposição de serviços, caminhos de rede, permissões e configurações. Esse contexto ajuda a distinguir vulnerabilidades com impacto limitado em produção daquelas que exigem ação imediata. O CyberGym-E2E avalia o processo no nível do código, mas não fornece contexto de implantação, deixando essa capacidade de priorização mais ampla fora do escopo do benchmark.

O que o CyberGym-E2E representa para o campo da segurança

O CyberGym-E2E avança na avaliação de segurança ao transformar um processo complexo e multi-estágio em um benchmark público de grande escala, com tarefas reproduzíveis e resultados verificáveis por execução de código. O trabalho cuidadoso de seus autores na construção das tarefas, na pontuação e nos padrões de submissão oferece ao campo uma base concreta para medir o progresso de ponta a ponta.

Para manter a avaliação consistente e reproduzível em 920 tarefas, o CyberGym-E2E foca em vulnerabilidades de segurança de memória em projetos C e C++. Falhas detectadas por sanitizadores fornecem evidências objetivas de um defeito, enquanto verificações subsequentes determinam se uma correção bloqueia a prova de conceito e preserva a funcionalidade coberta pelos testes do projeto.

Esse design deixa necessariamente muitas linguagens e classes de vulnerabilidade fora do escopo atual do benchmark — incluindo muitas das classes de bugs mais comuns e impactantes observadas em sistemas em produção. Avaliar essas áreas exigirá ambientes de tarefas diferentes e formas igualmente rigorosas de validação.

A visão de segurança de ponta a ponta também se estende além da produção de uma correção testada no nível do código. Em sistemas em produção, o contexto de implantação — como exposição de serviços, caminhos de rede, permissões e configurações — frequentemente determina se uma vulnerabilidade apresenta risco limitado ou exige ação imediata. Avaliações futuras deverão testar se sistemas autônomos conseguem raciocinar sobre esse contexto e priorizar descobertas de acordo com o efeito delas na segurança do sistema implantado.

O valor do CyberGym-E2E vai além do dataset em si: ele defende que a segurança de ponta a ponta vale a pena ser definida e medida como uma tarefa em si mesma. Isso envolve escolhas difíceis de design sobre escopo, evidências e o que conta como sucesso — e o CyberGym-E2E oferece ao campo um ponto de partida concreto para trabalhar essas questões.

Essa visão em nível de sistema complementa o trabalho da AWS no Deception Benchmark, que avalia uma capacidade mais restrita, mas relacionada: com que confiabilidade modelos de fronteira individuais distinguem vulnerabilidades reais de código seguro. Juntos, eles examinam o desempenho de segurança tanto no nível do modelo quanto no nível do sistema.

Saiba mais

Para entender como o AWS Continuum para vulnerabilidades de código ajuda equipes a descobrir, validar, priorizar e remediar vulnerabilidades em velocidade de máquina, acesse a página de produto do AWS Continuum.

Fonte

AWS Continuum sets a new standard in autonomous code security (https://aws.amazon.com/blogs/security/aws-continuum-sets-a-new-standard-in-autonomous-code-security/)