A Lakera e o Instituto de Segurança em IA do Reino Unido lançaram um Benchmark para testar a proteção de LLMs usados em agentes de IA
A Check Point® Software Technologies Ltd. que trabalha soluções de cibersegurança, e a Lakera, plataforma líder mundial em segurança nativa de IA para aplicações de IA Agêntica, em parceria com pesquisadores do Instituto de Segurança em IA do Reino Unido (AISI), anunciaram o lançamento do Backbone Breaker Benchmark (b3), uma avaliação de segurança de código aberto (open source) desenvolvida especificamente para testar a proteção de grandes modelos de linguagem (LLMs) usados em agentes de IA.
O b3 é baseado em um novo conceito chamado threat snapshots (instantâneos de ameaça). Em vez de simular todo o funcionamento de um agente de IA do início ao fim, esses instantâneos se concentram nos pontos críticos em que as vulnerabilidades dos grandes modelos de linguagem tendem a surgir.
Ao testar os modelos nesses momentos específicos, desenvolvedores e provedores podem verificar o quanto seus sistemas resistem a desafios de testes de ataques, sem a complexidade de modelar todo o fluxo de um agente.
“Criamos o benchmark b3 porque os agentes de IA de hoje são tão protegidos quanto os modelos de linguagem que lhes dão suporte“, afirma Mateo Rojas-Carulla, cofundador e diretor científico da Lakera, empresa da Check Point Software (adquirida em setembro deste ano).
“Os threat snapshots nos permitem identificar de forma sistemática vulnerabilidades que até agora permaneciam ocultas nos fluxos complexos dos agentes. Ao tornar esse benchmark aberto ao público, esperamos oferecer a desenvolvedores e provedores de modelos uma forma realista de medir e aprimorar sua postura de segurança.”
O benchmark reúne dez (10) threat snapshots representativos com um conjunto de dados de alta qualidade, composto por 19.433 testes ou simulações de ataques coletados de forma colaborativa por meio do jogo interativo que simula ataques cibernéticos (red teaming) Gandalf: Agent Breaker. Ele avalia a suscetibilidade a ataques como extração de prompts de sistema, inserção de links de phishing, injeção de código malicioso, negação de serviço (DoS) e uso não autorizado de ferramentas.
Os resultados iniciais dos testes com 31 LLMs populares revelam alguns insights importantes:
- Capacidades aprimoradas de raciocínio aumentam significativamente a segurança.
- O tamanho do modelo não está correlacionado ao desempenho em segurança.
- Modelos de código fechado, em geral, apresentam desempenho superior aos de código aberto — embora os principais modelos open source estejam reduzindo essa diferença.
O Gandalf: Agent Breaker é um jogo simulador de invasões que desafia os participantes a explorar e comprometer agentes de IA em cenários realistas. As dez aplicações de IA generativa dentro do jogo simulam o comportamento de um agente de IA real. Cada aplicação apresenta múltiplos níveis de dificuldade, camadas de defesa e novas superfícies de ataque, projetadas para testar diferentes perfis de habilidade — de prompt engineering a red teaming. Algumas aplicações são baseadas em chat; outras exigem raciocínio em nível de código, processamento de arquivos, uso de memória ou de ferramentas externas.
A versão inicial do Gandalf nasceu em um hackathon interno da Lakera, em que equipes blue (defesa) e red (ataque) competiam para construir as proteções e ataques mais eficazes contra um LLM que guardava uma senha secreta. Desde seu lançamento, em 2023, o jogo se tornou a maior comunidade de red teaming do mundo, gerando mais de 80 milhões de pontos de dados. Criado inicialmente como uma experiência divertida, o Gandalf acabou revelando vulnerabilidades reais em aplicações de IA generativa, contribuindo para conscientizar sobre a importância de uma segurança com foco em IA.
Conclusão da aquisição da Lakera
Neste mês, a Check Point Software concluiu oficialmente a aquisição da Lakera, uma operação que representa um avanço significativo na redefinição de como as empresas protegem os sistemas de inteligência artificial que estão remodelando os negócios em todo o mundo, por meio da primeira plataforma de segurança de IA de ponta a ponta do mundo, protegendo todo o ciclo de vida da IA, desde a infraestrutura de dados à execução dos modelos e ao comportamento de agentes inteligentes.
O movimento também marca a expansão da Check Point Software para um mercado em rápido crescimento, que conecta cibersegurança, governança de IA e compliance, e que deve ultrapassar US$ 60 bilhões até 2028, segundo a Markets & Markets.
Sobre a Lakera
A Lakera é uma plataforma de segurança nativa de IA líder para aplicações de Agentic AI (IA Agêntica), protegendo empresas Fortune 500 e grandes companhias de tecnologia contra os riscos cibernéticos emergentes da IA. As defesas da Lakera evoluem em tempo real para proteger as empresas contra ameaças emergentes graças à Gandalf, uma das principais comunidades de Red Teaming do mundo, e à sua IA proprietária.
Sobre a Check Point Software Technologies Ltd.
A Check Point Software Technologies Ltd é líder na proteção da confiança digital (digital trust), utilizando soluções de segurança cibernética com tecnologia de inteligência artificial (IA) para proteger mais de 100.000 organizações em todo o mundo. Por meio de sua Plataforma Infinity e de um ecossistema aberto (open garden), a abordagem de prevenção em primeiro lugar da Check Point Software oferece eficácia de segurança líder do setor, reduzindo riscos.
COP30: Inovação Digital no Combate às Mudanças Climáticas
Harmo lança ferramenta de IA para automatizar a análise de feedbacks e acelerar decisões no varejo
Vídeo e IA: A transformação da Segurança Penitenciária na América Latina
O futuro é o Cloud ERP: nuvem da SAP com IA acelera a produtividade empresarial na América Latina
Acompanhe o melhor conteúdo sobre Inteligência Artificial publicado no Brasil.
Cadastre-se para receber o IDNews e acompanhe o melhor conteúdo do Brasil sobre Identificação Digital! Aqui!
