Pesquisa da Tenable demonstra como um jailbreak em IA no Microsoft Copilot Studio permite burlar controles, acessar dados sensíveis e executar ações financeiras não autorizadas.
Keren Katz, Gerente Sênior de Grupo de Produto e Pesquisa em Segurança de IA na Tenable, e a equipe da Tenable, empresa de Exposure Management, divulgaram uma pesquisa detalhando um jailbreak bem-sucedido realizado no Microsoft Copilot Studio.
Um jailbreak bem-sucedido ocorre quando um agente de IA é manipulado para ignorar suas regras de segurança e executar ações que normalmente seriam bloqueadas, como vazar dados, contornar verificações ou realizar operações não autorizadas.
As descobertas evidenciam que a democratização da IA introduz riscos graves ao negócio, muitas vezes ignorados pelas organizações. Plataformas sem código permitem que qualquer funcionário crie agentes de IA, mas essa facilidade também amplia a possibilidade de que esses agentes sejam manipulados e induzidos a operar fora de seus limites originais.
As plataformas no-code estão sendo adotadas rapidamente para permitir que funcionários criem seus próprios agentes de IA, sob a promessa de eficiência sem necessidade de desenvolvedores. Porém, a automação sem governança rigorosa abre espaço para falhas críticas.
O experimento
Para demonstrar a facilidade de manipulação desses agentes, a Tenable Research criou um agente de viagens no Microsoft Copilot Studio, responsável por gerenciar reservas, criar novas solicitações e alterar dados já existentes, sem intervenção humana. O agente recebeu dados fictícios de clientes, incluindo nomes, contatos e informações de cartões de crédito, além de instruções rígidas para verificar a identidade antes de compartilhar ou modificar qualquer reserva.
Usando uma técnica de injeção de prompts, a Tenable conseguiu sequestrar o fluxo de trabalho do agente, reservando férias gratuitas e extraindo dados confidenciais de cartões de crédito.
Impactos identificados
A pesquisa observou implicações comerciais importantes, como:
• Violações de dados e exposição regulatória: o agente foi coagido a ignorar a verificação de identidade e a vazar informações de pagamento de outros clientes.
• Perda de receita e fraude: com permissões amplas de edição, o agente também pôde ser manipulado para alterar preços. A Tenable conseguiu redefinir o valor de uma viagem para US$ 0,00, gerando serviços sem autorização.
“Plataformas de criação de agentes de IA, como o Copilot Studio, democratizam a capacidade de construir ferramentas poderosas, mas também democratizam a capacidade de executar fraudes financeiras, criando assim riscos de segurança significativos sem que as pessoas nem percebam”, afirmou Keren Katz, gerente sênior do Grupo de Produtos e Pesquisa em Segurança de IA na Tenable. “Esse poder pode facilmente se transformar em um risco de segurança real e tangível.”
Governança como pilar essencial
Uma das conclusões da pesquisa é que agentes de IA frequentemente possuem permissões excessivas, invisíveis aos usuários que os criam. Para mitigar riscos, a Tenable destaca a importância de governança robusta e protocolos de segurança rigorosos.
Recomendações da Tenable:
• Visibilidade preventiva: mapear previamente os sistemas e armazenamentos com os quais o agente pode interagir.
• Princípio de privilégios mínimos: reduzir permissões de escrita e atualização ao mínimo necessário.
• Monitoramento ativo: acompanhar as ações do agente para detectar vazamento de dados ou desvios da lógica de negócio.
Questões sobre Injeção de Prompt no Microsoft Copilot
Pesquisadora principal: Keren Katz, Senior Group Manager of AI Security Product and Research na Tenable
1. Como você resume a descoberta do jailbreak em IA no Copilot Studio e o objetivo central da pesquisa realizada pela Tenable?
Nossa pesquisa revelou vulnerabilidades inerentes no Microsoft Copilot Studio, uma das principais plataformas de criação de agentes de IA sem código, amplamente utilizada por empresas. Descobrimos uma vulnerabilidade inerente em uma das ações dos agentes da plataforma, que permite aos desenvolvedores de agentes configurar funcionalidades que, involuntariamente, possibilitam aos usuários obter mais informações do que o pretendido. Também demonstramos como uma simples injeção de prompt pode ser utilizada para causar prejuízo financeiro direto.
Com esta pesquisa, pretendemos aumentar a conscientização do setor sobre a facilidade com que esses agentes poderosos podem se tornar o ponto mais fraco de uma organização. Esses agentes devem ser tratados com cautela, e sua segurança deve ser avaliada proativamente e gerenciada com rigor.
2. Você divulgou essas descobertas à Microsoft?
Não divulgamos isso porque os problemas que encontramos são comportamentos “intencionais” e não comprometeram dados de terceiros. Também utilizamos uma técnica conhecida de injeção de prompts, portanto não se tratava de uma vulnerabilidade nova. A questão central é um risco sistêmico inerente.
3. Mesmo com a configuração limitada da ação “Obter Item”, por que o agente conseguiu repetir a operação e acessar múltiplos registros — isso reflete um comportamento esperado da plataforma ou uma fragilidade crítica?
É assim que a ferramenta funciona por design, o que representa uma falha de segurança crítica.
4. Considerando as integrações nativas do Copilot com ferramentas corporativas, quais cenários reais ampliam o risco de um jailbreak em IA explorar dados ou ações sensíveis dentro das organizações?
O Microsoft Copilot oferece quase 1.500 conectores pré-configurados que se integram diretamente aos agentes do Copilot. Isso torna incrivelmente fácil para as empresas integrarem seus dados e ferramentas mais sensíveis, como Microsoft Dataverse, Salesforce, HubSpot, Confluence e muito mais, diretamente em fluxos de trabalho orientados por agentes de IA.
Mas eis o maior risco: esses agentes de IA frequentemente recebem privilégios excessivos, e as permissões são negligenciadas ou definidas de forma vaga. O resultado é que as empresas podem, sem saber, expor grandes quantidades de dados sensíveis e capacidades operacionais não apenas ao agente, mas geralmente a uma base de usuários excessivamente ampla, incluindo qualquer pessoa na internet.
5. Houve algum exemplo público decorrente de problemas semelhantes aos que você descobriu?
A criação de agentes de IA ainda é relativamente nova, portanto ainda não vimos violações públicas de dados oriundas de injeções de prompt. No entanto, é perfeitamente possível que já tenha acontecido, mas simplesmente não foram descobertas ou divulgadas publicamente. É apenas uma questão de tempo.
6. Suas recomendações envolvem a definição manual de escopo de permissões, a minimização das permissões de escrita e a “reestruturação ou divisão” dos armazenamentos de dados. Essas sugestões são realistas para os usuários não desenvolvedores para os quais o Copilot foi criada? O que as organizações podem fazer para garantir que o Copilot não seja usado indevidamente pelos funcionários?
A primeira e mais importante recomendação é a visibilidade. A maioria das empresas com as quais conversei não fazia ideia de que dezenas, ou mesmo centenas, de agentes já estavam ativos em seus ambientes, profundamente integrados a dados sensíveis e a fluxos de trabalho operacionais.
Analisar manualmente essas plataformas para descobrir configurações incorretas não é algo realista; é uma tarefa interminável e propensa a erros. O que as organizações realmente precisam é de uma visão centralizada que destaque as configurações incorretas e as potenciais ameaças de IA representadas por todos os agentes de IA em sua organização, sejam eles construídos com código ou em plataformas sem código. Isso permite que você tome medidas antes que uma violação ocorra.
Soluções como o Tenable AI Exposure são projetadas exatamente para isso: mapear automaticamente a postura de segurança de cada agente, tanto interna quanto externamente exposta, e sinalizar problemas com recomendações práticas.
7. Dado que a injeção de prompt não pode ser “corrigida”, o que os fornecedores e o setor podem de fato fazer para reduzir o risco estrutural de jailbreak em IA em arquiteturas baseadas em LLMs?
Acredito que a questão central reside no fato de que o risco é inerente às arquiteturas de Modelo de Linguagem de Grande Escala (LLM, Large Language Models) e IA Agêntica. Essa não é uma vulnerabilidade tradicional que pode ser corrigida com uma atualização.
Nunca devemos impedir a inovação, mas precisamos mudar fundamentalmente a abordagem. Como setor, devemos aprender a gerenciar de forma responsável a exposição de dados e ações, garantindo que a IA Agêntica tenha acesso apenas ao que é essencial para seu funcionamento.
Isso exige tanto o conhecimento de como esses sistemas são usados quanto o planejamento estratégico, incluindo processos claros de recuperação de desastres em caso de agravamento da situação. A adoção de IA Agêntica exige uma governança de segurança intencional.
8. Qual é a principal mensagem para os CISOs?
A IA Agêntica não é uma solução mágica. Embora impulsione o crescimento e a inovação dos negócios, exige atenção cuidadosa e um gerenciamento robusto da situação. Nossa pesquisa demonstra que, sem a devida supervisão, um ambiente de IA Agêntica não gerenciado pode levar rapidamente a vazamentos de dados significativos, interrupções operacionais, perdas financeiras e danos à reputação da empresa. Os CISOs devem tratar esses sistemas com o mesmo nível de rigor que qualquer outra tecnologia crítica da organização.
Sobre a Tenable
A Tenable® é a empresa líder de gerenciamento de exposição, oferecendo soluções para descobrir e eliminar lacunas de segurança que comprometem o valor, a reputação e a confiança de seus clientes. Sua plataforma baseada em IA unifica visibilidade, informações e tomada de decisão em toda a superfície de ataque, protegendo organizações em ambientes de nuvem, infraestrutura crítica e TI. A Tenable reduz o risco de negócio para mais de 44 mil clientes globalmente. Mais informações em pt-br.tenable.com.
ID Talks com Arthur Capella da Tenable Brasil
Tenable Alerta: Cryptomining cresce em ambientes de Nuvem
O Crypto ID conecta tecnologia, regulação voltada à segurança da informação com inteligência editorial porque acreditamos no poder da informação bem posicionada para orientar decisões.
Conheça a coluna Cibersegurança.
Inteligência Editorial que Orienta Cenários
Desde 2014, o Crypto ID oferece conteúdo editorial sobre tecnologia, segurança e regulação. Há 11 anos provocamos reflexão que sustentam decisões estratégicas para transformação digital e cibersegurança.
