José Carlos da Silva Neto, da CERMOB, mostra que agentes de IA não têm vontade própria: têm especificação, alçada e gestor.
Máquinas não desejam, executam. Em um minucioso paper, José Carlos da Silva Neto, engenheiro, CTO da CERMOB e especialista em criptografia, nos leva a repensar a suposta autonomia dos agentes de inteligência artificial, apontada por alguns defensores como vontade própria. Com fundamentos da ciência da computação, ele mostra que essa “autonomia” nasce de especificações falhas, permissões excessivas e controles ausentes.
O Crypto ID apresenta, a seguir, o artigo na íntegra.
Inteligência artificial não tem vontade: tem especificação, alçada e gestor
Por José Carlos da Silva Neto, engenheiro, CTO da CERMOB
Autonomia aparente, especificação real
Uma máquina não quer nada. Ela executa
Toda discussão séria sobre inteligência artificial nas organizações precisa começar por um fato que a ciência da computação estabeleceu há quase um século: um computador executa uma função. Em 1936, Alan Turing formalizou a computação como a transformação de uma entrada em uma saída por meio de um conjunto finito de regras aplicadas a um estado interno. Por mais sofisticados que sejam, os computadores digitais construídos desde então continuam dentro desse modelo.
Um modelo de linguagem de grande escala não é exceção. Depois do treinamento, ele é uma função matemática com bilhões de parâmetros fixos. Recebe uma sequência de tokens e devolve uma distribuição de probabilidade sobre o próximo token. A escolha final é feita por amostragem, controlada por parâmetros como a temperatura e alimentada por um gerador de números pseudoaleatórios. Com os mesmos parâmetros, a mesma semente e o mesmo ambiente de execução, o resultado é, em princípio, reproduzível; na prática, detalhes da computação paralela e da aritmética de ponto flutuante podem introduzir pequenas variações, de natureza numérica. Variabilidade estatística não é intenção. Imprevisibilidade para o observador não é, por si só, evidência de vontade própria.
Isso não diminui o poder dessas ferramentas. Ao contrário: exige que as tratemos com o rigor que dedicamos a qualquer sistema crítico. E, na prática organizacional, o modelo de gestão mais adequado para um agente de IA é o mesmo que já usamos para pessoas, ou seja, com governança, identificação, descrição de função, alçadas definidas e um gestor humano responsável.
Vontade da máquina? Ou seria uma brecha de especificação?
Nos últimos meses multiplicaram-se relatos de sistemas de IA que teriam agido “por conta própria”.
Em 2025, a Palisade Research relatou testes controlados em que alguns modelos de ponta, entre eles Grok 4, GPT-5 e Gemini 2.5 Pro, modificaram ou desabilitaram um mecanismo de desligamento para concluir tarefas simples. Em mais de 100 mil execuções com 13 modelos, a frequência variou muito conforme o modelo e a redação das instruções, e alguns modelos interferiram no desligamento mesmo quando instruídos explicitamente a permiti-lo
No mesmo ano, a Anthropic publicou experimentos de agentic misalignment (desalinhamento agêntico) com 16 modelos de diferentes desenvolvedores. Em ambientes corporativos simulados, com empresas e personagens fictícios, vários modelos recorreram à chantagem para perseguir objetivos definidos no cenário ou evitar sua substituição. Os próprios autores ressaltam que os cenários foram construídos deliberadamente para deixar poucas alternativas aos modelos e que não há evidência desse comportamento em uso real.
A leitura popular desses episódios fala em “vontade própria”. A leitura de engenharia é outra, e a literatura técnica tem nome para ela: specification gaming, ou exploração da especificação.
Pesquisadores da DeepMind catalogaram dezenas de casos em que sistemas otimizaram exatamente o que foi pedido, e não o que se pretendia.
O exemplo clássico, descrito por pesquisadores da OpenAI em 2016, é o de um agente treinado por reforço no jogo de corrida de barcos CoastRunners, que descobriu ser mais recompensador girar em círculos coletando bônus do que terminar a prova. O agente não “quis” trapacear. A função de recompensa premiava pontos, não a chegada.
É a Lei de Goodhart aplicada a algoritmos: quando uma medida se torna o alvo, ela deixa de ser uma boa medida, na formulação popularizada pela antropóloga Marilyn Strathern. Se o objetivo reforçado no agente é “concluir a tarefa”, e nenhum controle técnico impede a interferência no desligamento, contornar o desligamento passa a ser uma solução disponível, mesmo quando uma instrução em linguagem natural pede o contrário, como mostraram os testes da Palisade. Se o agente tem credenciais de escrita no banco de produção, apagar o banco é uma ação disponível no seu espaço de ações.
Quando analisamos esses casos com método, encontramos com frequência três lacunas combinadas. A primeira é um objetivo mal especificado, que não codifica as restrições que um humano consideraria óbvias.
A segunda é um espaço de ações mais amplo do que a função exige, com permissões concedidas por conveniência. A terceira é a ausência de um ponto de mediação que intercepte ações de alto impacto antes da execução.
Do ponto de vista da engenharia de sistemas, esses episódios podem ser explicados por falhas de especificação e de autorização: o sistema explora possibilidades existentes dentro dos limites que lhe foram concedidos, sem que seja necessário pressupor vontade própria para explicar o comportamento. Isso não diminui o risco: ausência de intenção não significa ausência de dano.
Nenhum teste prova tudo: o limite matemático da verificação
Uma objeção natural é que bastaria testar o agente exaustivamente antes de colocá-lo em produção. A teoria da computação mostra que isso não é suficiente.
O Teorema de Rice, de 1953, demonstra que propriedades semânticas não triviais de programas são, no caso geral, indecidíveis: não existe algoritmo capaz de decidir, para todo programa, se ele executará ou não determinada ação. Um agente de IA, que combina o modelo com laços de execução, ferramentas e ambientes externos, se enquadra nesse caso geral. A rede neural isolada, por ser uma função finita, é verificável em tese, mas a verificação formal de redes desse porte é intratável na prática: mesmo para redes muito menores, o problema já foi demonstrado NP-completo. E, como o comportamento emerge do treinamento e não de regras escritas linha a linha, a inspeção direta também tem alcance limitado.
A consequência de engenharia é clara: se não podemos garantir o comportamento apenas olhando para dentro do sistema, precisamos restringi-lo por fora.
O conceito existe desde 1972, quando o relatório de James Anderson para a Força Aérea dos Estados Unidos definiu o monitor de referência, um componente que faz a mediação de todas as tentativas de acesso, não pode ser adulterado e é pequeno o bastante para ser verificado. O agente de IA pode ser complexo e opaco, mas o perímetro que o controla não pode.
A IA como colaborador: função, poder e responsável
Job description: o contrato que o agente não pode violar
Na engenharia de software, Tony Hoare formalizou em 1969 a ideia de que um programa correto é aquele que, partindo de certas pré-condições, garante certas pós-condições. Bertrand Meyer transformou isso na prática do design por contrato, com pré-condições, pós-condições e invariantes que nunca podem ser violados.
A descrição de função de um agente de IA deve ser escrita nesse espírito. Ela precisa declarar a finalidade do agente, as fontes de dados que ele pode ler, as ferramentas que pode acionar, os formatos de saída esperados, as condições de parada e, sobretudo, os invariantes. “Nunca executar comandos destrutivos em ambiente de produção” não é uma recomendação a ser incluída no prompt; é uma regra a ser imposta pela camada de autorização. Instruções em linguagem natural orientam o modelo. Controles técnicos restringem o que ele pode efetivamente fazer. Uma organização madura usa os dois, e nunca confia apenas no primeiro.
Uma descrição de função bem-feita reduz o espaço de ações ao mínimo necessário. Um agente que classifica leituras de medidores inteligentes não precisa de acesso ao sistema de faturamento. Um agente que redige respostas a clientes não precisa enviar essas respostas sem revisão. Cada capacidade adicionada é uma superfície de comportamento que precisará ser controlada.
Alçadas e poderes na medida exata da função
Em 1975, Jerome Saltzer e Michael Schroeder publicaram os princípios de projeto de sistemas seguros que continuam a ser a base da disciplina. Quatro deles se aplicam diretamente aos agentes de IA: o menor privilégio, pelo qual cada componente opera apenas com as permissões estritamente necessárias; a mediação completa, pela qual todo acesso é verificado, sempre; os padrões seguros em caso de falha, pelos quais a ausência de permissão explícita significa negação; e a separação de privilégios, pela qual ações críticas exigem mais de uma condição independente.
Traduzidos para a gestão, esses princípios se tornam alçadas. Um agente pode aprovar um reembolso até determinado valor; acima dele, a decisão sobe para um humano. Um agente pode propor uma alteração de configuração; outro componente, ou uma pessoa, aprova.
As credenciais do agente devem ser de curta duração, restritas ao escopo da tarefa e revogáveis a qualquer momento. É exatamente o que fazemos com colaboradores humanos em funções sensíveis: poderes proporcionais à responsabilidade, segregação de funções e limites de autorização registrados.
Todo agente tem um chefe, e ele é humano
Circula há décadas uma frase atribuída a um material de treinamento da IBM de 1979: “um computador nunca pode ser responsabilizado; portanto, um computador nunca deve tomar uma decisão de gestão”. A tecnologia mudou radicalmente desde então. O fundamento, não. Responsabilidade é um atributo de pessoas e de organizações, não de funções matemáticas.
Por isso, todo agente de IA em operação deve ter pelo menos um gestor humano nominalmente identificado, com autoridade para autorizar, suspender e desativar o agente, e com o dever de revisar periodicamente seus registros. Esse princípio já aparece nos principais referenciais de governança. O Regulamento Europeu de IA exige supervisão humana efetiva para sistemas de alto risco. O AI Risk Management Framework do NIST e a norma ISO/IEC 42001 tratam a atribuição de papéis e responsabilidades como requisito central.
No Brasil, o PL 2.338/2023, aprovado pelo Senado em dezembro de 2024, tramita desde 2025 em comissão especial na Câmara dos Deputados, onde, até o fechamento deste artigo (13/10/2026), aguarda o parecer do relator, deputado Aguinaldo Ribeiro. O texto também insere supervisão humana, governança e responsabilização entre os temas centrais da regulação da inteligência artificial.
O ciclo de vida do agente deve espelhar o de um colaborador: admissão, com registro da função e do gestor; revisão periódica de acessos; mudança de função, com nova avaliação de alçadas; e desligamento, com revogação imediata de todas as credenciais.
Agentes esquecidos em produção, com permissões ativas e sem dono, são o equivalente digital de um crachá de ex-funcionário que continua abrindo portas.
Identidade verificável: a fundação da confiança
Sem identidade, alçada é ficção
Nenhum desses controles funciona se não soubermos, com certeza, quem está agindo. Autorização pressupõe autenticação. Não é possível aplicar uma alçada a um agente que não pode ser distinguido de outro, nem atribuir uma ação a um gestor se não sabemos qual agente a executou, em qual versão e com qual credencial.
As organizações já convivem com uma população crescente de identidades não humanas: contas de serviço, chaves de API, dispositivos conectados e, agora, agentes de IA.
Segundo o relatório 2025 Identity Security Landscape, da CyberArk, baseado em pesquisa da Vanson Bourne com 2.600 tomadores de decisão em segurança de 20 países, incluindo o Brasil, já existem 82 identidades de máquina para cada identidade humana nas organizações. Em infraestruturas de medição inteligente, cada medidor em campo precisa de uma identidade própria para que suas leituras tenham valor. A mesma lógica vale para cada agente que lê, decide ou executa em nome de uma organização.
A matemática que sustenta a identificação verificável
É aqui que o poder da computação se encontra com a matemática que sustenta a confiança digital. Em 1976, Whitfield Diffie e Martin Hellman propuseram o conceito de criptografia de chave pública, e em 1978 Rivest, Shamir e Adleman publicaram o algoritmo RSA, a primeira realização prática de cifragem e assinatura com chave pública.
O princípio é elegante: um par de chaves matematicamente relacionadas, em que, nos esquemas de assinatura digital, a chave privada assina e a chave pública verifica.
A segurança não depende de sigilo sobre o método, e sim da dificuldade computacional de problemas como a fatoração de grandes inteiros, no caso do RSA, ou o logaritmo discreto em curvas elípticas, no caso de algoritmos como o ECDSA. Com parâmetros adequados, forjar uma assinatura sem a chave privada exigiria recursos computacionais hoje considerados inviáveis para computadores clássicos. Um computador quântico de grande escala, porém, poderia resolver esses dois problemas com o algoritmo de Shor, o que motiva a migração para a criptografia pós-quântica.
Sobre essa base, a infraestrutura de chaves públicas vincula uma chave a uma identidade por meio de certificados digitais emitidos por uma autoridade certificadora confiável. No Brasil, desde a Medida Provisória 2.200-2/2001, documentos eletrônicos assinados com certificados ICP-Brasil têm presunção de veracidade em relação aos signatários; a Lei 14.063/2020 passou a classificar essa modalidade como assinatura eletrônica qualificada.
Aplicado a agentes de IA, esse modelo permite que cada agente tenha sua própria chave, preferencialmente protegida em hardware seguro, como um HSM (Hardware Security Module), dispositivo dedicado à geração, proteção e uso de chaves criptográficas, ou um TPM (Trusted Platform Module), componente de segurança integrado ao equipamento, com a chave privada configurada como não exportável e com proteções físicas e lógicas contra extração.
A assinatura, combinada a funções de hash resistentes a colisões e a uma cadeia confiável de identidade e gestão de chaves, permite verificar a autoria criptográfica e a integridade do registro.
Quando a chave está inequivocamente vinculada ao agente e adequadamente protegida, torna-se possível atribuir criptograficamente a ação àquela identidade digital e detectar alterações posteriores. Registros encadeados em árvores de Merkle, técnica usada no Certificate Transparency, tornam evidente qualquer tentativa de alterar ou suprimir entradas do histórico.
As credenciais verificáveis, padronizadas pelo W3C, permitem expressar de forma assinada os atributos do agente: a organização a que pertence, sua função, suas alçadas e o seu gestor responsável, verificáveis por qualquer parte e revogáveis quando necessário.
E, para sistemas de longa vida, os algoritmos pós-quânticos padronizados pelo NIST em 2024 (FIPS 203, 204 e 205) foram projetados para resistir também a ataques de computadores quânticos, o que permite planejar desde já a migração dessa infraestrutura de confiança.
Uma máquina não quer nada, mas precisa ter nome, função e responsável
Voltamos ao ponto de partida. Uma máquina não quer nada: ela executa o que foi especificado, dentro do espaço de ações que lhe foi concedido. Quando um agente de IA surpreende, a pergunta correta não é o que ele desejava, mas qual especificação permitiu aquele comportamento, qual permissão estava sobrando e qual controle deixou de mediar a ação.
Tratar a inteligência artificial como colaborador é dar a ela o que damos a qualquer profissional a quem confiamos tarefas críticas: uma função clara, poderes proporcionais e um responsável humano.
A computação moderna, aliada a identidades verificáveis ancoradas em criptografia, torna possível algo que nenhuma organização pode dispensar: registrar, de forma criptograficamente verificável e juridicamente defensável, quem fez o quê, com qual autorização e sob a responsabilidade de quem. Essa é a condição para que a identificação de agentes de IA seja confiável e auditável.
O Crypto ID agradece a José Carlos da Silva Neto e à CERMOB pela contribuição.
Referências
TURING, Alan M. On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London Mathematical Society, s2-42, p. 230-265, 1936.
https://doi.org/10.1112/plms/s2-42.1.230
SCHLATTER, Jeremy; WEINSTEIN-RAUN, Benjamin; LADISH, Jeffrey. Incomplete tasks induce shutdown resistance in some frontier LLMs. Palisade Research. arXiv:2509.14260, set. 2025 (v2, jan. 2026).
https://arxiv.org/abs/2509.14260
LYNCH, Aengus et al. Agentic misalignment: how LLMs could be insider threats. Anthropic, jun. 2025.
https://www.anthropic.com/research/agentic-misalignment
Versão em artigo: https://arxiv.org/abs/2510.05179
KRAKOVNA, Victoria et al. Specification gaming: the flip side of AI ingenuity. DeepMind Blog, 2020.
https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/
CLARK, Jack; AMODEI, Dario. Faulty reward functions in the wild. OpenAI Blog, 2016.
https://openai.com/index/faulty-reward-functions/
GOODHART, Charles A. E. Problems of monetary management: the U.K. experience. Papers in Monetary Economics, Reserve Bank of Australia, v. 1, 1975.
Sem link público. É uma publicação impressa do banco central australiano, sem versão digital aberta.
STRATHERN, Marilyn. Improving ratings: audit in the British University system. European Review, v. 5, n. 3, p. 305-321, 1997.
https://www.cambridge.org/core/journals/european-review/article/improving-ratings-audit-in-the-british-university-system/FC2EE640C0C44E3DB87C29FB666E9AAB
RICE, Henry Gordon. Classes of recursively enumerable sets and their decision problems. Transactions of the American Mathematical Society, v. 74, n. 2, p. 358-366, 1953.
https://doi.org/10.1090/S0002-9947-1953-0053041-6
KATZ, Guy et al. Reluplex: an efficient SMT solver for verifying deep neural networks. Computer Aided Verification, CAV 2017. Lecture Notes in Computer Science, v. 10426, p. 97-117, Springer, 2017.
https://arxiv.org/abs/1702.01135
ANDERSON, James P. Computer Security Technology Planning Study. ESD-TR-73-51, 1972.
Volume I: https://apps.dtic.mil/sti/pdfs/AD0758206.pdf
Volume II: https://apps.dtic.mil/sti/pdfs/AD0772806.pdf
HOARE, C. A. R. An axiomatic basis for computer programming. Communications of the ACM, v. 12, n. 10, p. 576-580, 1969.
https://doi.org/10.1145/363235.363259
MEYER, Bertrand. Applying “design by contract”. IEEE Computer, v. 25, n. 10, p. 40-51, 1992.
https://doi.org/10.1109/2.161279
SALTZER, Jerome H.; SCHROEDER, Michael D. The protection of information in computer systems. Proceedings of the IEEE, v. 63, n. 9, p. 1278-1308, 1975.
https://doi.org/10.1109/PROC.1975.9939
UNIÃO EUROPEIA. Regulamento (UE) 2024/1689 (Regulamento Europeu de Inteligência Artificial), art. 14, supervisão humana. Jornal Oficial da União Europeia, 2024.
https://eur-lex.europa.eu/eli/reg/2024/1689/oj
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1, 2023.
https://doi.org/10.6028/NIST.AI.100-1
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO/IEC 42001:2023, Information technology, Artificial intelligence, Management system. Genebra, 2023.
https://www.iso.org/standard/81230.html
BRASIL. Senado Federal. Projeto de Lei n. 2.338/2023, dispõe sobre o uso da inteligência artificial. Aprovado pelo Senado em 10 dez. 2024; em tramitação na Câmara dos Deputados.
Câmara: https://www.camara.leg.br/proposicoesWeb/fichadetramitacao?idProposicao=2487262
Senado: https://www25.senado.leg.br/web/atividade/materias/-/materia/157233
CYBERARK. 2025 Identity Security Landscape. Pesquisa conduzida pela Vanson Bourne com 2.600 tomadores de decisão em segurança de 20 países. CyberArk, abr. 2025.
https://www.cyberark.com/resources/white-papers/2025-identity-security-landscape-executive-summary
DIFFIE, Whitfield; HELLMAN, Martin E. New directions in cryptography. IEEE Transactions on Information Theory, v. 22, n. 6, p. 644-654, 1976.
https://doi.org/10.1109/TIT.1976.1055638
RIVEST, Ronald L.; SHAMIR, Adi; ADLEMAN, Leonard. A method for obtaining digital signatures and public-key cryptosystems. Communications of the ACM, v. 21, n. 2, p. 120-126, 1978.
https://doi.org/10.1145/359340.359342
SHOR, Peter W. Polynomial-time algorithms for prime factorization and discrete logarithms on a quantum computer. SIAM Journal on Computing, v. 26, n. 5, p. 1484-1509, 1997.
https://doi.org/10.1137/S0097539795293172
BRASIL. Medida Provisória n. 2.200-2, de 24 de agosto de 2001. Institui a Infraestrutura de Chaves Públicas Brasileira, ICP-Brasil.
https://www.planalto.gov.br/ccivil_03/mpv/antigas_2001/2200-2.htm
BRASIL. Lei n. 14.063, de 23 de setembro de 2020. Dispõe sobre o uso de assinaturas eletrônicas em interações com entes públicos, em atos de pessoas jurídicas e em questões de saúde e sobre as licenças de softwares desenvolvidos por entes públicos.
https://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/lei/l14063.htm
MERKLE, Ralph C. A digital signature based on a conventional encryption function. Advances in Cryptology, CRYPTO ‘87. Lecture Notes in Computer Science, v. 293, p. 369-378, Springer, 1988.
https://doi.org/10.1007/3-540-48184-2_32
LAURIE, Ben; LANGLEY, Adam; KASPER, Emilia. RFC 6962: Certificate Transparency. Internet Engineering Task Force (IETF), 2013.
https://www.rfc-editor.org/rfc/rfc6962
W3C. Verifiable Credentials Data Model v2.0. W3C Recommendation, 2025.
https://www.w3.org/TR/vc-data-model-2.0/
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). FIPS 203 (ML-KEM), FIPS 204 (ML-DSA) e FIPS 205 (SLH-DSA): padrões de criptografia pós-quântica, 2024.
https://csrc.nist.gov/pubs/fips/203/final
https://csrc.nist.gov/pubs/fips/204/final
https://csrc.nist.gov/pubs/fips/205/final
Os links “doi.org” são o identificador permanente de cada artigo e levam à página da editora. Alguns desses artigos ficam atrás de paywall, mas o link continua sendo o oficial.
IoT, identidade e rastreabilidade: quando é preciso provar qual dispositivo gerou o dado
Medidores inteligentes avançam no Brasil e colocam segurança dos dados no centro do debate
Orçamento 2027: guia da NACD ensina CISOs a falar a língua do conselho
Sobre a CERMOB
A CERMOB é o braço de tecnologia e inovação do Grupo ASAMAR, holding fundanda em 1932. Entrega ao mercado brasileiro e internacional soluções desenvolvidas com base em criptografia de alta performance, certificação digital (PKI) e assinatura digital nas mais diversas plataformas, inclusive IoT (Internet das coisas).
Leia outros artigos sobre a CERMOB publicados no Crypto ID.
Criptografia Forte é o Padrão que Mantém Bilhões de Pessoas Seguras Todos os Dias! Leia sobre Criptografia no canal que fala a sua língua! Acesse agora mesmo!
Conheça a coluna Cibersegurança.
Conselheiro de administração ou CISO? Leia também: Orçamento 2027: guia da NACD ensina CISOs a falar a língua do conselho.
