Gartner explica que a observabilidade de LLM e a IA Explicável constituem camadas essenciais de confiança para a expansão de GenAI
O Gartner, Inc., empresa de insights de negócios e tecnologia, prevê que, até 2028, a crescente importância da Inteligência Artificial Explicável (XAI) impulsionará os investimentos em observabilidade de Grandes Modelos de Linguagem (LLMs) para 50% das implementações de Inteligência Artificial Generativa (GenAI), contra os atuais 15%.
O Gartner define a XAI como um conjunto de recursos que descreve um modelo, destaca seus pontos fortes e fracos, prevê seu comportamento provável e identifica quaisquer vieses potenciais. Ela pode esclarecer o funcionamento de um modelo para um público específico para garantir precisão, imparcialidade, responsabilidade, estabilidade e transparência na tomada de decisões algorítmicas.
Soluções de observabilidade de LLM monitoram, analisam e fornecem insights acionáveis sobre o comportamento e o desempenho dos Grandes Modelos de Linguagem. Elas vão além das métricas padrão de TI, como tempos de resposta, para examinar métricas específicas de LLM, tais como alucinações, viés e utilização de tokens.
Essas ferramentas são utilizadas por equipes que desenvolvem e operacionalizam sistemas de Inteligência Artificial (IA) e, cada vez mais, por equipes de operações de TI e Engenharia de Confiabilidade de Sites (SREs) responsáveis pelo desempenho e resiliência desses sistemas em produção.
“Conforme as organizações expandem a GenAI, a exigência de confiança cresce mais rápido do que a própria tecnologia”, diz Pankaj Prasad, Analista Sênior Principal do Gartner. “A XAI oferece visibilidade sobre por que um modelo respondeu de determinada maneira, enquanto a observabilidade de LLMs valida como essa resposta foi gerada e se ela é confiável.”
“Sem bases sólidas de XAI e observabilidade, as iniciativas de GenAI ficarão restritas a tarefas de baixo risco, internas ou não críticas, nas quais a verificação dos outputs é facilmente gerenciada ou irrelevante, limitando severamente o potencial Retorno sobre o Investimento (ROI).”
Tópicos como esse e outros relacionados a Data & Analytics (D&A), incluindo governança, confiança e transparência em insights orientados por IA, serão destaque durante a Conferência Gartner Data & Analytics, que será realizada nos dias 28 e 29 de abril em São Paulo (SP).
Crescente necessidade de XAI e observabilidade de LLM como mecanismos de confiança obrigatórios
O Gartner prevê que o mercado global de modelos de GenAI ultrapassará US$ 25 bilhões em 2026 e atingirá US$ 75 bilhões até 2029, impulsionado pela rápida adoção em todos os setores. Conforme o uso aumenta, também cresce a necessidade de mecanismos que verifiquem o conteúdo gerado por IA e protejam contra alucinações, imprecisões factuais e raciocínios enviesados.
“A observabilidade tradicional está focada em velocidade e custo, mas a prioridade agora está se voltando para medidas de qualidade mais profundas, como precisão factual, correção lógica e comportamento excessivamente complacente (sycophancy). Essa mudança requer novas métricas e métodos de avaliação focados na governança, como a validação com intervenção humana (human-in-the-loop) da narrativa do conteúdo gerado e da precisão das citações”, diz Prasad.
“A explicabilidade transforma outputs de GenAI em um insight defensável e auditável. A observabilidade de LLM garante que o modelo se comporte conforme o esperado ao longo do tempo. Sem ambos, a Inteligência Artificial Generativa não pode amadurecer além de ambientes de laboratório controlados.”
Para melhorar a confiabilidade, a transparência e o valor para os negócios dos casos de uso da GenAI, as organizações devem priorizar as seguintes etapas:
- Rastreabilidade de XAI para casos de uso de alto impacto: Exigir a rastreabilidade verificável de XAI para todos os casos de uso de GenAI de alto impacto, para documentar as etapas de raciocínio do modelo e os dados de origem por trás de cada output.
- Observabilidade multidimensional de LLM: Priorizar plataformas de observabilidade que monitorem latência, desvio (drift), uso e custo de tokens, taxas de erro e métricas de qualidade dos outputs para garantir um desempenho confiável da GenAI.
- Avaliação contínua de LLM em pipelines de integração contínua (CI) / entrega contínua (CD): Integrar métricas de avaliação de LLM, incluindo benchmarks de precisão factual e verificações de segurança, em pipelines de CI / CD para validação contínua antes da implementação.
- Capacitação de stakeholders sobre requisitos de explicabilidade: Educar as equipes jurídicas, de conformidade e outros stakeholders importantes sobre os requisitos de explicabilidade para garantir o alinhamento em relação a riscos, expectativas de governança e desafios de implementação.
Os clientes do Gartner podem ler mais em “Predicts: AI will unlock Observability at Scale”. Saiba como acelerar a transformação digital integrando IA, otimizando custos de Nuvem e construindo uma infraestrutura resiliente no roadmap gratuito do Gartner, “Boost Your I&O Leadership: Proven Tactics to Align CIO Priorities”.
Gartner é a autoridade mundial em IA
O Gartner é o parceiro indispensável para executivos C-Level e fornecedores de tecnologia à medida que implementam estratégias de IA para alcançar suas prioridades de missão crítica. A independência e a objetividade dos insights do Gartner proporcionam aos clientes a confiança necessária para tomar decisões bem fundamentadas e desbloquear todo o potencial da IA.
Clientes C-Level estão usando a ferramenta de IA do Gartner AskGartner para definir como aproveitar a IA em seus negócios. Com mais de 2.500 especialistas em negócios e tecnologia, 6.000 insights escritos, além de mais de 1.000 casos de uso e estudos de caso de IA, o Gartner é a autoridade mundial em IA.
Sobre a Conferência Gartner Data & Analytics
Os analistas do Gartner fornecerão análises adicionais sobre tendências de Data e Analytics nas Conferências Gartner Data & Analytics, que acontecerão em 28 e 29 de abril em São Paulo (Brasil), 11 a 13 de maio em Londres (Reino Unido), 19 a 21 de maio em Tóquio (Japão), 16 e 17 de junho em Sydney (Austrália) e 21 e 22 de setembro em Mumbai (Índia).
Sobre o Gartner for Infrastructure & IT Operations Leaders
O Gartner for Infrastructure & IT Operations Leaders ajuda os gestores de I&O a reinventar a forma como entregam valor para os negócios.
Sobre o Gartner
O Gartner, Inc. fornece insights objetivos e acionáveis que impulsionam decisões mais inteligentes e um melhor desempenho para as prioridades de missão crítica das empresas.
Fortinet lança FortiOS 8.0 para proteger o uso de IA nas empresas e ameaças da era quântica
AUTOCOM 2026 mostra varejo mais digital e expõe desafios da reforma tributária
IA corporativa: produtividade ampliada pressiona a governança e a segurança
Acompanhe o melhor conteúdo sobre Inteligência Artificial publicado no Brasil.
Cadastre-se para receber o IDNews e acompanhe o melhor conteúdo do Brasil sobre Identificação Digital! Aqui!
