Integração combina gestão, governança e processamento de dados da Cloudera com a infraestrutura de alto desempenho da VAST Data para ambientes de IA híbridos e privados
A parceria anunciada entre Cloudera e VAST Data interessa menos pelo conceito de uma nova “fábrica de IA” e mais pela combinação das tecnologias das duas empresas. De um lado, a Cloudera oferece a camada responsável por organizar, processar, governar e disponibilizar os dados. Do outro, a VAST Data fornece a infraestrutura capaz de armazenar e movimentar grandes volumes dessas informações com velocidade compatível com clusters de GPUs e aplicações intensivas de inteligência artificial.
Na prática, a integração procura resolver um problema que começa a aparecer à medida que projetos corporativos de IA deixam a fase experimental: não basta ter modelos e capacidade computacional. É necessário fazer os dados chegarem continuamente às aplicações de IA, com desempenho, governança e controle.
Para empresas brasileiras, principalmente aquelas que mantêm sistemas próprios, utilizam diferentes provedores de nuvem ou operam sob exigências regulatórias, esse desenho pode ser particularmente relevante porque não obriga que toda a operação de IA seja transferida para uma única nuvem pública.
O que cada empresa acrescenta
A Cloudera entra na parceria com sua arquitetura lakehouse e serviços destinados a engenharia de dados, streaming, analytics, machine learning, inteligência artificial e governança.
São essas camadas que permitem, por exemplo, coletar informações originadas em diferentes sistemas, tratá-las, estabelecer políticas de acesso e preparar os dados que serão utilizados por modelos de IA.
Outro ponto é a portabilidade. Os serviços da Cloudera são conteinerizados e podem operar em diferentes ambientes, incluindo data centers próprios, nuvens privadas e nuvens públicas.
A VAST Data atua em outra parte da arquitetura.
Seu AI Operating System reúne armazenamento de alto desempenho, serviços de banco de dados e um namespace global capaz de disponibilizar grandes volumes de dados para diferentes aplicações. A arquitetura Disaggregated Shared Everything, ou DSE, da empresa foi desenvolvida para trabalhar com infraestruturas de grande escala e cargas intensivas de dados.
Isso inclui os enormes volumes de informação estruturada, não estruturada e multimodal utilizados por aplicações contemporâneas de IA.
A VAST também integra recursos de busca vetorial acelerados por GPU, utilizando o NVIDIA cuVS, tecnologia importante em aplicações que precisam localizar rapidamente informações semanticamente relacionadas, como sistemas de geração aumentada por recuperação, os chamados RAGs.
A junção, portanto, acontece entre duas camadas diferentes: a Cloudera administra e governa o ciclo de utilização dos dados, enquanto a VAST fornece a infraestrutura de armazenamento e movimentação desses dados para aplicações de alto desempenho.
Um problema que vai além das GPUs
Essa integração também chama atenção para uma questão que normalmente recebe menos destaque nos investimentos em inteligência artificial.
Empresas podem adquirir GPUs de alto custo e ainda assim não conseguir utilizá-las plenamente.
Quando os sistemas de armazenamento e processamento não conseguem fornecer informações na velocidade necessária, os aceleradores permanecem parcialmente ociosos esperando dados. É o problema conhecido como “GPU starvation”.
A arquitetura Cloudera-VAST procura reduzir esse gargalo criando pipelines de alta largura de banda e baixa latência entre os dados corporativos e a infraestrutura computacional utilizada pelos modelos.
Para uma organização, isso significa que a discussão sobre retorno do investimento em IA passa a incluir não apenas quantas GPUs foram adquiridas, mas quanto tempo elas efetivamente permanecem processando informações.
Onde está o interesse para empresas brasileiras
No Brasil, um dos aspectos mais relevantes dessa arquitetura está justamente na possibilidade de combinar ambientes.
Grandes bancos, seguradoras, empresas de telecomunicações, indústrias, organizações de saúde e companhias que operam infraestruturas críticas normalmente não começam seus projetos de IA sobre uma folha em branco. Elas possuem data centers, sistemas legados, grandes bases históricas e diferentes contratos de nuvem.
Também precisam decidir quais informações podem ser processadas externamente e quais devem permanecer sob maior controle da própria organização.
A proposta da Cloudera e da VAST permite construir uma camada de IA que opere sobre ambientes híbridos, evitando que a adoção da tecnologia dependa necessariamente da movimentação de todos os dados para uma única infraestrutura.
Esse modelo também pode ser importante para projetos de IA privada ou soberana, nos quais a empresa pretende manter maior controle sobre dados, modelos, políticas de acesso e infraestrutura.
Não significa eliminar a nuvem pública. Significa poder decidir onde cada componente deve operar.
Da preparação dos dados à inferência
A arquitetura ainda incorpora tecnologias da NVIDIA.
Ela utiliza como referência a NVIDIA AI Data Platform e pode integrar o NVIDIA AI Enterprise, os microsserviços NVIDIA NIM e modelos como os NVIDIA Nemotron.
O Cloudera AI Inference Service permite executar modelos próximos dos dados corporativos, enquanto cargas Apache Spark podem ser aceleradas com NVIDIA cuDF e processamento por GPU.
O resultado é uma arquitetura que tenta conectar etapas que muitas empresas ainda mantêm separadas: ingestão, armazenamento, processamento, governança, treinamento e inferência.
Esse talvez seja o ponto mais importante da parceria.
À medida que empresas passam de provas de conceito para aplicações de IA em produção, a infraestrutura deixa de ser apenas uma questão de capacidade computacional. Dados precisam estar disponíveis, governados e acessíveis na velocidade exigida pelos modelos.
Cloudera e VAST Data estão atacando partes diferentes desse problema e, agora, tentando tratá-las como uma única arquitetura.
Para empresas brasileiras, a principal consequência não está na criação de mais uma plataforma de IA, mas na possibilidade de utilizar inteligência artificial sobre grandes ambientes de dados já existentes, inclusive mantendo cargas críticas dentro da própria infraestrutura e escolhendo onde cada dado e cada modelo devem operar.
Vazamento invisível: uso amador de IA no atendimento médico expõe dados de pacientes
Eletronet amplia infraestrutura de conectividade para inteligência artificial
Acompanhe o melhor conteúdo sobre Inteligência Artificial publicado no Brasil.
