Introdução
A corrida por GPUs para rodar modelos de inteligência artificial tem se tornado um dos maiores gargalos tecnológicos e financeiros das empresas. Com a escassez global de chips e preços astronômicos, organizações gastam milhões em hardware que muitas vezes fica subutilizado. A Weka, empresa especializada em infraestrutura de dados, acaba de lançar uma solução que promete mudar esse cenário: em vez de comprar mais GPUs, por que não otimizar drasticamente o uso das que você já tem?
O NeuralMesh 6, nova plataforma de software da empresa, junto com o hardware Wekapod 3, introduz um conceito revolucionário chamado Augmented Memory Grid. A tecnologia permite que armazenamento flash NAND – muito mais barato que memória GPU – funcione como uma extensão da memória dos processadores gráficos, armazenando 100% dos tokens pré-calculados dos modelos de IA. O resultado? Redução drástica no desperdício computacional e melhor aproveitamento do investimento existente em GPUs.
O problema oculto da IA em produção
Para entender a importância dessa inovação, é preciso compreender um problema técnico que afeta praticamente todas as aplicações de IA generativa em produção. Quando você interage com um chatbot como o ChatGPT ou Claude, cada nova mensagem força o modelo a recalcular todo o contexto da conversa desde o início. É como se, a cada pergunta, o sistema precisasse reler e processar novamente toda a conversa anterior.
Liran Zvibel, CEO e co-fundador da Weka, exemplifica: “Se você tem uma conversa com 10 turnos, o sistema pode recalcular o contexto 100 vezes. Com 20 turnos, esse número sobe para 400 vezes”. Esse reprocessamento consome memória e poder computacional das GPUs que poderiam estar atendendo outros usuários ou gerando novas respostas.
O problema se agrava com a tendência atual de modelos com janelas de contexto cada vez maiores. Enquanto os primeiros modelos processavam apenas alguns milhares de tokens por vez, sistemas modernos como o Claude 3 da Anthropic podem processar mais de 100 mil tokens – equivalente a um livro inteiro. Quanto maior a janela de contexto, mais custoso se torna o reprocessamento.
A solução: transformando armazenamento em memória estendida
A abordagem da Weka é elegante em sua simplicidade conceitual. Durante o processamento de IA, existem duas fases principais: prefill (pré-preenchimento), onde o modelo calcula a atenção – o mecanismo central dos large language models – e decode (decodificação), que transforma esses cálculos em texto. A fase de prefill é computacionalmente cara; a de decode, relativamente leve.
O Augmented Memory Grid armazena os resultados da fase de prefill em memória flash NAND, que custa uma fração do preço da memória GPU. Quando o modelo precisa acessar contexto já processado, em vez de recalcular tudo, simplesmente recupera os dados do armazenamento ultrarrápido. “Você pode colocar duas ordens de magnitude mais NAND do que poderia pagar em memória compartilhada”, explica Zvibel.
Mas não é apenas sobre adicionar mais armazenamento. O NeuralMesh 6 introduz quatro capacidades fundamentais que tornam essa abordagem viável em escala empresarial:
Multi-tenancy composável e virtual
Um dos grandes desafios em ambientes corporativos é isolar diferentes cargas de trabalho e equipes. A Weka permite que um único cluster suporte até 50.000 tenants (inquilinos) virtuais, com isolamento completo em nível de hardware para aplicações críticas. Isso significa que diferentes departamentos ou projetos podem compartilhar a mesma infraestrutura sem riscos de interferência ou problemas de segurança.
Armazenamento unificado de arquivos e objetos
Tradicionalmente, sistemas de IA precisam lidar com dois tipos de armazenamento: baseado em arquivos (usado no treinamento) e baseado em objetos (formato S3, usado na inferência). A Weka elimina a necessidade de duplicação ou tradução entre formatos – os mesmos dados físicos podem ser acessados diretamente por qualquer caminho, com performance duas ordens de magnitude superior ao S3 convencional.
Replicação metadata-first
Quando empresas precisam mover dados entre data centers ou clouds, normalmente esperam dias ou semanas para a transferência completa. A nova abordagem da Weka permite que ambientes de destino se tornem navegáveis imediatamente, com dados sendo hidratados sob demanda. “Nossos clientes agora conseguem pegar uma nova alocação de GPUs e começar a rodar em uma hora”, afirma Zvibel.
AlloyFlash e redução de dados sempre ativa
A plataforma mistura inteligentemente dois tipos de memória flash – TLC (mais rápida e cara) e QLC (mais lenta e barata) – roteando automaticamente cargas de trabalho sensíveis à latência para o armazenamento mais rápido. A redução de dados agora roda por padrão, otimizando ainda mais o uso do espaço disponível.
Impacto no mercado brasileiro de IA
Para o mercado brasileiro, onde o acesso a GPUs de última geração é ainda mais limitado e caro devido a questões cambiais e logísticas, a solução da Weka pode ser particularmente relevante. Empresas que estão implementando assistentes internos, chatbots de atendimento ao cliente ou sistemas de análise com IA poderiam reduzir significativamente seus custos operacionais.
Considere um banco brasileiro desenvolvendo um assistente virtual para atendimento. Com a tecnologia tradicional, cada interação longa com um cliente consumiria recursos preciosos de GPU recalculando todo o histórico da conversa. Com o Augmented Memory Grid, esses cálculos seriam feitos uma única vez e reutilizados, permitindo que as mesmas GPUs atendam muito mais clientes simultaneamente.
O mesmo princípio se aplica a empresas de e-commerce usando IA para recomendações personalizadas, escritórios de advocacia implementando assistentes de pesquisa jurídica, ou startups desenvolvendo ferramentas de produtividade baseadas em IA.
Competição acirrada no mercado de infraestrutura para IA
A Weka não está sozinha nessa corrida. Gigantes como Dell, NetApp e Pure Storage têm reposicionado suas ofertas para o mercado de IA nos últimos dois anos. A VAST Data, em particular, é frequentemente mencionada como concorrente direto, também focada em soluções nativas para IA desde sua fundação.
Steve McDowell, analista-chefe da NAND Research, destaca que a Weka mantém a implementação de cache KV (key-value) mais tecnicamente capaz do mercado com seu Augmented Memory Grid. “Eles foram pioneiros com essa tecnologia e continuam inovando. Isso é crítico para inferência de IA, pois permite um nível de eficiência de GPU que, sem dúvida, economiza dinheiro em GPUs e memória”.
Um diferencial importante da Weka é oferecer garantias contratuais sobre suas promessas de redução de dados – algo que McDowell considera subestimado pelo mercado. Enquanto muitos fornecedores fazem promessas vagas sobre economia, a Weka coloca essas garantias em contrato.
Considerações para implementação
A tecnologia é mais relevante para organizações que já operam IA em escala ou esperam crescimento rápido no uso. Empresas menores ou com deployments limitados podem não ver benefícios imediatos comparados a organizações onde a utilização de GPU já se tornou um fator limitante.
Os casos de uso mais promissores incluem:
– Copilots internos para desenvolvimento de software, onde desenvolvedores mantêm sessões longas com muito contexto de código
– Sistemas de atendimento ao cliente com conversas multi-turno complexas
– Ferramentas de análise e pesquisa que processam grandes volumes de documentos
– Aplicações de retrieval-augmented generation (RAG) com janelas de contexto extensas
Para compradores avaliando soluções concorrentes, McDowell aconselha: “Um comprador inteligente olhará como fornecedores concorrentes estão resolvendo problemas do mundo real hoje. Eles fazem isso conversando com organizações rodando cargas de trabalho similares em escala similar. Se um fornecedor não pode apontar para isso, deve ser um sinal de alerta”.
O futuro da infraestrutura de IA
A abordagem da Weka representa uma mudança de paradigma importante: em vez de tratar a escassez de GPU como um problema inevitável que só pode ser resolvido comprando mais hardware, a empresa propõe otimizar radicalmente o uso do hardware existente através de software inteligente e arquitetura inovadora.
Essa tendência deve se acelerar conforme mais empresas movem aplicações de IA para produção e enfrentam a realidade dos custos operacionais. Soluções que prometem “fazer mais com menos” tendem a ganhar tração rapidamente, especialmente em mercados como o brasileiro onde o acesso a recursos computacionais de ponta é mais desafiador.
Conclusão
O lançamento do NeuralMesh 6 e Wekapod 3 pela Weka marca um momento importante na evolução da infraestrutura para IA. Ao resolver o problema do desperdício computacional em conversas multi-turno e contextos longos, a empresa oferece um caminho para que organizações maximizem o retorno sobre seus investimentos em GPU sem necessariamente comprar mais hardware.
Para empresas brasileiras explorando ou expandindo suas iniciativas de IA, a mensagem é clara: antes de assinar aquele contrato milionário para mais GPUs, vale investigar se sua infraestrutura atual está sendo utilizada de forma otimizada. Com soluções como a da Weka, a resposta para muitos problemas de performance em IA pode não estar em mais hardware, mas em storage mais inteligente.
À medida que a IA se torna cada vez mais central para a competitividade empresarial, inovações em infraestrutura como essa serão fundamentais para democratizar o acesso a essas tecnologias e tornar viável sua adoção em larga escala. O futuro da IA pode depender menos de quem tem mais GPUs e mais de quem as usa de forma mais eficiente.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em VentureBeat, disponível em https://venturebeat.com/data/stop-adding-more-gpus-wekas-new-storage-platform-reduces-load-by-caching-100-of-ai-models-pre-calculated-tokens.
