Introdução
Um novo estudo com 170 grandes empresas revela uma realidade preocupante: enquanto 66% já operam cargas de trabalho de IA em produção, apenas 47% conseguem rastrear rigorosamente os custos dessa infraestrutura. A pesquisa, que analisou organizações com mais de 100 funcionários, mostra que as empresas estão priorizando performance e disponibilidade de GPUs em detrimento do controle financeiro — uma estratégia que pode se tornar insustentável à medida que os investimentos em IA se intensificam.
O cenário é especialmente relevante para o mercado brasileiro, onde muitas empresas estão acelerando suas iniciativas de IA sem necessariamente ter estabelecido mecanismos adequados de governança e controle de custos. Com a pressão para implementar soluções de IA generativa e competir globalmente, gestores brasileiros podem estar cometendo os mesmos erros identificados no estudo: comprar capacidade computacional sem visibilidade clara sobre o retorno do investimento.
A maturidade operacional não se traduz em maturidade financeira
O estudo revela que as empresas fizeram progressos significativos na operacionalização da IA. Dos participantes, 37% têm algumas cargas de trabalho em produção (mas não em toda a organização), 29% já operam IA em produção em escala, e apenas 30% ainda estão na fase de provas de conceito. Esse é um sinal claro de que a IA deixou de ser experimental para se tornar operacional na maioria das organizações.
No entanto, essa maturidade operacional não se reflete no controle financeiro. Entre as empresas que operam suas próprias GPUs, 69% reportam utilização de 50% ou menos, com 46% operando na faixa de 26-50% de utilização. Ainda mais preocupante: 12% das empresas sequer medem a utilização de suas GPUs. Isso significa que recursos computacionais extremamente caros estão sendo subutilizados, gerando desperdício significativo.
Para contextualizar, imagine uma empresa brasileira que investe milhões de reais em servidores com GPUs NVIDIA A100 ou H100, mas utiliza apenas metade dessa capacidade. É como comprar uma frota de caminhões de última geração e deixá-los parados na garagem metade do tempo. Em um cenário onde o acesso a GPUs de alta performance é escasso e caro, esse desperdício representa não apenas perda financeira, mas também oportunidade perdida de acelerar iniciativas de IA.
A mudança nas prioridades de compra revela pressão por resultados
Um dos achados mais reveladores da pesquisa é a mudança nas prioridades de compra de infraestrutura de IA. Enquanto a integração com a stack existente de cloud e dados permanece como o fator principal (40%), performance (latência e throughput) subiu para segundo lugar com 35%, e disponibilidade de GPUs para terceiro com 24%. O custo total de propriedade (TCO) caiu para quarto lugar, com apenas 22% das empresas o considerando como fator primário.
Essa reordenação reflete a pressão que as equipes enfrentam para entregar resultados rápidos com IA. Quando um modelo de linguagem precisa responder em milissegundos para melhorar a experiência do cliente, ou quando uma aplicação de visão computacional precisa processar milhares de imagens por segundo, a performance se torna crítica. O problema é que, sem visibilidade adequada dos custos, as empresas podem estar pagando um preço excessivo por essa performance.
A mesma lógica se aplica às métricas de sucesso. Uptime e confiabilidade lideram com 51%, seguidos por produtividade do desenvolvedor (39%), enquanto o custo por milhão de tokens fica em terceiro com apenas 31%. Empresas brasileiras que seguem essa tendência podem estar criando uma bomba-relógio financeira, especialmente considerando que os custos de infraestrutura de IA podem facilmente escalar para milhões de reais por mês em operações de grande escala.
O paradoxo da nuvem especializada: muito interesse, pouca adoção
O estudo identifica uma desconexão significativa entre intenção e realidade quando se trata de provedores especializados de cloud para IA. Enquanto 44% das empresas planejam avaliar clouds especializadas em IA (como CoreWeave, Lambda, Crusoe) nos próximos 12 meses, apenas 3,5% realmente as utilizam hoje. Essa é a maior lacuna entre intenção e ação em todo o conjunto de dados.
Para o mercado brasileiro, isso levanta questões importantes. Muitas empresas podem estar considerando alternativas aos hyperscalers tradicionais (AWS, Azure, Google Cloud) em busca de melhor performance ou disponibilidade de GPUs. No entanto, a baixa taxa de adoção real sugere que existem barreiras significativas — sejam elas técnicas, contratuais ou relacionadas à maturidade desses novos provedores.
A realidade é que a maioria das empresas continua operando em uma combinação de hyperscalers e APIs de modelos. O estudo mostra que as empresas usam, em média, três plataformas diferentes, com OpenAI (49%), Google Gemini (48%), Microsoft Azure (47%) e Google Cloud (42%) dominando o cenário. Essa abordagem multi-cloud pode oferecer flexibilidade, mas também adiciona complexidade ao já desafiador problema de rastreamento de custos.
A próxima fronteira: memória, não compute
Um aspecto particularmente interessante do estudo é a análise sobre o próximo gargalo em infraestrutura de IA: a mudança de compute para memória, especificamente capacidade de KV-cache para inferência em larga escala. Apenas 24% das empresas apontam para soluções da Dell, 21% para tecnologias da NVIDIA, enquanto 19% ainda não reconhecem isso como uma limitação ou não começaram a endereçá-la.
Essa falta de preparação é preocupante, especialmente para empresas que planejam escalar significativamente suas operações de IA. À medida que modelos de linguagem se tornam maiores e mais complexos, a memória necessária para manter o contexto das conversações (KV-cache) se torna um gargalo crítico. Empresas brasileiras que não se preparam para essa transição podem se ver limitadas em sua capacidade de escalar aplicações de IA conversacional.
Implicações para o mercado brasileiro
Os achados deste estudo têm implicações diretas para empresas brasileiras que estão investindo em IA. Primeiro, a falta de visibilidade sobre custos é um risco significativo, especialmente em um ambiente econômico onde o controle de despesas é crítico. Com o real desvalorizado frente ao dólar, os custos de infraestrutura de IA — majoritariamente precificados em dólares — podem rapidamente sair de controle.
Segundo, a baixa utilização de GPUs representa uma oportunidade imediata de otimização. Empresas brasileiras deveriam investir em ferramentas e processos para melhorar a utilização de sua infraestrutura existente antes de buscar expansão. Isso pode incluir implementação de sistemas de fila mais eficientes, melhor agendamento de jobs, ou compartilhamento de recursos entre diferentes equipes e projetos.
Terceiro, a tendência de priorizar performance sobre custo pode fazer sentido para aplicações críticas, mas precisa ser balanceada com uma visão clara do retorno sobre investimento. Empresas brasileiras precisam desenvolver métricas claras que conectem o investimento em infraestrutura de IA com resultados de negócio tangíveis.
Recomendações práticas para gestores
Com base nos achados do estudo, gestores brasileiros deveriam considerar as seguintes ações:
1. Implementar imediatamente sistemas de monitoramento e rastreamento de custos para infraestrutura de IA. Isso inclui não apenas o custo direto de compute, mas também custos indiretos como transferência de dados, armazenamento e overhead operacional.
2. Estabelecer benchmarks claros de utilização de GPU e criar planos de ação para melhorar a eficiência. Uma meta inicial poderia ser alcançar pelo menos 70% de utilização em GPUs de produção.
3. Desenvolver uma estratégia clara para avaliação de provedores alternativos de cloud, mas com critérios objetivos que incluam não apenas performance, mas também custo total, suporte local e integração com sistemas existentes.
4. Investir em capacitação das equipes para entender não apenas os aspectos técnicos da IA, mas também os econômicos. Isso inclui treinamento em FinOps (Financial Operations) específico para cargas de trabalho de IA.
5. Começar a planejar para os próximos gargalos, incluindo limitações de memória para inferência em larga escala, mesmo que isso ainda não seja um problema imediato.
Conclusão
O estudo revela uma verdade inconveniente sobre o estado atual da infraestrutura de IA empresarial: as empresas estão voando às cegas quando se trata de custos. Enquanto 66% operam IA em produção e 62% planejam mudar ou adicionar provedores nos próximos 12 meses, apenas 47% conseguem rastrear rigorosamente o que gastam e qual o retorno desses investimentos.
Para o mercado brasileiro, isso serve como um alerta importante. A corrida para implementar IA não pode acontecer às custas da disciplina financeira e operacional. Com a crescente importância da IA para a competitividade empresarial, estabelecer controles adequados agora pode fazer a diferença entre sucesso sustentável e fracasso custoso no futuro.
A mensagem é clara: não basta implementar IA; é preciso fazê-lo de forma eficiente, mensurável e economicamente sustentável. As empresas que conseguirem equilibrar a necessidade de performance e disponibilidade com controle rigoroso de custos serão as vencedoras na corrida da IA empresarial.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria “Infrastructure and compute: Enterprises are buying AI compute for speed while flying blind on what it costs” publicada em VentureBeat, disponível em https://venturebeat.com/resources/infrastructure-and-compute-enterprises-are-buying-ai-compute-for-speed-while-flying-blind-on-what-it-costs.
