Introdução
Uma nova pesquisa com 573 líderes técnicos de empresas com mais de 100 funcionários revelou um dado surpreendente sobre a infraestrutura de IA: 86% das organizações que possuem suas próprias GPUs reportam utilização de 50% ou menos. Este número chega em meio a um intenso debate em Wall Street sobre se o investimento massivo em infraestrutura de IA está sendo excessivo. A pesquisa, conduzida pela VentureBeat Research em junho de 2024, oferece uma visão do lado comprador – as empresas que estão efetivamente adquirindo e operando o hardware mais caro de seus data centers.
O estudo também revelou que as empresas estão implementando agentes de IA antes de ter os controles adequados para gerenciá-los, e agora estão correndo para implementar retroativamente sistemas de governança. Aproximadamente seis em cada dez empresas planejam trocar ou adicionar fornecedores em cada uma das cinco camadas de controle nos próximos 12 meses, com cerca de um terço planejando mudanças ainda neste trimestre.
Hardware caro permanece ocioso nas empresas
O dado mais impactante da pesquisa é que 86% das empresas que operam suas próprias GPUs reportam utilização de 50% ou menos. Para colocar isso em perspectiva, estamos falando do hardware mais caro que essas organizações possuem – GPUs de última geração que podem custar dezenas de milhares de dólares cada uma – funcionando em apenas metade de sua capacidade.
A situação é agravada por uma lacuna de medição: apenas 44% das empresas rastreiam rigorosamente o que sua computação de IA realmente custa e retorna. Todos os outros estão apenas estimando. Isso significa que mais da metade das organizações não tem visibilidade real sobre o ROI de seus investimentos em hardware de IA.
Apesar dessa subutilização, o processo de compras corporativas continua: 45% dessas empresas dizem que a opção de computação emergente que provavelmente avaliarão nos próximos 12 meses é uma nuvem especializada em IA (como CoreWeave, Lambda, Crusoe ou Nebius). No entanto, menos de 2% dessas empresas relatam usar uma dessas neoclouds hoje.
Aproximadamente um em cada três empresas parece estar considerando uma alternativa à Nvidia: 32% das empresas nomearam aceleradores não-Nvidia (AWS Trainium, Google TPUs, AMD) como a opção que provavelmente avaliarão, enquanto 28% mencionaram GPUs Nvidia de próxima geração.
A maioria dos “agentes” são apenas chatbots disfarçados
Outro achado revelador é que 71% das empresas dizem que um quarto ou menos de seus “agentes” implantados podem completar tarefas de múltiplas etapas por conta própria. O restante são chatbots de prompt único – essencialmente assistentes que respondem a uma pergunta por vez, sem capacidade real de autonomia.
Apenas 10% das organizações dizem que agentes verdadeiros – aqueles capazes de executar fluxos de trabalho complexos sem intervenção humana em cada etapa – são a maioria do que executam. Isso contrasta drasticamente com as previsões da indústria. A Gartner, por exemplo, previu que 40% dos aplicativos empresariais estarão integrados com agentes de IA específicos para tarefas até o final de 2026.
A discrepância importa por duas razões práticas. Primeiro, os números inflacionados de adoção são o benchmark que conselhos e fornecedores usam para pressionar líderes técnicos a se moverem mais rápido – e esses dados mostram que a barra real é muito mais baixa do que as manchetes sugerem. Segundo, o rótulo determina a conta: um chatbot de prompt único com um humano lendo cada resposta não precisa de nenhum dos controles de identidade, avaliação e custo que este relatório cobre, enquanto um verdadeiro agente de múltiplas etapas precisa de todos eles.
Empresas removem humanos do loop sem confiar nas avaliações automatizadas
Um dos achados mais preocupantes é que 66% das empresas se enquadram em um de dois campos: 34% já permitem que um agente de IA envie uma mudança de código ou sistema para produção baseado apenas em resultados de avaliação automatizada, sem revisão humana, e outros 33% estão ativamente projetando seus pipelines para permitir isso nos próximos 12 meses.
O problema? Apenas 5% confiam plenamente nas avaliações automatizadas que tomariam essa decisão. Essa desconfiança é justificada: metade das empresas lançou um agente que passou nas avaliações internas e depois causou uma falha voltada para o cliente no ano passado; um quarto viu isso acontecer mais de uma vez.
Quando perguntadas sobre a maior fraqueza em suas avaliações atuais, mais empresas escolheram “alinhamento ruim com resultados do mundo real” do que qualquer outra resposta – 29% dos respondentes. E a maioria da verificação acontece antes de um agente ser lançado, depois para. Uma vez que os agentes estão ao vivo com usuários reais, apenas 23% das empresas executam verificações de qualidade em tempo real nas respostas que esses agentes produzem.
Compartilhamento de credenciais aumenta riscos de segurança
A pesquisa revelou que 69% das empresas permitem compartilhamento de credenciais de agentes em algum lugar de sua frota durante o tempo de execução – significando múltiplos agentes operando sob uma chave de API ou conta de serviço. Essas empresas foram muito mais propensas a serem atingidas: organizações com compartilhamento de credenciais em qualquer lugar da frota experimentaram um incidente de segurança ou quase-acidente a uma taxa de 63,5%, contra 40,9% onde cada agente tem sua própria identidade com escopo definido.
Isso significa que 54% das empresas tiveram um incidente de segurança de agente ou um quase-acidente detectado antes de causar danos nos últimos 12 meses. Além disso, 27% exercem apenas controle reativo do gasto do agente – eles aprendem quanto um agente custa quando a fatura chega, sem orçamento por agente ou teto estabelecido.
Contexto empresarial inadequado leva a respostas erradas confiantes
Cinquenta e sete por cento das empresas rastrearam pelo menos uma resposta confiante e errada de agente nos últimos seis meses até contexto de negócios ausente ou inconsistente: métricas erradas, definições desatualizadas, documentos ausentes. A maioria delas viu isso acontecer mais de uma vez.
A maioria das empresas está corrigindo isso, mesmo tendo avançado com a implantação de agentes: 25% já executam uma camada semântica governada, ou uma definição governada do negócio da qual cada IA lê, em produção. No entanto, 34% ainda estão construindo uma, e 41% não começaram. A lição é clara: governe as definições das quais seus agentes respondem, métricas e entidades primeiro, antes de escalar os agentes que dependem delas.
O que isso significa para o mercado brasileiro
Os dados desta pesquisa têm implicações profundas para empresas brasileiras que estão investindo ou planejando investir em infraestrutura de IA. Primeiro, a subutilização massiva de GPUs sugere que muitas organizações estão comprando hardware caro sem uma estratégia clara de implementação ou métricas de sucesso definidas.
Para o contexto brasileiro, onde o custo de hardware importado é ainda mais alto devido a impostos e câmbio, essa ineficiência representa um desperdício significativo de recursos. Empresas brasileiras deveriam considerar começar com soluções em nuvem ou modelos de compartilhamento de recursos antes de investir em hardware próprio.
A revelação de que a maioria dos “agentes” são apenas chatbots também é relevante. Muitas empresas brasileiras podem estar sendo pressionadas por fornecedores a adotar soluções de “agentes de IA” que, na prática, oferecem pouco mais do que assistentes de chat básicos. É crucial entender a diferença entre um chatbot que responde perguntas e um agente verdadeiramente autônomo capaz de executar tarefas complexas.
A questão da segurança é particularmente crítica no contexto da LGPD (Lei Geral de Proteção de Dados). O compartilhamento de credenciais entre agentes não apenas aumenta o risco de incidentes de segurança, mas também pode complicar a conformidade regulatória e a auditoria de acesso a dados pessoais.
Conclusão
A pesquisa da VentureBeat Research oferece um retrato revelador do estado atual da implementação de IA nas empresas. Enquanto o hype em torno da IA continua crescendo, a realidade no chão de fábrica é de infraestrutura subutilizada, controles inadequados e uma corrida para implementar governança retroativamente.
Para empresas brasileiras, a mensagem é clara: antes de investir pesadamente em hardware ou soluções de IA, é fundamental estabelecer métricas claras de utilização e ROI, implementar controles adequados desde o início, e distinguir entre verdadeiros agentes autônomos e simples chatbots. A janela de oportunidade identificada pela pesquisa – com 57% a 64% das empresas planejando trocar ou adicionar fornecedores nos próximos 12 meses – sugere que o mercado está em um momento de redefinição, onde decisões mais informadas e estratégicas podem fazer a diferença entre sucesso e desperdício de recursos.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em VentureBeat, disponível em https://venturebeat.com/orchestration/wall-street-is-debating-the-ai-buildout-enterprises-just-answered-86-say-their-gpus-run-at-half-capacity-or-less.
