Introdução
Uma nova pesquisa da VentureBeat Intelligence revela um paradoxo preocupante no mundo corporativo: empresas que já sofreram falhas graves com sistemas de inteligência artificial estão, surpreendentemente, acelerando a remoção de supervisão humana de suas operações, não desacelerando. O estudo mostra que 85% das organizações que experimentaram problemas com IA visíveis aos clientes estão correndo para eliminar aprovações humanas em seus processos de deployment, comparado a apenas 61% entre aquelas que não tiveram incidentes similares.
Este comportamento contraintuitivo levanta questões fundamentais sobre governança de IA e gestão de riscos tecnológicos. Enquanto a confiança em sistemas de avaliação automatizada cresce – saltando de 5% para 13% em apenas um mês – quase metade das empresas pesquisadas (49%) reportou que um sistema de IA aprovado em testes internos posteriormente criou problemas visíveis aos clientes.
O paradoxo da confiança crescente
A pesquisa, que entrevistou 108 empresas com pelo menos 100 funcionários, identificou uma desconexão preocupante entre percepção e realidade. Enquanto a confiança em avaliações automatizadas mais que dobrou em um mês, a taxa de falhas permaneceu praticamente inalterada – 50% em junho e 49% em julho. Isso significa que aproximadamente metade das organizações experimentou pelo menos um incidente onde um sistema de IA passou nos testes internos mas falhou em produção.
O mais revelador é a divisão entre empresas ‘queimadas’ e ‘não queimadas’. Entre as organizações que nunca experimentaram uma falha de IA visível ao cliente, 24% expressam confiança total em verificações automatizadas. Já entre aquelas que sofreram incidentes, apenas 4% mantêm essa confiança – uma diferença de seis vezes. Paradoxalmente, são justamente essas empresas queimadas que estão mais agressivamente removendo humanos do processo decisório.
A corrida pela automação total
Os dados mostram que 67% das empresas já permitem que agentes de IA façam push de código ou alterem sistemas sem aprovação humana em casos de baixo risco, ou estão modificando seus pipelines para permitir isso no próximo ano. Entre as empresas que já sofreram falhas, esse número salta para impressionantes 85%. Apenas 11% das empresas queimadas rejeitam a automação completa de deployment, contra 24% das não queimadas.
Ben Hylak, CTO da Raindrop.ai, uma plataforma de monitoramento de erros de agentes automatizados, observa uma transformação radical no mercado: ‘Estamos vendo o grande declínio das avaliações como as conhecemos. As Fortune 100 estão cada vez mais reduzindo conjuntos de avaliação e despriorizando manutenção. À medida que os sistemas crescem em complexidade, torna-se impossível enumerar completamente os casos de falha.’
A lacuna no monitoramento de produção
Um dos achados mais preocupantes da pesquisa é a deficiência no monitoramento pós-deployment. Apenas 26% das empresas usam asserções de qualidade inline – juízes automatizados ou guardrails que verificam o tráfego ao vivo em busca de problemas de qualidade de output. A maioria ainda foca em métricas de funcionamento (latência, erros, custo) em vez de verificar se as respostas da IA estão corretas.
Entre as 40 empresas que já permitem deployment sem aprovação humana em casos limitados, apenas 28% verificam automaticamente o significado e correção das respostas ao vivo. Isso cria uma situação perigosa: a maioria das empresas que eliminou revisão humana de algumas decisões de release não instalou monitoramento automático de qualidade semântica como backstop de produção.
O mercado de avaliação independente
Apesar dos desafios, o mercado está respondendo com o surgimento de ferramentas especializadas. A pesquisa mostra que OpenAI lidera com 18% de participação como plataforma primária de avaliação, seguida por DeepEval da Confident AI com 17% e Braintrust com 15%. O Braintrust teve o maior crescimento, saltando de 8% para 15% em um mês.
A mudança nas prioridades de compra também é reveladora: 39% das empresas agora escolhem facilidade de integração como fator decisivo, um aumento de 12 pontos percentuais, deslocando o custo que caiu de 28% para 23%. Isso sugere que as empresas querem ferramentas que possam instalar rapidamente em seus pipelines existentes, priorizando velocidade de implementação sobre economia.
O que isso significa para o mercado brasileiro
Para executivos e líderes de tecnologia no Brasil, esses dados servem como um alerta importante. À medida que empresas brasileiras aceleram a adoção de IA generativa e agentes autônomos – seguindo tendências globais com ferramentas como ChatGPT, Claude e modelos open source – é crucial aprender com os erros do mercado mais maduro.
A tentação de acelerar a automação após falhas iniciais pode parecer contraintuitiva, mas reflete uma realidade operacional: empresas com maior volume de deployments de IA têm tanto mais chances de encontrar falhas quanto infraestrutura mais madura para automação. O desafio é não confundir maturidade técnica com preparação para eliminar supervisão humana.
Para o contexto brasileiro, onde a adoção de IA ainda está em estágios relativamente iniciais comparado aos EUA, há uma oportunidade de implementar governança mais robusta desde o início. Empresas como Nubank, Magazine Luiza e Itaú já estão investindo pesadamente em IA, e podem se beneficiar ao estabelecer processos de monitoramento de qualidade semântica antes de escalar a automação.
A estratégia do backstop humano
Curiosamente, a pesquisa revela que as empresas queimadas estão adotando uma estratégia aparentemente contraditória: ao mesmo tempo que removem humanos das decisões de deployment, estão aumentando investimentos em revisão humana em outras partes do processo. Entre as empresas que sofreram falhas, 38% dizem que workflows de revisão centrados em pessoas receberão o crescimento mais rápido de investimento, comparado a 24% das não queimadas.
Isso sugere um modelo de ‘automação com rede de segurança humana’ – permitir que agentes se movam mais rápido, mas usar revisores para capturar o que a avaliação automatizada perde. A questão crítica é se esse modelo é escalável. Deployments de agentes e verificações automatizadas podem crescer com o volume de software, mas horas de revisores humanos não caem na mesma taxa.
Implicações para governança de IA
Os dados apontam para uma necessidade urgente de repensar modelos de governança de IA. A abordagem tradicional de ‘testar antes de deployar’ está se mostrando insuficiente quando metade das empresas reporta falhas pós-teste. Em vez disso, as organizações precisam de um modelo de verificação contínua que combine:
1. Avaliações pré-deployment mais sofisticadas que capturem melhor a complexidade do mundo real
2. Monitoramento semântico em produção que verifique não apenas se o sistema está funcionando, mas se está produzindo outputs corretos
3. Processos de revisão humana estrategicamente posicionados para capturar falhas que escapam da automação
4. Mecanismos de feedback rápido que permitam correção de curso antes que problemas se ampliem
Conclusão
A pesquisa da VentureBeat Intelligence revela uma verdade desconfortável sobre a adoção empresarial de IA: o fracasso não está necessariamente levando à prudência. Em vez disso, empresas que já foram queimadas por falhas de IA estão dobrando a aposta na automação, criando potencial para problemas ainda maiores no futuro.
Para líderes de tecnologia e executivos, a mensagem é clara: a confiança em sistemas de IA não pode se basear apenas em testes pré-deployment ou na ausência de incidentes passados. É necessário um modelo de governança mais sofisticado que reconheça as limitações das avaliações atuais e implemente múltiplas camadas de verificação e controle.
O paradoxo revelado pela pesquisa – empresas queimadas acelerando a remoção de supervisão humana – pode parecer irracional à primeira vista. Mas reflete uma tensão real entre a pressão por velocidade e escala versus a necessidade de confiabilidade. Resolver essa tensão será crucial para o sucesso da próxima onda de transformação digital impulsionada por IA.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria “85% of companies burned by an AI mistake are racing to cut the humans who might catch the next one” publicada em VentureBeat, disponível em https://venturebeat.com/data/85-of-companies-burned-by-an-ai-mistake-are-racing-to-cut-the-humans-who-might-catch-the-next-one.
