Introdução
A Waymo, divisão de carros autônomos da Alphabet (controladora do Google), está redefinindo como empresas devem avaliar e implementar sistemas de inteligência artificial em ambientes críticos. Com mais de 220 milhões de milhas percorridas de forma totalmente autônoma e uma taxa de acidentes graves 17 vezes menor que motoristas humanos, a empresa desenvolveu uma metodologia rigorosa que vai muito além dos testes convencionais de IA.
Em apresentação no VB Transform 2026, Manasi Joshi, diretora de engenharia para inteligência de sistemas e machine learning da Waymo, compartilhou insights valiosos sobre o que a empresa chama de “desenvolvimento centrado em avaliação” (eval-centric development). Essa abordagem oferece lições práticas não apenas para o setor automotivo, mas para qualquer empresa que busque implementar IA de forma segura e confiável em operações críticas.
A filosofia de avaliação contínua da Waymo
Diferentemente da maioria das empresas que trata a avaliação como uma etapa final antes do lançamento, a Waymo integrou o processo de testes em todas as fases do desenvolvimento. “A maturidade de nossos projetos pode ser facilmente identificada pela maturidade das avaliações que eles demonstram”, explicou Joshi durante sua apresentação.
Essa abordagem tem implicações profundas para o mercado brasileiro, onde empresas de diversos setores estão acelerando a adoção de IA. Se uma organização não consegue medir de forma confiável o desempenho de um sistema de IA, provavelmente não está pronta para colocá-lo em produção – seja um chatbot de atendimento ao cliente, um assistente de programação ou um sistema de análise financeira.
A metodologia da Waymo combina múltiplas camadas de testes: durante o treinamento do modelo, após o treinamento, e em simulações tanto de loop aberto quanto fechado. Essa estrutura garante que os modelos sejam avaliados não apenas em condições ideais, mas em cenários que refletem a complexidade e imprevisibilidade do mundo real.
Testes para casos raros e perigosos
Um dos aspectos mais críticos da estratégia da Waymo é o foco em situações extremas e potencialmente perigosas. A empresa utiliza uma combinação de dados reais de condução, informações de terceiros e simulações realistas que expõem seus sistemas a bilhões de milhas sintéticas de experiência.
Os responsáveis por cada tarefa selecionam dados e métricas especializadas para situações envolvendo pedestres vulneráveis, passagens de nível ferroviárias, zonas de construção e outros ambientes complexos. Essa abordagem sistemática para testar casos extremos é fundamental para garantir a segurança em situações onde erros podem ter consequências fatais.
Para empresas brasileiras implementando IA, o princípio é o mesmo: não basta testar apenas os cenários rotineiros. É essencial avaliar como o sistema se comporta em situações incomuns onde falhas podem causar danos financeiros, legais, de segurança ou reputacionais significativos. Um sistema de detecção de fraudes bancárias, por exemplo, precisa ser testado não apenas com transações típicas, mas com padrões sofisticados e emergentes de atividade fraudulenta.
O papel crucial da supervisão humana
Apesar do alto grau de automação, a Waymo mantém supervisão humana rigorosa em pontos críticos de decisão. “Isso não é dirigido por IA e completamente automatizado com zero supervisão humana”, enfatizou Joshi. “Vidas humanas estão em jogo.”
As revisões de prontidão para produção incluem extensa supervisão humana, com líderes internos de segurança aprovando lançamentos de software e expansões de área de serviço. Essa camada de responsabilidade humana é essencial quando os riscos são elevados, um princípio que se aplica igualmente a sistemas de IA em saúde, finanças ou infraestrutura crítica.
Eficiência sem comprometer a confiabilidade
A Waymo enfrenta desafios familiares a muitas empresas brasileiras: a demanda por recursos computacionais cresce mais rápido que a capacidade disponível. A empresa busca eficiência em toda a cadeia de valor: extração e armazenamento de dados, treinamento distribuído de modelos, destilação de modelos, simulação e avaliação.
Um conceito particularmente relevante é a “eficiência de dados” – selecionar os exemplos de treinamento mais úteis em vez de simplesmente aumentar o volume. Essa abordagem é especialmente valiosa para empresas com recursos limitados ou dados sensíveis, onde a qualidade supera a quantidade.
A empresa começou a usar transformers em 2017 e expandiu para large language models (LLMs), modelos de visão-linguagem e modelos de visão-linguagem-ação. Atualmente, utiliza modelos multimodais generativos como parte de sua estratégia de modelos fundamentais, demonstrando como tecnologias de ponta podem ser aplicadas a problemas práticos complexos.
Agentes de IA precisam de suas próprias avaliações
Um aspecto interessante da estratégia da Waymo é o uso de agentes de IA internamente como ferramentas de produtividade para engenheiros. Esses agentes ajudam a analisar distribuições de dados, avaliar eficiência de dados e fazer triagem de problemas encontrados em telemetria de veículos, execuções de treinamento e trabalhos de avaliação com falha.
Crucialmente, a Waymo também avalia esses agentes internos para garantir que produzam resultados confiáveis e precisos. Essa prática de “avaliar os avaliadores” é uma lição importante para empresas que estão adotando ferramentas de IA para aumentar a produtividade: os próprios assistentes de IA precisam ser monitorados e testados continuamente.
Implicações para o mercado brasileiro
A experiência da Waymo oferece um roteiro valioso para empresas brasileiras que buscam implementar IA de forma responsável e eficaz. Os princípios fundamentais – avaliação contínua, dados cuidadosamente selecionados, supervisão humana e objetivos de negócio claramente definidos – são aplicáveis independentemente do setor ou tamanho da empresa.
Para o mercado nacional, onde a adoção de IA está acelerando em setores como bancos, varejo, saúde e agronegócio, a mensagem é clara: o sucesso na implementação de IA não depende apenas de escolher o modelo mais poderoso, mas de construir uma infraestrutura robusta de avaliação e governança.
Empresas como Nubank, Magazine Luiza e grandes bancos brasileiros que estão investindo pesadamente em IA podem se beneficiar dessa abordagem sistemática. A metodologia da Waymo sugere que, antes de lançar um novo assistente virtual ou sistema de recomendação, essas empresas devem investir tanto em ferramentas de avaliação quanto no desenvolvimento do modelo em si.
Conclusão
A abordagem da Waymo para avaliação de IA estabelece um novo padrão para implementação responsável de tecnologia em ambientes de alto risco. Ao tornar a avaliação uma parte central do desenvolvimento, em vez de uma verificação final, a empresa criou um sistema que equilibra inovação com segurança.
Para o ecossistema brasileiro de tecnologia, as lições são claras: implementar IA com sucesso requer mais do que modelos avançados. Exige uma cultura de avaliação contínua, infraestrutura eficiente, supervisão humana adequada e, acima de tudo, um compromisso inabalável com a confiabilidade. Como Joshi resumiu: “Ganhar confiança é supremamente importante” – um princípio que transcende fronteiras e indústrias.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em VentureBeat, disponível em https://venturebeat.com/technology/at-waymo-an-ai-project-isnt-ready-until-its-evals-are-not-when-the-model-performs-well.
