Introdução
Em um cenário onde modelos de inteligência artificial surgem e desaparecem com frequência crescente, a Shopify desenvolveu uma solução engenhosa: um proxy de LLM (Large Language Model) que permite aos seus engenheiros acessar múltiplos provedores de IA com failover automático. Quando o Claude Fable 5 foi descontinuado recentemente, os desenvolvedores da empresa nem perceberam – o sistema migrou automaticamente para alternativas como Claude Opus ou GPT 5.5, sem interromper nenhum fluxo de trabalho.
Esta abordagem resolve um dos maiores desafios enfrentados por empresas que adotam IA em produção: o risco de vendor lock-in e a dependência de modelos que podem ser descontinuados, atualizados ou sofrer indisponibilidades a qualquer momento. A estratégia da Shopify oferece lições valiosas para CTOs e líderes técnicos que buscam implementar IA de forma robusta e sustentável.
A arquitetura do proxy inteligente
Farhan Thawar, head de engenharia da Shopify, explica que a empresa compra tokens em massa de diversos provedores e todos os usuários se conectam aos modelos através de um proxy centralizado. Esta camada de abstração oferece dois benefícios cruciais: relatórios detalhados de uso e failover automático quando há problemas de disponibilidade com algum provedor.
O sistema funciona como um roteador inteligente que distribui as requisições entre diferentes modelos e provedores. Quando um modelo específico apresenta problemas – seja por descontinuação, atualização ou simples indisponibilidade – o proxy redireciona automaticamente as chamadas para alternativas viáveis, mantendo a continuidade dos serviços.
Esta abordagem contrasta com a prática comum de integração direta com APIs específicas de cada provedor, que deixa as empresas vulneráveis a mudanças súbitas. No caso brasileiro, onde a conectividade internacional pode adicionar latência e instabilidade, ter múltiplas opções de fallback torna-se ainda mais crítico.
Destilação de modelos: a estratégia para eficiência
Além do proxy, a Shopify adota extensivamente a técnica de destilação de modelos. Neste processo, um modelo ‘professor’ mais complexo treina um modelo ‘aluno’ menor e especializado em tarefas específicas. Estes Small Language Models (SLMs) podem ser significativamente mais eficientes que modelos generalistas para casos de uso específicos.
O Sidekick, assistente de IA flagship da Shopify para comerciantes, utiliza vários destes modelos especializados para realizar subtarefas específicas. Segundo Thawar, os ganhos são impressionantes: em alguns casos, os modelos destilados são 2x mais baratos e rápidos; em casos extremos, chegam a ser 30x mais eficientes.
Mas a eficiência não se limita a custo e latência. ‘Também é sobre precisão’, enfatiza Thawar. Modelos especializados frequentemente superam modelos generalistas em tarefas específicas, oferecendo respostas mais relevantes e contextualizadas para o domínio em questão.
O pipeline de destilação automatizado
A Shopify desenvolveu um pipeline UDP (Universal Distillation Pipeline) que automatiza o processo de destilação. Engenheiros fornecem ao sistema um modelo professor, dados de treinamento, avaliações e um modelo alvo – por exemplo, destilando do Opus 4.8 para o Qwen 3.5. O pipeline roda por aproximadamente um dia e retorna uma avaliação completa mostrando o desempenho do modelo fine-tuned em velocidade, custo e precisão.
Se os trade-offs parecem favoráveis, o engenheiro pode fazer o deploy imediatamente, sem necessidade de aprovações burocráticas. A plataforma interna Tangle permite visualizar todo o pipeline enquanto ele executa, proporcionando transparência total do processo.
A visão futura de Thawar é ainda mais ambiciosa: eliminar a necessidade de especificar um modelo alvo. O sistema receberia apenas o modelo professor, dados e avaliações, com a diretiva de encontrar automaticamente o melhor alvo de destilação entre diferentes classes, tamanhos e tipos de modelos.
Governança e controle de custos
Com grande poder vem grande responsabilidade – e grandes contas de tokens. A Shopify implementou dashboards de uso que permitem análises sofisticadas não apenas do gasto total, mas também de padrões específicos: quem está usando os tokens mais caros, quem está gastando mais tempo em tarefas de raciocínio, quais tipos de modelos são mais utilizados por diferentes equipes e níveis hierárquicos.
Para evitar o ‘tokenmaxxing’ – o consumo excessivo e descontrolado de tokens – a empresa estabeleceu ‘circuit breakers’. Se um modelo roda por tempo excessivo (digamos, 10 horas) consumindo muitos tokens, o usuário recebe um alerta perguntando se o gasto é intencional. Muitas vezes a resposta é um surpreso ‘não sabia que estava rodando em background!’.
Esta abordagem equilibra autonomia com responsabilidade, permitindo experimentação livre mas com salvaguardas contra desperdícios acidentais – um modelo que empresas brasileiras poderiam adotar para gerenciar seus próprios gastos com IA.
Da reflexividade à alavancagem com IA
A Shopify permite que seus desenvolvedores usem qualquer harness de sua preferência: Claude Code, Codex, Cursor, GitHub Copilot para VS Code. A empresa expõe todos às diferentes ferramentas para que possam descobrir o que funciona melhor em seus fluxos de trabalho específicos.
O objetivo final, segundo Thawar, é mover a organização da ‘reflexividade com IA’ – uso reativo e superficial – para ‘alavancagem com IA’ – aplicação estratégica e profunda da tecnologia onde ela realmente agrega valor. Isso requer não apenas infraestrutura técnica, mas uma mudança cultural em como as pessoas pensam sobre IA em seus processos diários.
A empresa também desenvolveu o River, um agente de IA interno que cria o que Thawar chama de ‘substrato de informação’ através da organização, conectando conhecimento e facilitando a descoberta de informações relevantes entre equipes.
O que isso significa para o mercado
A abordagem da Shopify oferece um blueprint valioso para empresas que querem adotar IA em escala sem se tornar reféns de provedores específicos. Em um mercado onde gigantes como Google, OpenAI e Anthropic competem ferozmente e modelos podem ser descontinuados sem aviso, ter uma arquitetura agnóstica de modelo torna-se uma vantagem competitiva crucial.
Para o contexto brasileiro, onde empresas frequentemente enfrentam desafios adicionais como latência internacional, custos em dólar e regulamentações em evolução, a estratégia de múltiplos provedores com failover automático é ainda mais relevante. Empresas locais poderiam considerar parcerias com provedores regionais como backup, reduzindo latência e dependência de infraestrutura internacional.
A ênfase em modelos destilados também ressoa com as necessidades do mercado brasileiro, onde eficiência de custo é frequentemente prioritária. Modelos menores e especializados podem rodar em infraestrutura mais modesta, tornando IA avançada acessível para empresas de médio porte.
Conclusão
A arquitetura de IA da Shopify demonstra que é possível construir sistemas robustos e escaláveis sem ficar preso a um único provedor ou modelo. Através de abstrações inteligentes como o proxy de LLM, pipelines automatizados de destilação e governança sofisticada de uso, a empresa criou um ambiente onde a inovação em IA pode florescer sem os riscos típicos de vendor lock-in.
Para líderes técnicos brasileiros, as lições são claras: invista em infraestrutura antes de features, construa abstrações que permitam flexibilidade, implemente governança desde o início e, acima de tudo, prepare-se para um futuro onde modelos de IA serão commodities intercambiáveis, não dependências críticas. Como Thawar coloca: ‘Sempre construímos mais infraestrutura. Continuaremos sempre construindo mais infraestrutura.’ É uma filosofia que pode fazer a diferença entre surfar a onda da IA ou ser engolido por ela.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em VentureBeat, disponível em https://venturebeat.com/orchestration/how-shopify-built-an-ai-stack-that-doesnt-care-which-models-survive.
