Introdução
Enquanto o mercado de inteligência artificial busca soluções cada vez mais especializadas para acelerar a inferência de modelos, uma startup francesa está apostando em uma abordagem diferente. A Kog afirma que é possível extrair muito mais desempenho das GPUs convencionais que as empresas já possuem em seus data centers, prometendo velocidades até 30 vezes maiores através de otimização de software profunda. A promessa chamou atenção no mercado: após uma demonstração técnica que viralizou no Hacker News, a empresa recebeu mais de 200 contatos comerciais de potenciais clientes interessados em reduzir custos e acelerar seus workflows de IA.
O desafio da inferência em escala
A inferência – o processo de usar modelos de IA já treinados para gerar respostas – tornou-se um dos principais gargalos técnicos e financeiros para empresas que implementam inteligência artificial em produção. Diferentemente do treinamento, que acontece uma vez, a inferência precisa ser executada milhões de vezes por dia para atender usuários. Isso gera custos operacionais significativos, especialmente quando se trata de modelos de linguagem grandes (LLMs) que demandam recursos computacionais intensivos.
Empresas como a Cerebras desenvolveram chips especializados para atacar esse problema, e seu IPO bem-sucedido em maio demonstrou o apetite do mercado por soluções nessa área. No entanto, adotar hardware especializado requer investimentos significativos e mudanças na infraestrutura existente – um obstáculo para muitas organizações que já investiram pesadamente em GPUs da Nvidia e AMD.
A abordagem radical da Kog
A Kog propõe uma solução diferente: em vez de novo hardware, a empresa desenvolveu o Kog Inference Engine (KIE), um sistema de otimização de software que promete desbloquear capacidades latentes nas GPUs convencionais. Em sua demonstração inicial, a startup conseguiu atingir impressionantes 3.000 tokens por segundo por requisição usando GPUs AMD MI300X e Nvidia H200 – hardware padrão em data centers corporativos.
O CEO Gaël Delalleau explica que a abordagem da empresa vai além de otimizações superficiais. Com experiência em física de estado sólido e segurança cibernética ofensiva (hacking ético), ele traz uma perspectiva única: ‘Há essa mentalidade de entender as leis da física, e as leis da GPU, para tirar o máximo proveito delas’, afirma. Sua experiência como finalista quatro vezes no torneio CTF da DEFCON o ensinou a ‘fazer engenharia reversa em um nível muito baixo – até linguagem assembly e código binário – para entender como funciona e tentar usá-lo para alcançar um objetivo para o qual não foi necessariamente projetado’.
Primeiros casos de uso e demanda do mercado
A resposta inicial do mercado revelou casos de uso concretos para a tecnologia. Engenharia de software emergiu como a aplicação principal, especialmente para usuários do Claude Code da Anthropic que frequentemente enfrentam esperas de horas para obter resultados em projetos complexos. A própria Anthropic reconhece o valor da velocidade, cobrando um múltiplo de preço pelo Claude Fast Mode.
Além disso, a Kog está trabalhando com parceiros de design que permitem aos usuários gerar jogos e aplicativos através de prompts. Para essas empresas, resultados mais rápidos se traduzem diretamente em maior receita e melhor experiência do usuário. No entanto, a empresa descobriu que o mercado ainda não está totalmente maduro – muitos clientes potenciais não estão preparados para fazer fine-tuning de modelos menores, levando a Kog a focar no desenvolvimento de suporte para modelos maiores.
Desafios técnicos e ceticismo do mercado
A demonstração inicial da Kog, embora impressionante, foi realizada com o Laneformer 2B, um modelo pequeno e especializado com apenas 2 bilhões de parâmetros (agora open source). Isso gerou ceticismo sobre se a mesma abordagem funcionaria com LLMs de grande escala, cujo tamanho representa um desafio significativo para chips de inferência.
Delalleau permanece confiante, contradizendo os céticos ao afirmar que ‘GPUs têm um futuro brilhante’. Para ele, a ideia de que GPUs não são adequadas para decodificação tornou-se um equívoco – as GPUs mais recentes possuem cada vez mais largura de banda de memória que apenas espera ser desbloqueada através de otimização adequada.
O ecossistema de otimização de inferência
A Kog não está sozinha nessa corrida. A ZML, também francesa, lançou software agnóstico de hardware que contorna o CUDA da Nvidia para suportar inferência rápida em chips concorrentes. No entanto, Delalleau posiciona a Kog mais próxima ao trabalho do laboratório Hazy Research da Universidade de Stanford, com um foco ainda mais profundo em aceleração de GPU.
Essa abordagem de baixo nível tem seus custos: para cada nova GPU, a equipe dedica várias semanas ou até meses para pesquisa detalhada e engenharia específica do hardware. Com uma equipe de apenas 11 pessoas, isso limita o número de chips que a Kog pode suportar no curto prazo.
Implicações para o mercado brasileiro
Para empresas brasileiras que buscam implementar IA em escala, a proposta da Kog pode ser particularmente atrativa. O custo de importação de hardware especializado e a complexidade de manter infraestrutura de ponta tornam soluções baseadas em otimização de software uma alternativa viável. Se a Kog conseguir entregar sua promessa de acelerar LLMs em 30x, isso poderia democratizar o acesso a inferência de alta velocidade para organizações que não podem investir em chips especializados.
Além disso, a abordagem se alinha com tendências globais de sustentabilidade e eficiência computacional. Maximizar o uso de hardware existente reduz a necessidade de novos investimentos em infraestrutura e diminui o impacto ambiental associado à fabricação de novos chips.
O futuro da otimização de inferência
A Kog planeja alimentar sua metodologia em pipelines baseados em agentes que permitirão suportar mais chips e modelos no futuro. Com o apoio da Scaleway e investimentos da Bpifrance e do programa French Tech 2030, a startup está bem posicionada para aproveitar os ventos favoráveis de soberania tecnológica na Europa.
O próximo marco crítico será em setembro, quando Delalleau espera implementar o primeiro modelo principal com velocidade 10x maior. Esse será o teste definitivo para provar que a abordagem funciona com LLMs de produção, não apenas com modelos demonstrativos pequenos. O sucesso nessa etapa será fundamental para garantir tração com clientes e levantar uma rodada Series A.
Conclusão
A Kog representa uma aposta interessante no futuro da inferência de IA: em vez de reinventar o hardware, reimaginar como usamos o que já temos. Se a empresa conseguir cumprir suas promessas ambiciosas, poderá mudar fundamentalmente a economia da inferência de IA, tornando workflows agentic e aplicações de IA em tempo real acessíveis para um número muito maior de empresas. Para o mercado brasileiro, isso pode significar a diferença entre ficar para trás na corrida da IA ou conseguir competir globalmente com recursos mais limitados. O verdadeiro teste virá quando a Kog demonstrar sua tecnologia funcionando com modelos de linguagem de grande escala – um momento que pode redefinir nossas expectativas sobre o que é possível com as GPUs que já povoam os data centers ao redor do mundo.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria “Kog is going deeper to squeeze more inference out of GPUs” publicada em TechCrunch, disponível em https://techcrunch.com/2026/08/14/kog-is-going-deeper-to-squeeze-more-inference-out-of-gpus/.
