Introdução
Desde 2017, quando pesquisadores do Google publicaram o paper ‘Attention Is All You Need’, os transformers se tornaram a base fundamental de praticamente todos os grandes modelos de linguagem (LLMs) do mercado. Do GPT da OpenAI ao Claude da Anthropic, passando pelo Gemini do Google, todos dependem dessa arquitetura revolucionária. No entanto, após quase uma década de domínio absoluto, os transformers começam a mostrar suas limitações – e uma nova geração de startups está apostando que chegou a hora de uma mudança radical.
O problema central é que, embora os transformers tenham possibilitado avanços extraordinários em IA, eles são computacionalmente caros e energeticamente ineficientes. Com a OpenAI projetando gastar US$ 50 bilhões em computação apenas em 2026 e a Agência Internacional de Energia prevendo que o consumo de data centers dobrará até 2030, a busca por alternativas mais eficientes deixou de ser uma questão acadêmica para se tornar uma necessidade econômica urgente.
O gargalo dos transformers: quando a força vira fraqueza
A grande sacada dos transformers está no mecanismo de ‘atenção densa’ (dense attention), que compara cada palavra ou token de um texto com todos os outros para capturar significado e contexto. É como se o modelo criasse uma rede complexa de conexões entre todas as palavras, permitindo entender nuances e relações sutis no texto.
O problema é matemático: processar um documento de 10.000 palavras pode exigir 50 milhões de operações de multiplicação. Conforme os textos ficam maiores – e os novos casos de uso de LLMs exigem processar bibliotecas inteiras de documentos, bases de código completas ou conversas extensas entre agentes de IA – o custo computacional explode exponencialmente.
Além disso, os transformers têm dificuldade natural com tarefas que exigem manter grandes quantidades de informação em contexto simultaneamente. Isso é particularmente problemático para os novos modelos de raciocínio, como o o1 da OpenAI, que precisam escrever e reler suas próprias anotações durante o processo de resolução de problemas.
Quatro abordagens revolucionárias para superar os transformers
1. Atenção esparsa: a aposta da Subquadratic
A startup Subquadratic, baseada em Miami, desenvolveu o que afirma ser o primeiro mecanismo de atenção esparsa (sparse attention) capaz de rivalizar com LLMs tradicionais. Ao invés de comparar cada palavra com todas as outras, o modelo SubQ identifica dinamicamente quais palavras realmente importam para cada contexto específico.
A empresa alega que milhares de desenvolvedores já se inscreveram em sua lista de espera, ansiosos para testar uma tecnologia que promete manter a qualidade dos transformers com uma fração do custo computacional. Se as alegações se confirmarem, isso poderia democratizar o acesso a LLMs poderosos para empresas que hoje não conseguem arcar com os custos de infraestrutura.
2. Retenção de potência: a inovação da Manifest AI
A Manifest AI, de São Francisco, está substituindo completamente o mecanismo de atenção por algo chamado ‘retenção de potência’ (power retention). Enquanto transformers precisam manter todo o contexto na memória, a tecnologia da Manifest cria um resumo contínuo e dinâmico das informações mais relevantes.
Para demonstrar a viabilidade, a empresa converteu o modelo de código aberto StarCoder em PowerCoder usando sua tecnologia, além de lançar o Brumby, que compete com versões do popular Qwen da Alibaba. A promessa é viabilizar aplicações antes impossíveis: análise de vídeos de horas de duração ou agentes de IA que permanecem ativos por semanas.
3. Redes neurais líquidas: a abordagem biomimética da Liquid AI
Saindo do MIT, a Liquid AI combina transformers com ‘redes neurais líquidas’ inspiradas em cérebros de vermes. Seus LFMs (liquid foundation models) são dramaticamente menores e mais eficientes – alguns rodando até em um Raspberry Pi de US$ 50.
A empresa já trabalha com montadoras como Mercedes para criar modelos que cabem nos chips limitados de veículos. Com quase 34 milhões de downloads de seus modelos gratuitos para pequenas empresas, a Liquid AI está provando que nem sempre maior é melhor. Seus modelos híbridos (20% transformers, 80% redes líquidas) igualam o desempenho de rivais quatro vezes maiores.
4. Difusão para texto: a estratégia paralela da Inception
A Inception, de Palo Alto, está aplicando aos LLMs a mesma tecnologia de difusão que revolucionou a geração de imagens com DALL-E e Midjourney. Ao invés de gerar texto palavra por palavra, seus modelos produzem frases ou parágrafos inteiros de uma só vez.
O CEO Stefano Ermon, também pesquisador em Stanford, afirma que o modelo Mercury 2 da empresa já compete com versões do GPT-4, mas é 10 vezes mais rápido. O Google também está explorando essa abordagem com seu Diffusion Gemma, validando a estratégia. Para Ermon, ‘a moeda final será inteligência por dólar’ – e a difusão pode ser a chave para essa eficiência.
Além das palavras: o salto conceitual da Pathway
Talvez a proposta mais radical venha da Pathway, também de Palo Alto. Seu modelo Dragon Hatchling (nome inspirado nos dragões de Terry Pratchett) não apenas muda como os LLMs processam texto, mas questiona se deveriam processar apenas texto.
Usando ‘espaços de estado’ matemáticos ao invés de atenção, o Dragon Hatchling pode representar e manipular conceitos abstratos que não se traduzem bem em palavras. A prova? O modelo resolveu mais de 97% de 250.000 puzzles de sudoku extremamente difíceis, enquanto LLMs líderes não conseguiram resolver nenhum.
A CEO Zuzanna Stamirowska argumenta que muitas formas de raciocínio – desde jogadas de xadrez até insights científicos – não acontecem naturalmente em linguagem. ‘O momento eureka em seu cérebro não é necessariamente verbal’, ela explica. Se queremos que a IA cure o câncer, não podemos limitá-la às restrições da linguagem humana.
Implicações para o mercado brasileiro
Para empresas brasileiras que hoje dependem de APIs caras de LLMs internacionais, essas inovações podem ser transformadoras. Modelos mais eficientes significam custos menores e possibilidade de rodar IA localmente, reduzindo latência e preocupações com privacidade de dados.
Startups brasileiras de IA também têm uma janela de oportunidade única. Enquanto as big techs estão comprometidas com investimentos bilionários em infraestrutura para transformers, empresas menores e mais ágeis podem adotar essas novas arquiteturas desde o início, competindo em eficiência ao invés de escala bruta.
Para desenvolvedores e engenheiros, é crucial acompanhar essas tendências. Assim como o conhecimento de transformers se tornou essencial nos últimos anos, entender alternativas como atenção esparsa, redes líquidas e modelos de difusão pode ser diferencial competitivo no futuro próximo.
Conclusão
Os transformers revolucionaram a IA e continuarão relevantes por anos. Mas assim como eles substituíram arquiteturas anteriores, é natural que eventualmente cedam espaço para inovações mais eficientes. As startups apresentadas representam apostas diferentes sobre qual será a próxima arquitetura dominante.
Seja através de atenção mais inteligente, redes que se adaptam como cérebros biológicos, geração paralela de texto ou representações além da linguagem, todas compartilham o objetivo de fazer mais com menos. Em um mundo onde a demanda por IA cresce exponencialmente mas recursos energéticos são finitos, essa eficiência não é luxo – é necessidade.
Como disse Stamirowska da Pathway: ‘Transformers foram uma conveniência de engenharia que abraçamos. Iniciou uma religião, mas é tolice pensar que outro breakthrough não acontecerá novamente.’ Para profissionais e empresas do setor, a mensagem é clara: a próxima revolução em IA pode estar mais próxima do que imaginamos.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria “These startups are chasing the next big thing in LLMs” publicada em MIT Technology Review, disponível em https://www.technologyreview.com/2026/08/10/1141511/these-startups-are-chasing-the-next-big-thing-in-llms/.
