Introdução
Uma startup de Miami chamada Subquadratic emergiu do modo stealth com uma afirmação audaciosa: resolveu um problema matemático fundamental que tem limitado o desempenho e a eficiência dos grandes modelos de linguagem (LLMs) por quase uma década. A empresa desenvolveu um novo tipo de modelo chamado SubQ que promete ser mais rápido, barato e capaz de processar até 12 vezes mais texto que os modelos atuais, mantendo performance comparável aos melhores sistemas da OpenAI, Google DeepMind e Anthropic.
A novidade gerou ceticismo inicial na comunidade de IA, com muitos comparando as promessas da empresa a casos como Theranos. No entanto, resultados de testes independentes conduzidos pela empresa de avaliação Appen começam a validar algumas das afirmações mais ousadas da Subquadratic, sugerindo que pode haver substância por trás do hype.
O problema da atenção densa nos transformers
Para entender a importância potencial dessa descoberta, é preciso compreender como funcionam os LLMs atuais. No coração de modelos como GPT-4, Claude e Gemini está uma arquitetura neural chamada transformer, que executa um processo conhecido como atenção densa. Esse mecanismo, estabelecido no paper seminal do Google de 2017 ‘Attention Is All You Need’, revolucionou a IA mas trouxe consigo um problema computacional significativo.
Quando um transformer processa um texto, ele primeiro codifica cada palavra (ou token) com um número. Para capturar o significado completo do texto, o modelo então multiplica cada número por todos os outros números do texto. Em um documento de 10.000 palavras, isso resulta em quase 50 milhões de multiplicações individuais. É por isso que LLMs são notórios consumidores de energia e recursos computacionais.
O problema se agrava exponencialmente com textos maiores. Dobrar o número de palavras quadruplica o número de computações necessárias – uma expansão quadrática que limita severamente a capacidade dos modelos de processar documentos longos de forma eficiente. Imagine desenhar pontos em um círculo e conectar cada ponto a todos os outros: com 5 pontos você tem 10 linhas, com 20 pontos são 190 linhas, e assim por diante.
A solução da Subquadratic: atenção esparsa inteligente
A abordagem da Subquadratic é substituir a atenção densa por atenção esparsa, selecionando apenas algumas multiplicações importantes em vez de calcular todas as possíveis. A ideia básica não é nova – pesquisadores têm tentado implementar atenção esparsa há anos. Como explica Will Depue, pesquisador independente de IA que trabalhou na OpenAI, ‘praticamente tudo sob o sol já foi tentado. Não é impossível, mas é como correr uma milha em quatro minutos’.
O que diferencia o SubQ, segundo a empresa, é seu método dinâmico de seleção. Enquanto tentativas anteriores usavam padrões fixos (como sempre comparar a primeira palavra com a quinta), o SubQ calcula em tempo real quais relações entre palavras são importantes para cada texto específico. ‘Linguagem é sofisticada demais para padrões fixos’, explica Alex Whedon, CTO da Subquadratic. ‘Nossa seleção dinâmica é onde está o molho secreto’.
A empresa não revela detalhes exatos do algoritmo, mas afirma que o sistema identifica automaticamente quais conexões entre palavras carregam significado relevante e ignora as redundantes. É como ler um livro focando nas relações importantes entre conceitos, em vez de comparar mecanicamente cada palavra com todas as outras.
Resultados dos testes independentes
A Appen, empresa especializada em avaliação de modelos de IA, conduziu uma bateria de testes no SubQ. Os resultados são impressionantes em várias frentes. Em testes de velocidade pura, o SubQ foi 56 vezes mais rápido que modelos usando FlashAttention, uma técnica anterior de atenção esparsa considerada estado da arte.
No LiveCodeBench, um benchmark que avalia capacidade de programação usando problemas reais de competições, o SubQ alcançou 89,7% de acurácia, colocando-o no mesmo patamar dos melhores modelos especializados em código. ‘Este modelo continua a fornecer performance de fronteira em programação’, afirma Jeanine Sinanan-Singh, diretora de pesquisa em IA generativa da Appen.
Talvez mais impressionante seja a capacidade do SubQ de processar contextos enormes. O modelo possui uma janela de contexto (memória de trabalho) de até 12 milhões de tokens – 12 vezes maior que a maioria dos modelos top atuais. Em testes de ‘agulha no palheiro’, que avaliam a capacidade de recuperar informações específicas em grandes volumes de dados, o SubQ manteve 98% de precisão mesmo com janelas de 6 e 12 milhões de tokens.
Implicações de custo e eficiência
As alegações sobre redução de custos são ainda mais dramáticas. Segundo Justin Dangel, CEO da Subquadratic, executar o modelo Claude Opus da Anthropic no teste RULER 128 da Nvidia custa US$ 2.600. Com o SubQ? ‘Custou oito dólares’, afirma. Se confirmada em uso amplo, essa redução de mais de 99% nos custos computacionais poderia democratizar radicalmente o acesso a IA avançada.
Em uma demonstração, Whedon mostrou o SubQ processando e raciocinando sobre informações contidas em 400 documentos em questão de segundos. Quando a mesma tarefa foi dada ao Perplexity, um popular mecanismo de busca baseado em LLM, o sistema falhou em carregar todos os documentos. Essa capacidade de processar grandes volumes de dados rapidamente abre possibilidades para análise de bases de código inteiras, revisão de contratos em massa, ou pesquisa em grandes corpora documentais.
Ceticismo justificado e limitações
Apesar dos resultados promissores, há razões legítimas para cautela. Benchmarks, por mais rigorosos que sejam, não capturam completamente as capacidades de um modelo em tarefas do mundo real. A Subquadratic está posicionando o SubQ especificamente para programação e análise de grandes conjuntos de dados, não como substituto universal para todos os LLMs.
Um ponto que gera questionamentos é que a Subquadratic reutilizou os pesos do modelo chinês open-source Qwen para inicializar o SubQ, em vez de treinar do zero. Embora seja prática comum, isso contradiz parcialmente a alegação de ter reinventado completamente como LLMs funcionam. ‘Eles podem ter construído algo real e útil’, pondera Depue, ‘mas a evidência pública ainda não justifica a alegação mais forte de que resolveram o gargalo da atenção quadrática’.
Outro fator limitante é o acesso restrito. Embora a empresa afirme ter dezenas de milhares de interessados na lista de espera, incluindo mais de 500 clientes empresariais, pouquíssimas pessoas tiveram acesso real ao modelo até agora. A Subquadratic justifica isso por ser uma empresa pequena com recursos limitados.
O que isso significa para o futuro da IA
Se as alegações da Subquadratic se confirmarem em uso amplo, as implicações são profundas. Modelos mais eficientes significam não apenas custos menores, mas também menor consumo energético – uma preocupação crescente com data centers de IA consumindo quantidades massivas de eletricidade. A capacidade de processar contextos muito maiores poderia habilitar aplicações antes impraticáveis, como análise em tempo real de bases de conhecimento corporativas inteiras ou assistentes que mantêm contexto de interações de meses.
Para o mercado brasileiro, onde o custo de infraestrutura de IA é uma barreira significativa, tecnologias mais eficientes poderiam acelerar a adoção. Empresas que hoje hesitam em implementar soluções de IA devido aos custos computacionais poderiam reconsiderar com modelos que custam 99% menos para operar.
A Subquadratic também representa uma tendência importante: inovação vinda de fora dos gigantes estabelecidos. Como observa Whedon, ‘quando você quer construir um modelo competitivo, precisa ter novas ideias. Estamos mais pressionados que a OpenAI’. Isso sugere que o campo de IA, apesar da dominância de grandes empresas, ainda tem espaço para disrupção por startups com abordagens verdadeiramente inovadoras.
Conclusão
A Subquadratic pode estar no limiar de uma mudança fundamental em como construímos e operamos modelos de linguagem. Embora o ceticismo inicial fosse justificado, os testes independentes começam a validar pelo menos parte das alegações ousadas da empresa. Se o SubQ entregar em escala o que promete em testes controlados, poderemos ver uma nova geração de aplicações de IA que são não apenas mais poderosas, mas também drasticamente mais acessíveis.
O verdadeiro teste virá quando mais desenvolvedores e empresas tiverem acesso ao modelo. Até lá, a comunidade de IA observa com uma mistura de ceticismo esperançoso e curiosidade genuína. Como disse um engenheiro no X (antigo Twitter), o SubQ é ‘ou o maior avanço desde o Transformer… ou é a Theranos da IA’. Os próximos meses dirão qual analogia é mais apropriada.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em MIT Technology Review, disponível em https://www.technologyreview.com/2026/06/19/1139313/a-startup-claims-it-broke-through-a-bottleneck-thats-holding-back-llms/.
