Introdução
A Liquid AI acaba de lançar uma tecnologia que promete revolucionar a velocidade de execução de modelos de linguagem: os checkpoints DSpark para a família LFM2.5. Com ganhos de performance que chegam a 3,2x em GPUs e 2,87x em dispositivos edge, essa inovação representa um avanço significativo para empresas que dependem de IA em produção. O diferencial está na implementação de decodificação especulativa, uma técnica que acelera drasticamente a geração de texto sem comprometer a qualidade das respostas.
Para o mercado brasileiro, onde o custo de infraestrutura de IA ainda é uma barreira significativa, essa tecnologia pode ser um divisor de águas. Empresas que hoje gastam milhares de reais mensais com servidores GPU podem potencialmente reduzir seus custos em até 70%, mantendo ou até melhorando a experiência do usuário final.
Como funciona a tecnologia DSpark
A decodificação especulativa resolve um dos maiores gargalos da inferência de LLMs: a limitação de memória. Tradicionalmente, a fase de decodificação é limitada pela velocidade de transferência de dados entre a DRAM e a SRAM, não pela capacidade computacional em si. É como ter um processador potente que fica esperando os dados chegarem – um desperdício de recursos.
O DSpark implementa três componentes principais que trabalham em conjunto. Primeiro, um backbone paralelo inspirado no DFlash que processa o contexto e gera estados ocultos para múltiplos tokens candidatos em uma única passada. Segundo, uma cabeça sequencial leve que modela as dependências entre tokens vizinhos como uma cadeia de Markov, aumentando a taxa de aceitação dos tokens propostos. Por fim, um verificador com agendamento de confiança que prevê a probabilidade de sobrevivência de cada token e elimina sufixos de baixa confiança quando a verificação custaria mais do que economizaria.
Na prática, isso significa que um modelo draft pequeno (cerca de 300M de parâmetros) propõe sequências de tokens que o modelo principal verifica em lote. Se os tokens propostos correspondem ao que o modelo principal geraria, eles são aceitos instantaneamente. Caso contrário, o modelo principal corrige e continua. É como ter um assistente que esboça respostas enquanto o especialista apenas valida ou corrige quando necessário.
Resultados impressionantes em benchmarks
Os números falam por si. No modelo LFM2.5-2.6B rodando em um MacBook Pro M4 Max, a velocidade de geração saltou de 61 tokens por segundo para até 161 tok/s em tarefas de programação (HumanEval), representando um ganho de 2,63x. Para contexto, isso é mais rápido que a maioria dos modelos proprietários em nuvem, incluindo versões do GPT-3.5.
Em GPUs H100, os ganhos são ainda mais expressivos. O LFM2.5-8B-A1B alcançou impressionantes 1.362 tokens por segundo em problemas matemáticos (MATH500), um salto de 3,18x comparado aos 428 tok/s do baseline. Para empresas que processam milhões de requisições diárias, isso pode significar a diferença entre precisar de 10 ou 3 servidores para atender a mesma demanda.
Um aspecto particularmente relevante para aplicações empresariais é a redução de latência em function calling. O LFM2.5-2.6B com DSpark reduziu o tempo de resposta em cenários multi-ferramenta em 57% em média. Para chatbots empresariais que precisam consultar APIs, bancos de dados e sistemas externos, essa melhoria se traduz diretamente em experiência do usuário superior.
Implementação e compatibilidade
A Liquid AI tomou o cuidado de garantir compatibilidade desde o primeiro dia com duas das principais ferramentas de inferência do mercado: llama.cpp e SGLang. Para desenvolvedores brasileiros acostumados com essas ferramentas, a integração é praticamente plug-and-play.
Com SGLang, basta adicionar três parâmetros ao comando de inicialização do servidor para ativar o DSpark. O sistema automaticamente lê as configurações do modelo draft e gerencia todo o processo de especulação. Para llama.cpp, a implementação inclui suporte experimental para kernels Metal otimizados, garantindo performance máxima em hardware Apple.
Os modelos draft são surpreendentemente compactos. Com apenas 295-327 milhões de parâmetros, eles adicionam menos de 10% ao consumo de memória total, mas entregam ganhos de velocidade que podem triplicar o throughput. É um trade-off extremamente favorável, especialmente considerando que a qualidade da saída permanece idêntica ao modelo original.
Arquitetura técnica e treinamento
A equipe da Liquid AI optou por uma arquitetura simplificada baseada apenas em atenção para os modelos draft, com 5 camadas e blocos de 9 tokens. O treinamento utilizou um mix diversificado de dados incluindo SFT (Supervised Fine-Tuning), conversação, código e function calling.
Um detalhe interessante é que a seleção do modelo final não foi baseada na menor perda (loss), mas sim na maior taxa de aceitação de tokens. Após 15 épocas de treinamento, a equipe escolheu o checkpoint que maximizava a probabilidade dos tokens propostos serem aceitos pelo modelo principal. Essa abordagem pragmática reflete o foco em performance real em vez de métricas acadêmicas.
A distribuição de parâmetros revela a eficiência do design: o decoder stack consome 241M parâmetros, a projeção de estados ocultos usa 21M, enquanto a cabeça Markov varia entre 33,6M e 65,5M dependendo do modelo alvo. Os componentes de normalização e cabeça de confiança adicionam apenas 27,5 mil parâmetros – uma fração negligível do total.
O que isso significa para o mercado
Para startups e empresas brasileiras que estão construindo produtos baseados em IA, o DSpark representa uma oportunidade de competir em pé de igualdade com gigantes tecnológicos. A capacidade de rodar modelos potentes localmente, com velocidades comparáveis ou superiores a APIs em nuvem, democratiza o acesso a IA de ponta.
Considere uma fintech brasileira processando análises de documentos. Com DSpark, ela poderia processar 3x mais documentos no mesmo hardware, ou manter o mesmo throughput com 1/3 do custo de infraestrutura. Para aplicações sensíveis à latência como chatbots de atendimento ou assistentes de código em tempo real, a redução de 57% no tempo de resposta pode ser a diferença entre uma experiência frustrante e uma deliciosa.
O suporte nativo para dispositivos Apple Silicon é particularmente relevante. Com cada vez mais desenvolvedores usando MacBooks, a capacidade de prototipar e até mesmo servir modelos em produção diretamente de hardware consumer abre novas possibilidades. Um MacBook Pro M4 Max rodando LFM2.5-2.6B-DSpark pode servir requisições mais rápido que muitos serviços em nuvem, com latência zero de rede.
Limitações e considerações
É importante notar que os ganhos variam significativamente dependendo do tipo de tarefa. O LFM2.5-1.2B-Instruct, por exemplo, mostrou variação de 52% na taxa de aceitação entre diferentes datasets. Tarefas com padrões mais previsíveis (como código boilerplate) se beneficiam mais da especulação do que geração criativa livre.
Para o modelo MoE (Mixture of Experts) LFM2.5-8B-A1B, os ganhos em dispositivos edge foram mais modestos (18% em média no M4 Max) devido às limitações atuais da implementação Metal no llama.cpp para arquiteturas MoE. A verificação de múltiplos tokens ativa mais experts, aumentando o tráfego de pesos e reduzindo o benefício da especulação.
Desenvolvedores devem também considerar que a decodificação especulativa funciona apenas com geração greedy (temperatura 0). Para aplicações que requerem sampling criativo com temperatura > 0, os benefícios do DSpark não se aplicam.
Conclusão
O lançamento do LFM2.5-DSpark pela Liquid AI marca um avanço importante na otimização de inferência de modelos de linguagem. Com ganhos de até 3,2x em velocidade sem comprometer a qualidade, essa tecnologia tem o potencial de transformar a economia de aplicações de IA em produção.
Para o ecossistema brasileiro de tecnologia, onde eficiência de custo é frequentemente um fator decisivo, o DSpark oferece um caminho viável para implementar IA avançada sem quebrar o orçamento. A disponibilidade imediata dos modelos no Hugging Face, com suporte para ferramentas populares como llama.cpp e SGLang, remove barreiras técnicas e acelera a adoção.
À medida que mais empresas migram de APIs proprietárias para modelos self-hosted, tecnologias como DSpark serão fundamentais para tornar essa transição economicamente viável. O futuro da IA não está apenas em modelos maiores e mais capazes, mas também em fazê-los rodar de forma eficiente onde e quando precisamos deles.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria “Up to 3.2x Faster Inference with LFM2.5-DSpark” publicada em Hugging Face, disponível em https://huggingface.co/blog/LiquidAI/lfm25-dspark.
