Introdução
Uma descoberta revolucionária de pesquisadores do Google Research e Technion está mudando a forma como entendemos as falhas de memória em modelos de linguagem. Quando um ChatGPT ou Claude erra uma informação factual, a reação típica das equipes de desenvolvimento é assumir que o modelo simplesmente não conhece aquele fato. A solução padrão? Treinar modelos maiores, adicionar mais dados ou implementar sistemas complexos de recuperação de informações. Mas e se o problema não fosse falta de conhecimento, mas sim dificuldade de acesso?
O estudo demonstra que modelos de fronteira como GPT-5 e Gemini-3 na verdade codificam entre 95% e 98% dos fatos testados em seus parâmetros. O verdadeiro gargalo está na capacidade de recuperar essas informações durante a geração de texto. Ainda mais impressionante: apenas dando mais tempo para ‘pensar’, esses modelos conseguem recuperar até 65% dos fatos que inicialmente falharam em acessar.
A diferença entre saber e lembrar
Para mapear essa lacuna entre armazenamento e recuperação, os pesquisadores propõem uma mudança fundamental na forma como avaliamos modelos de IA. Em vez de simplesmente verificar se o modelo acerta ou erra uma pergunta, eles desenvolveram um sistema de ‘perfil de conhecimento’ que testa uma única informação sob múltiplas condições.
A distinção é crucial: um modelo codifica um fato quando consegue reproduzi-lo com precisão ao receber o contexto original de treinamento. Já saber um fato significa conseguir responder perguntas sobre ele de diferentes formas e ângulos. É como a diferença entre ter um livro na estante e conseguir encontrar a informação quando você precisa dela.
Os pesquisadores ilustram isso com um exemplo simples: ‘A banda Oasis tocou seu primeiro show no clube Boardwalk’. Dependendo de como os modelos processam essa informação, o conhecimento pode ser categorizado em cinco perfis distintos: recall direto (acesso imediato), falha de codificação (informação ausente), falha de recall (informação presente mas inacessível), recall com pensamento (acesso mediante esforço computacional adicional) e inferência sem codificação (dedução a partir de outros fatos).
O fenômeno da ‘ponta da língua’ digital
O estudo avaliou 13 modelos de linguagem em mais de 4 milhões de respostas usando o WikiProfile, um benchmark contendo 2.150 fatos extraídos da Wikipedia. Os resultados revelam um padrão fascinante: enquanto modelos de fronteira codificam quase todos os fatos, eles ainda falham em acessar diretamente entre 26% e 34% dessas informações sem processamento adicional.
Aqui entra o papel transformador do ‘pensamento computacional’. Técnicas como Chain-of-Thought, onde o modelo gera passos intermediários de raciocínio antes de responder, conseguem recuperar entre 40% e 65% dos fatos inicialmente inacessíveis. É o equivalente digital daquele momento em que você não consegue lembrar de algo imediatamente, mas após pensar um pouco e fazer associações mentais, a informação surge.
Nitay Calderon, cientista de pesquisa do Google, explica: ‘Quando os fatos saem errados, o movimento padrão é escalar – treinar um modelo maior ou adicionar mais dados. Ambos são caros, e se os fatos já estão codificados, nenhum dos dois ajuda.’ Essa percepção tem implicações profundas para como as empresas abordam o desenvolvimento de sistemas de IA.
Por que escalar nem sempre é a solução
Um dos insights mais contraintuitivos da pesquisa é que aumentar o tamanho do modelo não resolve automaticamente o problema de recall. Os pesquisadores observaram que ao escalar o modelo Gemma3 de 1 bilhão para 27 bilhões de parâmetros, as falhas de codificação diminuíram drasticamente de 85% para 23%. Porém, simultaneamente, a proporção de falhas de recall aumentou, chegando a 40% sem pensamento adicional.
Isso sugere que o escalonamento resolve principalmente o problema de armazenamento, não o de acesso. À medida que o modelo memoriza vastamente mais fatos, uma parcela maior de conhecimento fica presa em um estado ‘codificado mas inacessível’. É como ter uma biblioteca gigantesca sem um sistema de catalogação eficiente.
O estudo também revelou que fatos raros são codificados em taxas similares aos populares, mas existe uma lacuna de recall superior a 25% entre informações de cauda longa e altamente populares em modelos de fronteira. Da mesma forma, modelos têm dificuldade com perguntas reversas – podem facilmente dizer que Oasis tocou no Boardwalk, mas falham ao responder qual banda tocou seu primeiro show naquele clube.
Implicações práticas para desenvolvedores
As descobertas exigem uma mudança fundamental em como as equipes de desenvolvimento abordam problemas de factualidade e arquitetura de sistemas. Primeiro, nem toda falha factual deve ser tratada como um problema de recuperação. A reação empresarial padrão às alucinações é frequentemente implementar Retrieval-Augmented Generation (RAG), escalar bancos de dados vetoriais ou ingerir mais documentos de domínio.
Calderon alerta: ‘Muito do que as equipes resolvem com RAG são fatos que o modelo já pode responder de memória, então você está pagando latência extra e custo por chamada por nada. Se um fato está verdadeiramente ausente, RAG pode ser a solução certa. Mas se o fato está codificado e o modelo simplesmente não consegue recuperá-lo, RAG e escalonamento apenas adicionam custo sobre o problema real.’
O uso seletivo de raciocínio em tempo de inferência é crucial. Embora o pensamento tenha recuperado 40-65% dos fatos codificados que os modelos falharam em acessar diretamente, apenas 10-20% dos fatos realmente requerem pensamento. Ativá-lo globalmente desperdiça orçamento computacional. O desafio está no roteamento dinâmico de consultas, já que os modelos carecem de autoconsciência para diagnosticar confiavelmente quando estão prestes a falhar.
Estratégias de implementação
Para aproveitar essas descobertas, os desenvolvedores podem implementar pipelines de geração-verificação. Como os modelos são melhores em reconhecer fatos (verificação) do que gerá-los do zero, arquiteturas podem incluir loops onde o modelo gera uma resposta e depois é solicitado a refletir e verificar suas próprias afirmações.
A reformulação de consultas e tentativas múltiplas também são mecanismos legítimos de confiabilidade. Como o recall é altamente dependente do contexto, a estrutura do prompt determina o sucesso. Mudar a estrutura de um prompt, gerar contexto intermediário relevante ou solicitar que o modelo gere uma cadeia de raciocínio antes de responder podem revelar informações que prompts diretos perdem.
Os testes devem avaliar acesso semântico, não apenas precisão de benchmark. Métricas de precisão padrão mascaram capacidades subjacentes do modelo. Conjuntos de avaliação devem sondar o mesmo fato subjacente através de diferentes fraseados, contextos e direções para verdadeiramente entender o que um modelo sabe versus o que pode acessar confiavelmente.
O que isso significa para o futuro da IA
Essa mudança em direção ao uso do conhecimento nivela o campo de jogo para stacks de IA empresariais. Para empresas que não constroem modelos do zero, essas são boas notícias. O pré-treinamento é extremamente caro e fora do alcance da maioria, mas as alavancas que importam agora não são: pós-treinamento pode ajudar com poucos dados e passos, e ferramentas de tempo de inferência como pensamento, etapas de verificação e recuperação já são o que a maioria das equipes usa.
O benchmark WikiProfile está disponível no Hugging Face por aproximadamente 500 dólares para uma avaliação completa de um modelo de fronteira. As equipes podem reduzir significativamente esse custo omitindo variantes de múltipla escolha ou usando menos amostras de resposta por pergunta. Como o benchmark inclui os prompts exatos usados para construí-lo, equipes de engenharia de dados empresariais podem recriar o pipeline em seus próprios corpora internos.
Conclusão
A pesquisa do Google Research e Technion representa uma mudança de paradigma em como entendemos e abordamos as limitações dos modelos de linguagem. A descoberta de que modelos de IA já possuem a vasta maioria do conhecimento factual, mas simplesmente têm dificuldade em acessá-lo, redefine completamente as estratégias de desenvolvimento e otimização.
Para o mercado brasileiro, onde recursos computacionais e orçamentos de desenvolvimento são frequentemente limitados, essas descobertas são particularmente relevantes. Em vez de perseguir modelos cada vez maiores ou implementar sistemas de recuperação caros e complexos, as empresas podem focar em técnicas mais eficientes de acesso ao conhecimento já presente nos modelos.
À medida que a IA continua sua integração em aplicações críticas de negócios, entender a diferença entre ‘não saber’ e ‘não conseguir lembrar’ será fundamental para construir sistemas mais confiáveis, eficientes e economicamente viáveis. O futuro pode não estar em modelos maiores, mas em modelos que pensam melhor.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria “Frontier models can recover up to 65% of facts they can’t directly recall — just by thinking longer” publicada em VentureBeat, disponível em https://venturebeat.com/orchestration/frontier-models-can-recover-up-to-65-of-facts-they-cant-directly-recall-just-by-thinking-longer.
