Un 92,5 au benchmark mémoire LoCoMo vous dit que votre agent sait retrouver un fait, et presque rien sur sa tendance à continuer de le servir avec pleine confiance une fois qu’il a cessé d’être vrai 3. Ce sont deux objectifs distincts, or tout le trio de classements 2026 ne note que le premier. Le correctif réflexe, le decay, le TTL et l’oubli dynamique, vise lui aussi la mauvaise cible : il élague les vieilles mémoires selon leur âge, alors que la panne qui casse vraiment un agent en marche est une mémoire devenue confiante et fausse face à un fait plus récent qui la contredit. Le geste qui vise réellement la confiance est contre-intuitif, et je crois que la plupart des équipes y viennent en dernier : retirer au modèle le jugement de fraîcheur et le trancher de façon déterministe à partir des horodatages et de la provenance.
Le score qui ne dit rien de la confiance
Prenez la mémoire que mem0 met en exemple d’ouverture : un fait très bien retrouvé sur l’employeur d’un utilisateur, exact jusqu’au jour où celui-ci change de poste, moment où il devient confiant et faux 3. Ici, le rappel ne faiblit jamais. Le magasin retrouve le fait à chaque fois, le classe haut, et le sert. C’est exactement ce que LoCoMo récompense, et c’est pourquoi un 92,5 ressemble à de la fiabilité sans en être.
L’écart ne tient pas à des benchmarks bâclés. Il tient à ce que le rappel au moment de la récupération et la confiance au moment de l’inférence sont deux propriétés différentes, et réussir l’une ne prédit rien sur l’autre. Un agent qui excelle au rappel peut tout de même agir sur un fait qui a cessé d’être vrai, parce que l’objectif de rappel n’a jamais demandé si la mémoire servie avait été supplantée. J’irais plus loin : le cas où la mémoire est confiante et fausse est celui qui vous coûte en production, et c’est celui qu’aucun chiffre de classement ne touche.
Ce que les benchmarks notent réellement
Regardez ce que mesurent les chiffres. LoCoMo affiche 92,5 de précision et LongMemEval 94,4, tous deux notant si le bon fait passé remonte pour une requête 3. C’est du rappel, habillé en précision. C’est une condition nécessaire d’une mémoire utile, pas une condition suffisante 1. Le test qui manque est précis : LoCoMo, comme ses pairs, n’introduit jamais systématiquement la contradiction qui ferait dérailler une mémoire, si bien qu’une mémoire à la fois périmée, confiante et fausse n’est jamais éprouvée 1.
Même l’objectif de rappel s’effiloche dès qu’on le passe à l’échelle. BEAM obtient 64,1 à un million de tokens et tombe à 48,6 à dix millions 3. Ainsi, ce que les classements mesurent bel et bien casse déjà sous la pression du contexte, avant même que la confiance n’entre en jeu. Si la récupération pure est divisée par deux quand la botte de foin grandit, un chiffre de précision affiché à une longueur de contexte confortable flatte deux fois.
Pourquoi le decay est le mauvais correctif
La mitigation populaire consiste à oublier selon un calendrier : fonctions de decay, durée de vie, oubli dynamique. Elles agissent sur une seule mémoire isolée et posent une question, ce fait est-il trop vieux pour être gardé. C’est de la récence, or la récence n’est pas la panne. Une mémoire à la fois confiante et fausse n’est pas forcément vieille ; c’est une mémoire qu’un fait plus récent, conservé lui aussi, contredit désormais. Le decay ne tranche jamais ce conflit, puisqu’il ne regarde que l’âge d’un seul enregistrement. Aucun benchmark ne mesure si la confiance suit l’âge et la corroboration, si bien qu’un réglage de decay calé sur un classement optimise une propriété que personne n’a notée 1.
L’objection la plus solide, c’est que les benchmarks rattrapent leur retard. LongMemEval teste déjà les mises à jour, BEAM éprouve déjà les très longs contextes, donc le rappel serait un substitut assez bon de la confiance, et toute cette distinction ne serait qu’un truisme, l’idée qu’un benchmark est incomplet déguisée en trouvaille. Je la prends au sérieux, et elle perd quand même. Retrouver le fait le plus frais n’est pas la même opération qu’écarter le fait périmé : la première est de la récupération, la seconde est une résolution de conflit assortie d’un seuil de confiance. Là encore, aucun de ces bancs d’essai ne met en scène la mise à jour contradictoire qui distinguerait les deux 1, tandis que BEAM qui tombe à 48,6 à dix millions de tokens montre le rappel lui-même défaillir avant que la confiance n’entre en scène 3. La distinction est falsifiable, pas définitionnelle : construisez un benchmark qui injecte des faits contradictoires mis à jour et mesure la fréquence des cas où la mémoire est confiante et fausse, et un score LoCoMo élevé ne prédira pas une fréquence basse. Voilà une prédiction exécutable, ce qui l’empêche d’être un truisme.
Retirer au modèle le jugement de fraîcheur
Si le decay est le mauvais levier, quel est le bon. La réponse contre-intuitive de Reddy et Challaram est d’arrêter de demander au LLM de suivre la fraîcheur 2. Leur recette tranche les conflits entre ancienne et nouvelle information de façon déterministe, à partir d’horodatages et de métadonnées explicites plutôt que du jugement flou du modèle, et ils l’évaluent sur des tâches de résolution de faits périmés sur MemoryAgentBench et LongMemEval plutôt que sur le rappel 2.
La raison de sortir le jugement du modèle, c’est que le raisonnement flou sur lequel des deux faits fait foi est précisément là où naît le comportement confiant et faux. Une comparaison d’horodatages n’hallucine pas de préférence ; une vérification de provenance ne se laisse pas convaincre du mauvais enregistrement par un contexte fluide. Ce n’est pas la même chose que le TTL. Le TTL lit lui aussi un horodatage, mais il agit sur l’âge d’une seule mémoire isolée. Le résolveur déterministe agit sur une contradiction entre deux mémoires : étant donné un enregistrement plus récent qui en contredit un plus ancien, il décide lequel fait foi, et couple la confiance au moment de servir à cette résolution et à la corroboration. Un magasin peut avoir un réglage de decay impeccable et servir tout de même avec confiance un fait périmé que sa propre mémoire plus récente contredit, justement parce que le decay n’a jamais fait la comparaison.
Ce qu’il faut livrer
La conséquence pratique est un déplacement de ce sur quoi vous vous appuyez pour gouverner. Un score LoCoMo élevé ne vous dit rien sur la propension de votre agent à servir avec confiance un fait qui a cessé d’être vrai ; cessez donc de lire le rappel comme un signal de fiabilité et mettez la mémoire sous condition de fraîcheur et de corroboration : tranchez les conflits ancien-contre-nouveau à partir des horodatages et de la provenance, et retenez la confiance au moment de servir quand un fait est vieux ou non corroboré. Évaluez la couche mémoire sur la résolution des faits périmés, pas sur sa position dans un classement de rappel.
Le coût est l’objection honnête ici, et le seul chiffre net vient du benchmark maison de mem0, à lire comme tel : mem0 annonce son nouvel algorithme à environ 6 900 tokens par requête contre à peu près 26 000 pour les approches à contexte complet 3. C’est le chiffre du fournisseur pour son propre algorithme, pas un coût vérifié de façon indépendante de la recette d’horodatage déterministe, et je ne le présenterais pas comme tel. Il suggère qu’une résolution structurée n’a pas à faire exploser votre budget de contexte, ce qui est une raison d’essayer l’approche, pas une preuve qu’elle est gratuite.