Lab
Comment nous mesurons les erreurs de mémoire
Réponse courte
Une mémoire d’IA peut se tromper de sept façons au moins : faux rappel, omission, rappel hors contexte, ancien fait pris pour actuel, duplication, erreur d’autorité et écriture de ce qu’il ne fallait pas retenir. Chaque erreur se détecte avec sa propre question et se compte à part, parce qu’un score global cache où la mémoire se trompe et dans quel sens.

Dire qu’une mémoire d’IA « marche bien » ne veut rien dire tant qu’on n’a pas précisé de quelle erreur on parle. Elle peut oublier ce qu’elle devrait retrouver, inventer ce qu’on ne lui a jamais confié, ou ressortir un fait exact mais périmé. Ce sont trois pannes différentes, qui ne se repèrent ni ne se corrigent de la même manière.
La réponse courte de cet article : classez les erreurs avant de les compter. Nous décrivons ici la grille que nous utilisons au Lab, sept types d’erreurs avec une façon de repérer chacun. Il s’agit d’une méthode, sans aucun résultat chiffré sur Nawame, et vous pouvez l’appliquer à n’importe quelle mémoire, y compris un simple carnet partagé avec une IA.
Pourquoi un seul score trompe
Imaginons deux mémoires qui obtiennent la même note globale. La première se trompe en inventant des souvenirs. La seconde se trompe en restant muette quand elle aurait dû répondre. Sur le papier, elles se valent. Dans la vie, l’une vous envoie dans le mur avec assurance, l’autre vous fait perdre du temps à chercher ce qu’elle avait déjà.
Il y a un compromis derrière cela. Une mémoire qu’on rend plus prudente invente moins, mais se tait plus souvent. Une mémoire qu’on rend plus bavarde retrouve davantage, mais se trompe davantage. Un score unique mélange les deux effets : on peut « améliorer » la note en déplaçant simplement les erreurs d’un côté vers l’autre. Compter chaque type d’erreur à part oblige à voir ce déplacement.
Sept erreurs, et comment chacune se repère
Pour chaque erreur, nous posons la même chose : de quoi s’agit-il, comment la détecter, et à quoi elle ressemble dans un cas fictif. Les exemples sont inventés pour l’illustration.
Le faux rappel
Un souvenir est inventé, ou attribué à la mauvaise personne ou à la mauvaise date. Pour le détecter, on prend chaque souvenir restitué et on demande où il se trouve dans ce qui a été écrit. Sans source, c’est une invention. Avec une source qui dit autre chose, c’est une mauvaise attribution.
Exemple : l’IA affirme que « Karim a validé le devis », alors que la note dit seulement que Karim l’a demandé. Une variante très utile consiste à poser des questions dont la réponse n’existe pas, ce que nous avons détaillé dans notre article sur les sujets qui n’existent pas.
L’omission
La mémoire ne retrouve rien alors que l’information existait. Pour la repérer, on écrit à l’avance la réponse attendue à une question dont on connaît la note source, puis on la pose avec d’autres mots que ceux de la note. Une omission qui n’apparaît qu’avec un vocabulaire différent est la plus fréquente et la plus discrète.
Exemple : la note dit « Inès gère le serveur », et la question « qui s’occupe de l’hébergement ? » reste sans réponse.
Le rappel hors contexte
Ce qui est retrouvé est vrai, mais ne concerne pas la situation. La détection passe par une relecture à la main, avec une seule question : cet élément aurait-il changé ma décision ? Si non, il encombre.
Exemple : en préparant le devis d’un client, l’IA ressort la règle de facturation d’un autre. Elle est exacte, elle est à sa place ailleurs. C’est un cousin du faux précédent de la recherche sémantique, où deux situations se ressemblent sans être comparables.
L’ancien fait pris pour actuel
Une information a été remplacée, et la mémoire ressort l’ancienne version comme si elle tenait encore. On construit pour cela des paires : un fait, puis sa version remplaçante, puis une question. La bonne restitution donne la version récente ou signale clairement le remplacement.
Exemple : en mars, l’imprimeur a changé. En septembre, l’IA propose encore l’ancien.
La duplication
La même information existe en plusieurs versions légèrement différentes, et la restitution en remonte trois d’un coup. On la repère en comptant les doublons au moment de la restitution, et surtout en vérifiant si les variantes se contredisent.
Exemple : trois notes parlent du budget, avec « 4 000 », « 4 000 € » et « prévisionnel 4 500 ». Laquelle fait foi ?
L’erreur d’autorité
Une hypothèse est présentée comme une décision, ou un brouillon comme une référence. Pour la détecter, le jeu de test porte un statut attendu sur chaque élément (hypothèse, décision), et on vérifie que la restitution le conserve.
Exemple : « on pourrait passer à un paiement mensuel » devient, deux semaines plus tard, « la décision de passer au mensuel ». Personne n’a rien décidé, mais la phrase a pris de l’assurance en route.
L’écriture de ce qui ne devait pas l’être
Quelque chose a été retenu alors qu’il ne fallait pas : politesse, essai intermédiaire, confidence, fait valable une journée. C’est une erreur d’écriture, pas de restitution, et elle demande son propre test. Nous lui avons consacré un article complet : comment tester la non-écriture.
Écriture et restitution : deux mesures séparées
Ces sept erreurs ne se produisent pas au même endroit. Certaines naissent quand la mémoire décide quoi garder (écrire ce qui ne devait pas l’être, figer une hypothèse en décision). D’autres naissent quand elle répond (omission, rappel hors contexte, ancien fait pris pour actuel). La duplication peut venir des deux côtés.
Si on ne regarde que la réponse finale, on ne sait pas où corriger. Une mémoire peut avoir parfaitement écrit et mal restitué, ou l’inverse. Nous donnons donc à chaque étape sa propre vérité attendue, et nous comparons chaque étape à sa vérité, pas à la réponse finale. C’est plus de travail, et c’est le seul moyen de savoir quoi réparer.
Mesurer quand la vérité est ambiguë
La vraie vie fournit peu de cas nets. « On verra en septembre » est-il une décision de reporter, ou une hypothèse ? Deux personnes honnêtes répondent parfois différemment.
Notre réponse est de ne pas forcer le cas. Deux relecteurs étiquettent chacun de leur côté, sans voir l’avis de l’autre. Quand ils divergent, le cas passe dans une catégorie « ambigu » qui ne compte ni comme réussite ni comme échec. Ce qu’on observe alors est autre chose : la mémoire a-t-elle signalé l’incertitude, ou a-t-elle tranché avec aplomb ? C’est la même logique que celle de la relecture à l’aveugle, qui protège aussi les étiquettes contre nos propres espoirs.
Ce que nous ne publions pas
Nous publions la méthode, les types d’erreurs, et les limites qui les accompagnent. Nous ne publions pas le détail de nos jeux de test, le fonctionnement interne ni nos réglages. Cela relève de notre travail de fabrication, et c’est dit sans détour dans pourquoi nous publions aussi les limites de Nawame.
Une conséquence honnête : vous ne pouvez pas rejouer nos tests à l’identique. Vous pouvez en revanche rejouer la méthode sur vos propres notes, ce qui est souvent plus instructif, parce que vos vrais sujets sont plus tordus que les nôtres.
Les limites de cette méthode
- La grille est la nôtre. Il n’existe pas de taxonomie standard des erreurs de mémoire. Les catégories se recoupent : une hypothèse devenue décision est à la fois une erreur d’autorité et, souvent, un faux rappel.
- Les étiquettes restent subjectives. La relecture à deux réduit le problème, elle ne le supprime pas.
- Compter n’est pas peser. Une erreur sur une préférence de ton et une erreur sur une décision de budget comptent pareil dans un tableau, pas dans la vie.
- Les données synthétiques sont plus propres que le réel. Un jeu de test fabriqué ne contient pas les demi-phrases, les retours en arrière et les sous-entendus de vraies conversations.
- Des erreurs peu fréquentes échappent aux petits échantillons. Un jeu de test court peut ne jamais rencontrer un type d’erreur qui existe pourtant.
- Une mémoire sans erreur n’est pas forcément utile. Mesurer les erreurs ne dit pas si elle évite du travail. Cette autre question fait l’objet de notre article sur la mesure du travail refait évité.
Une grille à essayer cette semaine
Vous n’avez pas besoin d’un laboratoire. Une heure suffit.
- Choisissez dix éléments dans vos notes ou dans la mémoire que vous utilisez : une décision, une hypothèse, une information remplacée, un détail sans importance.
- Pour chacun, écrivez à l’avance la réponse attendue à une question, avec un statut (décision, hypothèse, remplacé).
- Posez les questions avec des mots différents de ceux des notes.
- Classez chaque écart dans l’une des sept familles, et comptez par famille, sans additionner.
- Regardez quelle famille domine. C’est elle qui dit ce qu’il faut changer : les notes, l’habitude d’écriture ou l’outil.
Si vous voulez suivre ce que nous publions sur ces questions, le Lab rassemble nos travaux.


