Lab
Pourquoi nous testons volontairement les sujets qui n’existent pas
Réponse courte
Nous posons volontairement à Nawame des questions sur des sujets qui n’ont jamais été conservés, pour vérifier qu’il ne fabrique pas de réponse. Une mémoire qui répond toujours réussit tous les tests où la réponse existe, mais une mémoire fausse est pire qu’une absence de mémoire. Ces tests sont un travail en cours, pas une garantie.

Tester une mémoire, c’est d’abord lui poser des questions dont la réponse existe : « Qu’avions-nous décidé pour ce fournisseur ? » Si elle retrouve la bonne note, le test est réussi. C’est facile à organiser et c’est flatteur.
Mais la question la plus instructive est souvent l’inverse : celle dont la réponse n’existe pas.
Pourquoi les tests où la réponse existe ne suffisent pas
Un test positif vérifie que le système retrouve ce qui a été conservé. Un test négatif, que nous appelons ici test de sujet inexistant, pose une question sur un sujet qui n’a jamais été conservé et vérifie que le système ne fabrique pas de réponse.
Un détecteur de fumée qui sonne en permanence repère tous les incendies. Personne ne le trouve pour autant fiable. De la même façon, une mémoire qui propose toujours quelque chose réussit tous les tests positifs. Seul le test négatif montre ce qui se passe quand il n’y a rien à trouver, ce qui est pourtant une situation courante : on demande souvent à une mémoire des choses qu’on n’y a jamais mises.
Pourquoi une mémoire fausse est pire que pas de mémoire
Sans mémoire, vous le savez et vous repartez de zéro. Avec une mémoire fausse, vous construisez sur du sable.
Imaginons un petit cabinet de conseil. Quelqu’un demande à l’IA : « Avons-nous déjà fixé un tarif pour la formation destinée aux associations ? » Rien n’a jamais été discuté à ce sujet, mais il existe une note sur le tarif des conférences. Une mémoire trop zélée rapproche les deux et répond avec aplomb. Le devis part sur la base d’un tarif que personne n’a validé.
C’est le même danger que celui décrit dans notre article sur le faux précédent que la recherche sémantique peut produire. Tester les sujets inexistants est la manière la plus directe de le chercher à la source.
Ce que nous cherchons à observer
Nous ne détaillons pas nos protocoles : ils font partie de notre travail de fabrication. Les principes, en revanche, n’ont rien de secret.
Le cas le plus facile est le sujet totalement étranger à tout ce qui est conservé. Le plus difficile est le sujet voisin : proche par le vocabulaire de souvenirs bien réels, mais distinct. C’est là que les fausses réponses se glissent. Un troisième cas mérite l’attention : le sujet dont il ne reste qu’une version ancienne, peut-être remplacée depuis.
Dans chaque cas, nous regardons ce que le système annonce. La bonne issue n’est pas toujours la même : parfois « aucun précédent probant », parfois « rapprochement possible » accompagné de ce qui diffère, selon ce qui est réellement conservé. Nous ne courons pas après un résultat sans faute. Nous voulons comprendre où le système se trompe et dans quel sens, parce qu’une erreur dans un sens et une erreur dans l’autre ne se corrigent pas de la même façon.
Voici un exemple fictif de préparation d’un tel test, que vous pouvez reproduire sur vos propres notes. Une petite agence a conservé des décisions sur ses tarifs de conférence et sur son outil de facturation. Pour fabriquer un sujet voisin, on prend l’un de ces thèmes et on change un seul élément : « le tarif d’une conférence à l’étranger », alors que rien n’a jamais été noté sur l’étranger. On écrit la bonne réponse avant de poser la question : ici « aucun précédent » ou, au mieux, « la note sur les conférences en France, qui ne dit rien de l’étranger ». On pose ensuite la question avec deux formulations différentes, puis on compare. Si la réponse change d’une formulation à l’autre, c’est déjà un signal. Enfin, on note l’écart entre la réponse attendue et la réponse obtenue sans chercher à l’expliquer tout de suite : le but du test est de repérer les cas, pas de les excuser.
La calibration, dans les deux sens
La calibration est l’accord entre l’assurance affichée et ce que le système sait réellement. Elle se dégrade dans deux directions. Un système trop bavard invente. Un système trop muet répond « rien » même quand il y avait quelque chose. Le premier réussit mal les tests négatifs, le second réussit mal les tests positifs.
C’est pourquoi un test négatif seul ne suffirait pas non plus : une mémoire qui ne dit jamais rien passerait tous les tests de sujets inexistants. Il faut tenir les deux côtés en même temps, et c’est ce qui rend l’exercice difficile. Les différents types d’erreurs et la façon de les compter sont décrits dans comment nous mesurons les erreurs de mémoire.
Ce que nous pouvons dire de nos mesures
Sur un problème voisin, nous avons une donnée publique : notre premier protocole synthétique de non-écriture a correctement classé 26 événements sur 26 ; le réel sera plus compliqué.
Quelques précautions pour lire ce chiffre. Il concerne la décision de ne pas conserver certaines choses (nous en parlons dans l’article sur pourquoi une bonne mémoire sait ne rien écrire), pas la restitution face à un sujet inexistant. Nous ne prétendons pas qu’il démontre quoi que ce soit sur ce dernier cas. Il est aussi synthétique : les événements ont été préparés pour le test, donc plus nets que dans la vraie vie, où les choses sont ambiguës et souvent partielles.
Nous ne publions pas de chiffre sur les sujets inexistants. Nous préférons une absence de chiffre à un chiffre qui laisserait croire que la question est réglée. La méthode pour tester la non-écriture elle-même est décrite pas à pas dans comment tester la non-écriture.
Les limites actuelles
Plusieurs limites, dites sans détour.
- Un test synthétique n’est pas la réalité. Il mesure ce que nous avons pensé à tester. Les situations qui nous surprendront sont, par définition, celles auxquelles nous n’avons pas pensé.
- Nawame n’élimine pas les erreurs. Il peut répondre « aucun précédent probant » alors qu’un précédent existait, ou signaler un rapprochement qui n’en valait pas la peine. Retrouvé ne veut pas dire vrai, et ne rien retrouver ne veut pas dire que rien n’existe.
- Vous ne pouvez pas vérifier nos protocoles. Puisque nous ne les publions pas, vous nous croyez sur parole. C’est une limite réelle de cet article, et nous la préférons à une fausse transparence qui détaillerait tout.
Ces sujets figurent parmi les problèmes que le Lab étudie et mesure : faux précédents, bruit, sélection du contexte, temporalité. Nous expliquons aussi pourquoi nous publions les limites de Nawame plutôt que de les taire.
Ce que cela change pour vous
Vous pouvez faire ce test vous-même, sur n’importe quelle mémoire, y compris celle que vous utilisez déjà. Posez-lui une question dont vous savez qu’elle n’a pas de réponse dans ce que vous avez conservé. Notez ce qu’elle répond : admet-elle qu’elle n’a rien, ou vous propose-t-elle quelque chose d’assuré ?
Faites-le ensuite avec un sujet voisin d’un sujet réel. C’est l’essai le plus révélateur, et il ne demande que quelques minutes. Pour ne pas se tromper soi-même en testant, voir comment tester une mémoire IA sans tricher avec le benchmark.
Si vous voulez le tenter avec Nawame, le compte gratuit donne jusqu’à 10 mémoires. La FAQ précise ce que fait et ne fait pas l’outil.


