Lab

Une bonne mémoire doit savoir ne rien retrouver

Réponse courte

Une mémoire fiable ne doit pas forcer une correspondance à chaque question. Si rien n’est suffisamment pertinent, mieux vaut s’abstenir que présenter un faux précédent avec assurance.

Cinq galets plats posés en rang, du charbon opaque au blanc translucide, côte à côte sans se toucher, avec un fil ambre qui ondule entre eux jusqu’à une petite bille dorée.

La plupart des démonstrations de mémoire montrent la même chose : une question, puis un souvenir retrouvé.

C’est utile, mais incomplet.

Le cas le plus difficile apparaît parfois lorsqu’il ne faut rien retrouver du tout.

Pourquoi une mauvaise mémoire trouve toujours quelque chose

Une recherche sémantique fonctionne par proximité.

Deux textes peuvent utiliser des concepts proches sans parler de la même décision.

Une question sur un nouveau fournisseur peut ressembler à un ancien problème de logistique. Une demande sur une nouvelle stratégie peut rappeler une note de brainstorming. Un sujet absent peut quand même avoir un voisin.

Si le système doit toujours renvoyer un résultat, il finira par transformer la proximité en précédent.

Et une IA peut ensuite construire une excellente réponse autour d’un mauvais souvenir.

« Retrouvé » ne veut pas dire « pertinent »

Une mémoire devrait distinguer au moins trois situations :

  1. un contexte réellement pertinent a été retrouvé ;
  2. un rapprochement existe, mais il reste incertain ;
  3. rien n’est assez fiable pour influencer la réponse.

Cette troisième réponse est essentielle.

Elle évite que la mémoire donne à une hypothèse la force d’un historique réel.

Plus la mémoire grossit, plus ce problème compte

Avec quelques souvenirs, les sujets sont souvent très distincts.

Avec plusieurs mois de travail, les mots reviennent, les décisions se ressemblent, les personnes changent d’avis et les mêmes problèmes apparaissent dans des contextes différents.

La difficulté n’est plus seulement de retrouver.

Il faut aussi savoir écarter.

Un exemple concret

Vous demandez : « Garde-t-on le même prestataire pour le site ? » La mémoire contient une longue discussion, vieille d’un an, sur un autre prestataire pour l’hébergement. Le sujet est voisin, la décision n’est pas la même.

Une mémoire qui force la correspondance remonte cette discussion, et l’IA répond comme si elle valait pour le site. Une mémoire prudente laisse l’IA constater qu’aucune décision n’existe encore sur le site. Vous perdez deux secondes, et vous évitez une réponse bâtie sur un faux précédent.

Le résultat utilisateur

Pour l’utilisateur, cette prudence change la réponse finale.

Sans elle, l’IA peut dire :

« Vous aviez déjà décidé que… »

alors qu’elle a seulement trouvé une note vaguement proche.

Avec une mémoire plus prudente, elle peut dire :

« Je ne trouve pas de précédent assez fiable pour utiliser votre historique comme base. »

Cette phrase paraît moins spectaculaire.

Elle est pourtant beaucoup plus utile.

La confiance vient aussi de l’abstention

Une mémoire ne devient pas crédible parce qu’elle trouve toujours quelque chose.

Elle devient crédible quand l’utilisateur peut apprendre la différence entre :

  • contexte retrouvé ;
  • rapprochement possible ;
  • absence de contexte fiable.

La capacité à se taire fait partie de la précision.

Le mécanisme est détaillé dans quand la recherche sémantique invente un faux précédent. Nous testons aussi les sujets qui n’existent pas, parce que retrouver n’est pas vérifier : voyez pourquoi retrouvé ne veut pas dire vrai. Pour les effets de l’échelle, lisez limites du retrieval à grande échelle, et pour nos études, le Lab.

Les limites de l’abstention

S’abstenir est un équilibre. Une mémoire trop prudente passe à côté de contexte utile, une mémoire trop sûre d’elle invente des précédents. Aucun réglage ne supprime complètement ces deux erreurs : nous les mesurons plutôt que de prétendre les avoir résolues.

Votre prochain prompt ne devrait pas devoir contenir toute votre histoire.

Commencez à construire une mémoire que vos IA pourront retrouver lorsque cela comptera.

Commencer gratuitement