Lab

Quand la recherche sémantique invente un faux précédent

Réponse courte

Un faux précédent est un souvenir retrouvé qui ressemble à la situation actuelle sans la concerner vraiment. La recherche sémantique en produit parce que la proximité de sens n’est pas l’identité. Retrouvé ne veut pas dire vrai : il faut pouvoir juger la provenance, la date et le contexte, et accepter que la bonne réponse soit parfois « aucun précédent probant ».

Des billes de verre presque identiques reliées par de fins traits graphite ; un seul trait ambre remonte sans rupture jusqu’à un point graphite à gauche.

Vous demandez à une IA : « Avions-nous déjà tranché cette question ? » Elle répond que oui, en mars, avec la décision prise à l’époque. C’est précis, daté, plausible. C’est peut-être faux : la décision de mars portait sur autre chose, qui y ressemblait beaucoup.

C’est un des problèmes les plus délicats d’une mémoire qui sert à retrouver du contexte. On en parle peu, parce qu’il est moins spectaculaire qu’un oubli. Il est pourtant plus dangereux.

Ce que fait la recherche sémantique, et pourquoi elle est utile

La recherche sémantique consiste à chercher des textes dont le sens est proche de la question, plutôt que des textes qui contiennent les mêmes mots. Si vous tapez « contrat de sous-traitance » et qu’elle vous ramène une note intitulée « accord avec le prestataire », elle a fait son travail.

C’est précieux, parce que personne ne se souvient des mots exacts qu’il a employés il y a six mois. Une recherche par mots-clés demande de deviner son propre vocabulaire passé. La recherche sémantique dispense de cet effort.

Elle n’est pas toujours nécessaire. Pour quelques dizaines de notes bien rangées, un document tenu à jour et la fonction de recherche de votre outil habituel suffisent très bien. Le problème apparaît quand l’historique grossit, que plusieurs personnes ou plusieurs IA y écrivent, et que les sujets se ressemblent. Ce qui se dégrade quand le volume augmente est décrit dans limites du retrieval à grande échelle.

Comment un faux précédent se fabrique

Un faux précédent est un souvenir retrouvé qui ressemble à la situation actuelle, mais qui ne la concerne pas : autre sujet, autre période, autre contrainte. Plusieurs raisons générales l’expliquent.

D’abord, la proximité de sens n’est pas l’identité. Deux décisions sur un budget parlent toutes les deux de budget, sans avoir de rapport entre elles. Ensuite, le vocabulaire d’un métier est répétitif : dans une même entreprise, beaucoup de sujets se ressemblent par construction. Enfin, un ancien souvenir périmé reste aussi proche de la question qu’un souvenir encore valable, si rien ne signale qu’il a été remplacé.

Imaginons une petite équipe produit. En février, elle écarte un outil de facturation pour son pilote : trop cher pour une vingtaine de clients test. En septembre, elle se demande si elle peut en adopter un pour le lancement public. La recherche remonte la décision de février : « déjà écarté ». Mais la raison d’alors, le coût pour un pilote, ne vaut plus pour un lancement. Et l’outil envisagé n’est peut-être pas le même. L’équipe aurait pu renoncer à une bonne option sur la foi d’un souvenir qui ne la concernait pas.

Pourquoi un faux précédent est pire qu’un oubli

Quand une information manque, vous le savez : vous cherchez ailleurs, vous demandez à un collègue, vous repartez de zéro en connaissance de cause.

Un faux précédent, lui, a l’apparence d’une preuve. Il a une date, une formulation, parfois un nom. L’IA qui le reçoit aura tendance à s’en servir, et à le présenter avec assurance, parce que c’est ce qu’on lui a fourni. Le risque est de bâtir un raisonnement entier sur une base qui ne tient pas, sans que personne n’ait rien vu passer.

C’est pour cela que, dans une mémoire qui sert à retrouver du contexte, dire « je n’ai rien de probant » vaut mieux que de ramener quelque chose à tout prix. Nous y revenons dans un article sur pourquoi nous testons volontairement les sujets qui n’existent pas.

Retrouvé ne veut pas dire vrai

Premier principe : ce qu’une mémoire retrouve est une piste de travail, pas une vérité. Pour pouvoir la juger, il faut savoir d’où elle vient, quand elle a été écrite, dans quel cadre, et si quelque chose l’a remplacée depuis. Nawame conserve la provenance, la temporalité et le contexte des souvenirs pour cette raison. Nous avons détaillé l’autre face du problème dans l’article sur ce qui se passe quand une décision change. Le même principe, vu sous l’angle de la confiance à accorder à un souvenir, est développé dans pourquoi retrouvé ne veut pas dire vrai.

Deuxième principe : la restitution doit dire son degré de certitude. Nawame utilise trois formulations publiques :

  • Précédent retrouvé : un souvenir répond bien à la situation décrite.
  • Rapprochement possible : quelque chose ressemble, à vérifier avant de s’en servir.
  • Aucun précédent probant : rien de convaincant n’a été trouvé, et c’est dit clairement.

Nous ne détaillons pas ici comment Nawame fait la différence entre ces trois cas : cela fait partie de notre technologie. Ce qui compte pour vous, c’est ce que vous voyez et ce que vous en faites. Le troisième cas est le plus sous-estimé. Une mémoire qui sait répondre « rien de probant » est plus utile, à la longue, qu’une mémoire qui a toujours une réponse. C’est le pendant, côté restitution, de ce que nous disions côté écriture : la non-écriture est une fonction.

Ce que cela change pour vous

Vous n’avez pas besoin de comprendre les mécanismes pour en tirer quelques réflexes simples.

  1. Regardez la date et la provenance avant de vous appuyer sur un précédent, surtout s’il est ancien.
  2. Demandez ce qui diffère. Une bonne question à poser à l’IA : « En quoi la situation d’alors diffère-t-elle de celle d’aujourd’hui ? »
  3. Traitez un rapprochement possible comme une hypothèse. Il vous oriente, il ne tranche pas.
  4. Gardez la décision. Nawame fournit du contexte. Le jugement et la décision restent humains.

Cela vaut pour Nawame comme pour n’importe quelle autre mémoire, native ou non. Aucun système n’est à l’abri de ce genre d’erreur, et la seule défense sérieuse est de rendre l’erreur visible.

Les limites actuelles

Nawame n’élimine pas les faux précédents. Ils font partie des problèmes difficiles que le Lab étudie et mesure : faux précédents, bruit, sélection du contexte, temporalité.

Concrètement, la distinction entre les trois formulations peut se tromper dans les deux sens. Une mémoire trop prudente peut manquer un vrai précédent et répondre « aucun précédent probant » alors qu’il existait. Une mémoire trop confiante peut présenter comme retrouvé ce qui n’était qu’un rapprochement. Les deux erreurs coûtent quelque chose, et chaque amélioration d’un côté risque de dégrader l’autre. Les types d’erreurs et la façon de les compter sont décrits dans comment nous mesurons les erreurs de mémoire.

Nous ne publions pas ici de mesure chiffrée sur ce point. Nous préférons vous dire que le problème est ouvert plutôt que de vous montrer un chiffre qui donnerait une impression de maîtrise.

Comment l’utiliser sans se fier aveuglément

Si vous travaillez avec une IA sur des sujets qui durent, gardez en tête que la mémoire la plus utile n’est pas celle qui retrouve le plus de choses, mais celle dont vous pouvez vérifier les réponses. La FAQ donne d’autres précisions sur la façon dont Nawame conserve et restitue le contexte.

Pour essayer avec vos propres sujets, Nawame est gratuit jusqu’à 10 mémoires.

Votre prochain prompt ne devrait pas devoir contenir toute votre histoire.

Commencez à construire une mémoire que vos IA pourront retrouver lorsque cela comptera.

Commencer gratuitement