Lab
Pourquoi nous publions aussi les limites de Nawame
Réponse courte
Nous publions les limites de Nawame parce qu’une mémoire dont on ignore les faiblesses pousse à lui faire trop confiance. La mémoire longue est un problème difficile : faux précédents, bruit, dilution et temps qui passe. Nous mesurons, nous améliorons, et nous ne prétendons pas l’avoir résolu.

Sur la plupart des sites de produits, on ne lit que ce qui marche. Ici, une partie de la page porte sur ce qui ne marche pas encore, ou pas toujours. Ce n’est pas une coquetterie. Pour un outil dont le travail est de vous rendre du contexte, savoir où il peut se tromper fait partie du mode d’emploi.
Pourquoi publier les limites d’un outil de mémoire
Une mémoire se juge rarement sur ses réussites, parce qu’on ne les remarque pas. On la juge sur le moment où elle vous ressort quelque chose de faux avec aplomb. Si personne ne vous a dit que cela pouvait arriver, vous avez accordé une confiance qu’elle n’avait pas gagnée.
Publier les limites sert donc à régler la confiance au bon niveau : assez pour vous en servir, pas assez pour cesser de vérifier ce qui compte. C’est aussi un pari commercial un peu inconfortable, car certains lecteurs préfèrent des promesses nettes. Nous préférons que vous choisissiez Nawame en connaissant ses défauts plutôt que vous en alliez en les découvrant.
Cela dit, pour beaucoup d’usages simples, une mémoire native d’assistant, un document bien tenu ou un prompt soigné suffisent. Nous n’avons aucune raison de prétendre le contraire.
Pourquoi la mémoire longue est un problème difficile
La mémoire longue est la capacité de conserver du contexte pendant des semaines ou des mois, et de le retrouver au bon moment, au lieu de ne tenir que le temps d’une conversation. Elle est difficile pour des raisons que les humains connaissent bien :
- Le temps change la vérité. Ce qui était vrai en février peut ne plus l’être en août, et un souvenir exact peut devenir trompeur sans avoir changé d’un mot.
- Le bruit s’accumule. Plus on conserve de choses, plus les souvenirs utiles se noient parmi les banalités. Conserver moins, c’est souvent comprendre mieux, d’où l’idée que la non-écriture est une fonction.
- Les ressemblances trompent. Deux situations qui se ressemblent en surface peuvent n’avoir rien à voir. Nous avons consacré un article au faux précédent en recherche sémantique.
- Il faut choisir ce qu’on donne à l’IA. En donner trop dilue l’essentiel, en donner trop peu prive d’un élément décisif.
Nous ne connaissons pas de solution définitive à ces quatre points. Nous travaillons à les réduire, et nous préférons le dire.
Ce que nous avons mesuré, et ce que cela ne prouve pas
Nous avons deux résultats publics, et seulement deux.
Le premier concerne la durabilité : lors des tests du Lab, nous avons compté 465 écritures confirmées, 0 violation observée. Autrement dit, ce que Nawame a confirmé avoir écrit est resté écrit, dans ce que nous avons observé. Cela ne prouve pas qu’aucune défaillance n’est possible, et cela ne dit rien de la qualité de ce qui est retrouvé ensuite.
Le second concerne la non-écriture : notre premier protocole synthétique de non-écriture a correctement classé 26 événements sur 26. Le mot important est « synthétique » : ces événements ont été préparés par nous, dans un cadre contrôlé. Le réel sera plus compliqué. Nous détaillons ce choix de publier aussi les résultats imparfaits dans pourquoi publier aussi nos benchmarks imparfaits.
Ces résultats disent que la base tient et que l’idée de ne pas tout conserver est testable. Ils ne disent pas que Nawame retrouve toujours le bon souvenir, ni qu’il sait ce qui est important sans se tromper.
Les limites actuelles
Voici ce que nous savons de nos limites, à ce jour.
Retrouver
Nawame peut manquer un souvenir pertinent, ou en remonter un qui ne l’est pas. Pour éviter qu’une ressemblance passe pour une preuve, les restitutions se présentent comme un « précédent retrouvé », un « rapprochement possible » ou « aucun précédent probant ». Ce vocabulaire aide à doser la confiance, il n’empêche pas toutes les erreurs. Et retrouvé ne veut pas dire vrai : un souvenir garde sa provenance, sa date et son contexte pour que vous puissiez en juger. Ce qui se dégrade quand le volume grandit est décrit dans limites du retrieval à grande échelle.
Sélectionner
Décider ce qui mérite de devenir un souvenir durable est un choix qui peut se tromper dans les deux sens : garder ce qui n’aurait pas dû l’être, ou laisser passer quelque chose qui aurait servi. Plus l’histoire grandit, plus ce choix, et celui de ce qu’on présente à l’IA, devient exigeant.
Suivre le temps
Nawame sait qu’une décision en a remplacé une autre quand cela lui a été dit ou que c’est clair dans ce qui a été conservé. Il ne devine pas qu’une information est périmée si rien ne l’indique. Imaginons qu’en février vous ayez noté « on garde le prestataire actuel », puis qu’en août vous changiez d’avis à l’oral, sans rien consigner : la décision de février peut alors ressortir comme si elle tenait toujours. Les façons dont un souvenir devient périmé sont passées en revue dans savoir qu’un souvenir est devenu obsolète.
Protéger davantage, comprendre moins
Le mode souverain renforce la confidentialité : certains contenus restent illisibles pour les traitements côté serveur. La contrepartie est réelle : les capacités qui demandent de comprendre le contenu côté serveur sont réduites. Ce mode est disponible dès l’offre gratuite, et ce n’est pas du « zéro compromis ». Pour les détails, voir la page sécurité.
Emporter sa mémoire
L’export vous rend votre mémoire, votre historique utile, vos remplacements et leur provenance, dans des formats versionnés. Les mécanismes internes de sélection et de restitution ne sont pas dans l’export : ils restent une technologie de Nawame. Une information importée reste identifiée comme importée et ne devient pas autoritative automatiquement.
Décider
Nawame fournit du contexte. Le jugement et la décision restent humains, y compris quand le contexte est bien retrouvé.
Comment nous travaillons à les réduire
Le Lab étudie comment les humains et les IA perdent, retrouvent et utilisent le contexte. Ses axes tiennent en cinq verbes : capturer mieux, retrouver mieux, donner moins mais mieux, savoir quand ne rien dire, résister au temps.
Une partie du travail consiste à tester ce qui ne devrait pas être trouvé. Une mémoire qui invente un souvenir est plus dangereuse qu’une mémoire qui n’en a pas, donc nous vérifions aussi que Nawame sait répondre qu’il n’a rien de probant. Le raisonnement est expliqué dans pourquoi nous testons volontairement les sujets qui n’existent pas.
Nous ne publions pas le détail de nos méthodes, de nos jeux de test ou du fonctionnement interne : cela relève de notre technologie. Nous publions les principes, les résultats que nous pouvons défendre et les limites qui les accompagnent.
Ce que cela change pour vous
Traitez Nawame comme un collègue qui a bonne mémoire sans être infaillible. Pour une information dont dépend une vraie décision, regardez la date, la provenance et la raison avant de vous y fier. Gardez vos documents de référence là où ils sont, et rappelez-vous que l’export vous permet de partir avec votre contexte.
Si cette franchise vous parle, vous pouvez commencer gratuitement et juger sur pièces, avec vos propres sujets.


