Lab

Comment tester la non-écriture

Réponse courte

Pour tester la non-écriture, on construit un jeu d’événements fictifs étiquetés à l’avance (à retenir, à ne pas retenir, à retenir comme hypothèse), on rejoue ces événements, puis on compte séparément ce qui a été écrit à tort et ce qui n’a pas été écrit à tort. Sans test de l’écriture attendue, une mémoire qui n’écrit jamais passerait tous les contrôles.

Un tamis fin en verre au-dessus d’un plateau : quelques éléments tombent en dessous, reliés par un fil ambre, tandis que la plupart restent dans le tamis, sans fil.

Une mémoire qui retient tout est facile à tester : on vérifie que tout est là. Une mémoire qui doit choisir ce qu’elle ne retient pas est plus délicate, parce que la réussite se manifeste par une absence. Personne ne remarque une note qui n’existe pas.

Cet article propose une méthode de test en six étapes, reproductible avec un tableur ou une feuille de papier. Elle sert à vérifier qu’une mémoire écarte le bruit, garde ses hypothèses au rang d’hypothèses et respecte les frontières entre privé et partagé. Nous la décrivons sans donner de résultats sur Nawame, sauf une phrase, avec sa réserve, plus bas.

Ce qu’une mémoire fiable ne doit pas écrire

Le principe est posé dans pourquoi une bonne mémoire sait ne rien écrire : tout ne mérite pas de devenir un souvenir durable. Pour tester, il faut traduire ce principe en cas précis. Une mémoire fiable ne doit pas :

  • conserver le bruit : politesses, essais intermédiaires, reformulations successives ;
  • transformer une hypothèse en fait, ou une intention en décision ;
  • mémoriser automatiquement toute une conversation parce qu’elle a eu lieu ;
  • extrapoler : déduire une date, un chiffre ou une préférence que personne n’a énoncés ;
  • franchir les frontières : ce qui est dit dans un espace privé ne se retrouve pas dans un espace partagé sans geste explicite.

Chaque ligne de cette liste donne une famille de cas à tester. La distinction entre fait, décision et hypothèse est développée dans notre article sur les différences entre souvenir, fait, décision, hypothèse et instruction.

Le test en six étapes

1. Construire un jeu d’événements fictifs étiquetés. Un événement est une phrase ou un échange court. Chacun reçoit l’une de trois étiquettes : à retenir, à ne pas retenir, ou à retenir avec le statut « hypothèse ». Mélangez les trois, sinon vous ne testez qu’un côté.

2. Écrire la réponse attendue avant de tester. C’est l’étape qu’on saute le plus souvent, et celle qui protège le plus. Si vous étiquetez après avoir vu le comportement de la mémoire, vous étiquetez ce qu’elle a fait, pas ce qu’elle aurait dû faire.

3. Rejouer dans l’ordre, puis en désordre. L’ordre compte : une hypothèse lundi, confirmée jeudi, devient légitimement une décision. Mélangés, les mêmes événements révèlent les mémoires qui ne marchent que sur des récits bien rangés.

4. Compter séparément les faux positifs et les faux négatifs. Un faux positif est un événement écrit à tort. Un faux négatif est un événement qui devait l’être et qui ne l’a pas été. Ne les additionnez pas (voir plus bas pourquoi).

5. Relire à la main les cas ambigus. Certains événements ne se laissent pas classer proprement. Mettez-les de côté et relisez-les à deux, sans vous montrer vos étiquettes.

6. Recommencer avec des données réelles anonymisées. Retirez noms, montants et lieux, gardez la structure des échanges. C’est là que le jeu fictif, trop propre, montre ses limites.

Un mini jeu de huit événements fictifs

Voici un exemple de jeu. Tout est inventé, pour une petite équipe qui prépare la refonte de son site.

N° Événement fictif Attendu Pourquoi
1 « Ok merci, parfait. » Ne pas retenir Politesse sans contenu
2 « On garde l’imprimeur actuel : il livre plus vite et l’autre coûte plus cher. » Retenir Décision et sa raison
3 « Je me demande si on ne passerait pas à un abonnement mensuel. » Retenir comme hypothèse Intention, pas décision
4 « Je suis en déplacement jusqu’à vendredi, pas de réunion. » Ne pas retenir Fait valable quelques jours
5 Dix reformulations du même titre Ne pas retenir Essais intermédiaires
6 « Le budget ne dépasse pas l’enveloppe validée, c’est une contrainte ferme. » Retenir Contrainte explicite
7 « Si le client accepte, on lancera sans doute en novembre. » Retenir comme hypothèse Ne pas écrire une date de lancement
8 Dans un espace privé : « Entre nous, je doute que Paul tienne le calendrier. » Ne pas écrire dans l’espace partagé Frontière privé/partagé

Quatre événements sont à écarter ou à garder privés, deux sont à retenir, deux à retenir avec prudence. Les événements 3 et 7 sont les plus instructifs : une mémoire qui les écrit comme des décisions a commis une erreur d’autorité, même si elle a eu raison de les écrire.

Compter séparément faux positifs et faux négatifs

Les deux erreurs ne coûtent pas la même chose. Un faux positif est visible : une note en trop, du bruit qu’on finira par voir et par supprimer. Un faux négatif est invisible : on ne sait pas ce qui manque, et on ne s’en aperçoit que le jour où on en a besoin.

Il existe aussi une troisième catégorie, que nous comptons à part : l’événement bien écrit avec le mauvais statut (l’hypothèse enregistrée comme décision). Un simple « écrit ou non écrit » la rate. Ces trois comptes, posés côte à côte, disent bien plus qu’un pourcentage de réussite. Pour la famille d’erreurs à laquelle tout cela appartient, nous renvoyons à notre grille des erreurs de mémoire.

Les pièges

  • Les données synthétiques trop propres. Un événement fabriqué pour le test est net, une vraie conversation ne l’est pas. Un jeu fictif réussi est un point de départ, pas une preuve.
  • Les étiquettes subjectives. Ce qui est du bruit pour vous est peut-être une contrainte pour un collègue. Écrivez la règle d’étiquetage avant de commencer.
  • Le test qui passe parce que la mémoire n’écrit jamais. C’est le piège le plus vicieux. Une mémoire muette réussit tous les événements à ne pas retenir. Il faut donc toujours inclure des événements à retenir et vérifier qu’ils le sont, avec la même logique que celle des questions sans réponse : on tient les deux côtés en même temps.
  • Un jeu qui ressemble trop à ce qu’on a réglé. Si vous ajustez la mémoire après chaque échec, renouvelez le jeu de test. Nous y revenons dans l’article sur le test sans tricher.

Ce que nous pouvons dire de nos propres essais

Notre premier protocole synthétique de non-écriture a correctement classé 26 événements sur 26 ; le réel sera plus compliqué.

Comment lire cette phrase : les événements ont été préparés par nous, avec une réponse attendue connue d’avance, donc plus nets que la vie réelle. Elle montre que le principe de non-écriture peut être vérifié, pas que tout se passera aussi bien sur vos conversations. Nous ne détaillons pas le protocole, et nous ne donnons aucun autre chiffre.

Les limites de ce test

  • Il mesure ce que vous avez pensé à tester. Les cas qui vous surprendront sont ceux auxquels vous n’avez pas pensé.
  • Huit événements ne prouvent rien. L’exemple ci-dessus sert à comprendre la méthode. Un vrai jeu en contient davantage, avec des variantes de chaque cas.
  • Le jugement humain reste au centre. C’est un humain qui décide de ce qui mérite d’être retenu, donc le test mesure un accord avec cette décision, pas une vérité absolue.
  • La non-écriture n’est pas l’unique qualité d’une mémoire. Une mémoire qui écarte bien le bruit peut encore mal retrouver ce qu’elle a gardé.

Par où commencer

Prenez vingt minutes. Écrivez huit événements tirés de votre propre travail, étiquetez-les, puis donnez-les à la mémoire que vous utilisez, en notant ce qu’elle a retenu. Comptez les faux positifs, les faux négatifs et les erreurs de statut, dans trois colonnes.

Si l’un des comptes vous surprend, c’est déjà un résultat. Le Lab réunit nos travaux sur ces questions, pour ceux qui veulent aller plus loin.

Votre prochain prompt ne devrait pas devoir contenir toute votre histoire.

Commencez à construire une mémoire que vos IA pourront retrouver lorsque cela comptera.

Commencer gratuitement