Lab
Comment mesurer si une mémoire évite réellement du travail refait
Réponse courte
Pour savoir si une mémoire évite du travail, comptez le travail refait : ce qu’on réexplique, redécide, recherche à nouveau ou corrige pour la deuxième fois. Tenez un journal de répétitions quelques semaines avant et après, avec des durées indiquées comme estimations. Comparez la fréquence des redites plus que le temps, et méfiez-vous de l’effet de nouveauté.

Une mémoire d’IA donne facilement l’impression d’être utile. On retrouve une note, on gagne un réflexe, on se sent mieux organisé. La vraie question est plus terre à terre : êtes-vous en train de refaire moins de choses qu’avant ? Une sensation d’efficacité ne répond pas à cela, un comptage oui.
Cet article propose une méthode simple pour le faire soi-même ou en équipe, avec un carnet et quelques semaines. Elle ne dépend d’aucun outil et marche pour n’importe quelle mémoire. Nous n’y donnons aucun résultat chiffré sur Nawame : l’utilité d’une mémoire se juge sur votre travail, pas sur les chiffres de quelqu’un d’autre.
Ce qu’on appelle « travail refait »
Le travail refait, c’est ce que vous faites une deuxième fois alors que la première aurait dû suffire. Il prend quatre formes :
- Réexpliquer : redonner à l’IA le contexte, le but, les contraintes, qu’elle avait déjà reçus une autre fois.
- Redécider : trancher à nouveau une question déjà tranchée, parce que personne ne retrouve la raison du choix.
- Rechercher à nouveau : refaire une recherche, rouvrir un document, relire un échange pour retrouver ce qu’on savait.
- Corriger une erreur déjà vue : rectifier pour la deuxième fois la même erreur de l’IA, parce que la correction de la première fois n’a pas survécu.
Ces quatre familles ont un point commun utile : on s’en rend compte sur le moment (« tiens, je refais ça »). C’est ce qui rend la mesure possible sans instrument compliqué.
Un journal de répétitions sur quelques semaines
Le protocole tient en une page.
Période de référence, deux semaines. Travaillez comme d’habitude. Dès que vous vous surprenez à refaire quelque chose, notez une ligne : la date, la famille (l’une des quatre ci-dessus), le sujet, et une durée estimée en minutes. Ajoutez « estimée » en tête de la colonne : ce sont des ordres de grandeur, pas des mesures.
Période avec mémoire, deux semaines de plus. Mettez en place la mémoire que vous voulez évaluer, laissez passer une semaine d’adaptation, puis reprenez le même journal, avec les mêmes catégories. Deux semaines par période, quatre si vous le pouvez, suffisent à lisser les semaines atypiques.
Un exemple de journal, entièrement fictif :
| Date | Famille | Sujet | Durée estimée |
|---|---|---|---|
| 3 nov. | Réexpliquer | Public visé de la newsletter | 10 min |
| 4 nov. | Redécider | Police du site | 15 min |
| 6 nov. | Rechercher à nouveau | Devis de l’imprimeur | 10 min |
| 7 nov. | Corriger | Nom du client mal orthographié, encore | 2 min |
Une ligne prend trente secondes. Si le journal devient une corvée, vous le laisserez tomber au bout de trois jours, et la mesure sera fausse avant d’avoir commencé. En équipe, mettez-vous d’accord sur les quatre familles au départ et tenez une seule feuille commune, pour que « redécider » ait le même sens pour tout le monde. Sinon, deux personnes rangeront la même répétition sous des titres différents et la comparaison deviendra floue.
Lire le journal sans se raconter d’histoires
Regardez d’abord la fréquence des redites, pas le temps. Le temps est estimé, donc fragile. Le nombre de lignes par semaine, lui, se compte. Comparez les deux périodes, famille par famille : les répétitions de type « réexpliquer » ont-elles baissé ? Celles de type « redécider » ?
Quelques indicateurs qualitatifs complètent le tableau :
- le début de séance est-il plus court ?
- la question « qu’avions-nous décidé ? » trouve-t-elle une réponse au premier essai ?
- les mêmes erreurs reviennent-elles, ou la correction a-t-elle tenu ?
- y a-t-il des sujets qu’on ne redécide plus, sans que quelqu’un l’ait interdit ?
Attention à la nuance : une baisse de « réexpliquer » avec une hausse de « corriger » peut signifier que la mémoire restitue du contexte, mais du mauvais. Le travail refait ne dit pas tout sur la qualité, il est un indicateur parmi d’autres. Les erreurs elles-mêmes se suivent avec une autre grille, décrite dans comment nous mesurons les erreurs de mémoire.
Les pièges
L’effet de nouveauté. Pendant les premiers jours avec un nouvel outil, on est attentif, on fait plus d’efforts, on note tout. La deuxième période paraît meilleure pour des raisons qui n’ont rien à voir avec la mémoire. Laissez passer une semaine avant de commencer à compter.
Mesurer le temps perdu plutôt que gagné. Le temps gagné n’existe pas dans le journal : on n’y note que ce qu’on a fait. Ne déduisez pas « nous avons gagné trois heures » de « nous avons noté trois heures de moins de répétitions ». Dites seulement que vous avez noté moins de répétitions.
Attribuer à la mémoire ce que fait un meilleur prompt. Si, entre les deux périodes, vous avez aussi appris à mieux rédiger vos demandes, la baisse n’est pas à mettre au crédit de la mémoire. Un prompt soigné règle une partie des cas, et notre article sur ce qu’un bon prompt ne peut pas contenir montre où il s’arrête. Pour isoler l’effet, ne changez qu’une chose à la fois.
Comparer des semaines qui ne se ressemblent pas. Une semaine de lancement et une semaine de vacances ne produisent pas les mêmes répétitions. Comparez du travail comparable.
Ne pas noter les redites gênantes. On se souvient des moments où l’on s’est senti stupide de répéter. On oublie les petites. Cherchez le biais en fixant un moment de la journée pour remplir le carnet.
Quand ça ne vaut pas la peine de mesurer
Mesurer a un coût. Si votre projet est court, si l’usage est ponctuel ou si la gêne est flagrante (vous réexpliquez la même chose tous les matins), un journal est du travail en plus pour une conclusion déjà évidente.
Dans beaucoup de cas, une solution plus simple règle aussi le problème : un fichier « état du projet » relu au début de chaque séance. Nous décrivons cette méthode sans outil dans garder le contexte d’un projet avec une IA pendant plusieurs mois. Si ce fichier suffit à faire tomber vos répétitions, vous n’avez pas besoin de plus.
Si vous essayez ensuite une mémoire persistante, le même journal vous dira si elle apporte quelque chose de plus que le fichier. Notre guide pour utiliser Nawame dans un projet long décrit un exemple de mise en place, que vous pouvez mesurer de cette façon.
Les limites de cette méthode
- Les durées sont des estimations. Elles varient selon l’humeur du jour. Comptez les occurrences avant les minutes.
- C’est de l’auto-déclaration. Vous êtes à la fois le sujet et l’observateur. En équipe, demandez à quelqu’un d’autre de relire le journal.
- Il n’y a pas de groupe témoin. Vous comparez « avant » et « après », donc tout ce qui a changé entre-temps brouille la lecture.
- Quatre semaines forment un petit échantillon. Le résultat dit quelque chose de vos semaines, pas de la mémoire en général.
- Ça ne mesure pas la qualité des réponses. Une mémoire peut réduire vos répétitions en vous servant des souvenirs faux.
- Ce n’est pas un benchmark. Pour évaluer une mémoire plus rigoureusement, sans vous raconter d’histoires, voyez notre article sur la façon de tester sans tricher.
Un protocole de deux semaines à copier
- Semaines 1 et 2 : notez chaque redite (date, famille, sujet, durée estimée), sans rien changer à vos habitudes.
- Fin de la semaine 2 : comptez les lignes par famille. Ne calculez pas encore de gain.
- Semaine 3 : mettez la mémoire en place. Ne comptez pas, laissez passer l’effet de nouveauté.
- Semaines 4 et 5 : reprenez le journal avec les mêmes catégories.
- Comparez les fréquences par famille, puis relisez les lignes qui restent : elles disent ce que la mémoire n’a pas réglé.
- Décidez : garder, ajuster, ou abandonner.
Le Lab traite ces questions de mesure avec la même prudence : des méthodes qu’on peut refaire chez soi plutôt que des chiffres à croire sur parole.


