Lab
Peut-on laisser une IA juger si une autre IA s’est bien souvenue ?
Réponse courte
Un juge IA peut aider à évaluer des volumes importants, mais il ne devrait pas être l’unique arbitre. Les cas ambigus, les décisions remplacées et l’utilité réelle de la réponse demandent encore une évaluation humaine.

Pour améliorer une mémoire, il faut la tester.
Et dès que le nombre de tests augmente, une tentation apparaît : demander à une autre IA de noter les réponses.
C’est pratique.
Ce n’est pas suffisant.
Un juge IA voit beaucoup de choses rapidement
Un modèle peut comparer une réponse attendue et une réponse obtenue.
Il peut repérer :
- une information manquante ;
- une contradiction ;
- une réponse hors sujet ;
- une décision ancienne utilisée à la place de la nouvelle ;
- un manque de justification.
Pour des centaines de cas, cette première lecture est très utile.
Mais la mémoire contient des cas ambigus
Prenons une ancienne décision remplacée.
Si la question est « Que faisons-nous maintenant ? », l’ancienne réponse est fausse.
Si la question devient « Pourquoi avons-nous changé ? », cette même ancienne décision redevient pertinente.
Un juge automatique peut avoir du mal à décider si la mémoire a bien fait son travail sans comprendre précisément l’intention de la question.
Exact ne veut pas toujours dire utile
Une mémoire peut retrouver une phrase parfaitement exacte qui n’aide pas la réponse.
À l’inverse, elle peut résumer plusieurs souvenirs de manière très utile sans reproduire mot pour mot la réponse attendue.
C’est pour cela qu’un benchmark de mémoire doit regarder plus loin que la simple correspondance de texte.
Ce que nous voulons vraiment mesurer
Une évaluation intéressante pose plusieurs questions :
- le bon contexte a-t-il été retrouvé ?
- un mauvais contexte a-t-il influencé la réponse ?
- l’état actuel a-t-il été distingué de l’historique ?
- la réponse finale est-elle plus utile ?
- l’IA aurait-elle dû s’abstenir ?
Aucun score unique ne résume parfaitement tout cela.
Un exemple concret
Question de test : « Où en est le choix de l’hébergeur ? » La mémoire contient une décision de mars (hébergeur A) et une décision de juin (hébergeur B). L’IA répond B. Un juge automatique compare avec la réponse attendue, voit B, valide.
Mais si la réponse ne dit pas pour quelle raison on a abandonné l’hébergeur A, et que cette raison explique la prochaine étape, elle est exacte et peu utile. Un relecteur qui connaît le sujet le remarque plus facilement.
Le rôle de l’humain
Les juges IA permettent d’explorer vite.
Les humains restent importants pour les cas où la signification dépend du contexte, de l’intention ou du niveau d’autorité d’une information.
Ce n’est pas un problème spécifique à Nawame.
C’est une limite générale de l’évaluation automatique : le système qui note peut lui aussi se tromper.
La bonne discipline consiste donc à utiliser l’automatisation pour mesurer davantage, sans confondre vitesse d’évaluation et vérité scientifique.
Nos méthodes et leurs défauts sont décrits dans comment tester une mémoire IA sans tricher avec le benchmark et comment nous mesurons les erreurs de mémoire. Nous expliquons pourquoi nous publions aussi les imperfections dans pourquoi nous publions aussi les limites de Nawame, et les études sont réunies dans le Lab.
Les limites de cette approche
Nous n’affirmons pas qu’une méthode d’évaluation est la bonne. Combiner un juge automatique et une relecture humaine coûte du temps, et la relecture humaine a ses propres biais. Aucun chiffre issu de ces tests ne devrait être lu sans connaître la méthode qui l’a produit.


