Lab

Comment tester une mémoire IA sans tricher avec le benchmark

Réponse courte

On triche rarement exprès avec un benchmark : on teste sur ce qu’on a appris à réussir, on garde les cas qui marchent, on change la métrique après coup. Pour l’éviter, écrivez les jeux de test avant de régler le système, ajoutez des cas négatifs et ambigus, faites relire à l’aveugle, repassez plusieurs fois et gardez les échecs.

Un chemin de pierre droit mène à une cible claire ; à côté, un second chemin contourne visiblement un obstacle. Un fil ambre marque le chemin honnête, et des billes ternes, les échecs, sont rangées sur une étagère visible.

Un benchmark donne un nombre, et un nombre rassure. C’est justement ce qui le rend dangereux : on a envie qu’il soit bon, donc on le croit plus vite qu’on ne le vérifie. Dans la quasi-totalité des cas, personne n’a menti. On s’est simplement laissé glisser vers les choix qui donnent un beau résultat.

Cet article liste les façons de se tromper soi-même en testant une mémoire d’IA, puis propose une méthode pour s’en protéger. Elle vaut pour nous au Lab comme pour vous, si vous évaluez un outil avant de l’adopter. Plus bas, une section explique pourquoi nous publions aussi nos résultats imparfaits.

Six façons de tricher sans le vouloir

  • Tester sur ce qu’on a appris à réussir. On règle le système après chaque échec, puis on refait passer le même test. À la fin, le score mesure l’ajustement au test, pas la qualité du système.
  • Utiliser un jeu de test connu. Si le jeu circule, ou si ses auteurs sont aussi ceux qui règlent le système, les cas finissent par influencer les choix de conception, même sans mauvaise intention.
  • Poser des questions trop propres. Une vraie conversation est pleine de demi-phrases et de retours en arrière. Un test écrit en phrases nettes récompense les systèmes qui ne marchent que sur des textes nets.
  • Choisir les cas qui marchent. On retire le cas bizarre « parce qu’il n’est pas représentatif ». Parfois c’est vrai. Souvent c’est celui qui aurait appris quelque chose.
  • Changer la métrique après coup. Le résultat est décevant sur la mesure prévue, alors on en découvre une autre sous laquelle il paraît meilleur. La métrique doit être fixée avant de voir les réponses.
  • N’évaluer que les réussites. On lit en détail ce qui a marché pour comprendre pourquoi, et on survole les échecs. Or les échecs contiennent presque toute l’information.

Un benchmark qui se corrige tout seul

Imaginons une petite équipe qui construit une mémoire pour un outil interne. Elle écrit une trentaine de questions, les passe, corrige ce qui échoue, recommence. Au bout de trois semaines, tout passe. Elle annonce : « tous nos tests sont verts ».

Un collègue extérieur écrit alors ses propres questions, sans voir les premières, avec ses mots à lui. Plusieurs échouent. Rien de scandaleux : le premier jeu avait servi de guide, pas de juge. Ce que l’équipe avait mesuré, c’était sa capacité à réussir ses propres questions.

Cette histoire est inventée, et c’est sans doute la plus courante de toutes.

Une méthode pour ne pas se piéger

Aucune méthode n’est à l’abri, mais quelques habitudes réduisent beaucoup le risque.

Des jeux de test séparés, écrits avant. Un jeu sert à régler, un autre à juger. Le second est écrit avant de commencer à régler, et on ne le consulte pas en cours de route. Si vous le réutilisez plusieurs fois, renouvelez-le.

Des cas négatifs. Des questions dont la réponse n’existe pas, des événements qu’on ne doit pas retenir. Sans eux, un système qui répond toujours ou qui écrit tout gagne haut la main. Nous en avons expliqué la logique pour les sujets qui n’existent pas, et la version côté écriture est décrite dans comment tester la non-écriture.

Des cas ambigus, gardés comme tels. On n’oblige pas un cas flou à devenir un succès ou un échec. On note ce que le système fait face à l’ambiguïté : signale-t-il l’incertitude, ou tranche-t-il ?

Une relecture à l’aveugle. La personne qui juge les réponses ne sait pas quelle version du système les a produites, ni quelle réponse était « attendue » par l’auteur du test. C’est le meilleur antidote contre nos propres espoirs.

Plusieurs passes. Un système qui répond autrement d’une fois sur l’autre ne se juge pas sur un seul passage. On refait le test, on regarde la variation, on garde les deux résultats.

Les échecs conservés. Chaque échec reste dans le dossier, avec sa date et ce qu’on a compris. Une liste d’échecs qui grandit est plutôt bon signe : elle suggère qu’on regarde vraiment.

Enfin, on sépare les sortes d’erreurs plutôt que d’en faire un seul score, comme expliqué dans comment nous mesurons les erreurs de mémoire.

Ce que l’on peut publier, et ce que l’on garde

Un benchmark public a trois éléments utiles : le protocole (ce qu’on a testé et comment), les limites (ce qu’il ne dit pas), et les échecs. Sans ces trois éléments, un chiffre est une affirmation, pas un résultat.

Il y a en revanche des éléments qu’une équipe peut légitimement garder pour elle : les jeux de test détaillés (qui cesseraient d’être utiles une fois connus), le fonctionnement interne du système et ses réglages. Nous le faisons nous aussi, et nous le disons. Cela a un coût : le lecteur ne peut pas tout refaire, et doit nous croire sur une partie. C’est une limite réelle, que nous préférons écrire plutôt que masquer.

Pourquoi publier aussi nos benchmarks imparfaits

La tentation est grande de ne montrer un résultat que lorsqu’il est flatteur. Nous pensons qu’il faut faire le contraire, pour trois raisons.

La confiance. Un lecteur sait que tout test a des défauts. Un résultat accompagné de ses défauts est plus crédible qu’un résultat parfait, parce qu’il montre que quelqu’un a cherché ce qui ne va pas.

L’illusion de maîtrise. Un chiffre publié seul devient un objectif, puis un argument. On finit par croire que le problème est réglé parce qu’il existe une note. Publier les imperfections garde la question ouverte, y compris pour nous.

La critique. Un résultat imparfait montré en détail peut être contesté, corrigé, refait par d’autres. Un résultat montré sans ses défauts ne peut qu’être cru ou ignoré.

Voici un exemple de ce que cela donne pour nous : notre premier protocole synthétique de non-écriture a correctement classé 26 événements sur 26 ; le réel sera plus compliqué. Cette phrase contient le chiffre, et aussi ce qui le rend moins flatteur que prévu : c’est un protocole synthétique, préparé par nous, et la vraie vie est plus confuse. Nous n’en tirons aucune conclusion plus large.

C’est la même logique que celle de pourquoi nous publions aussi les limites de Nawame : une mémoire dont on ignore les faiblesses pousse à lui faire trop confiance.

Les limites de cette méthode

  • Elle ne supprime pas le biais, elle le réduit. Même avec un jeu écrit avant et une relecture à l’aveugle, les auteurs du test partagent des habitudes et des angles morts.
  • Elle prend du temps. Écrire deux jeux, relire à l’aveugle, refaire passer : c’est plus lent qu’un test unique. Pour un petit usage, c’est disproportionné.
  • Un benchmark honnête reste un benchmark. Il mesure un comportement dans des cas préparés. Il ne dit pas si la mémoire vous est utile au quotidien, question que nous abordons dans comment mesurer le travail refait évité.
  • Publier n’est pas prouver. Un protocole public peut être critiqué, mais ce n’est pas une garantie que ses résultats se retrouveront chez vous.
  • Nous pouvons nous tromper aussi. Cet article décrit ce que nous visons, pas une infaillibilité que nous n’avons pas.

Avant de croire un score

Quand vous voyez un résultat de benchmark, le vôtre ou celui d’un autre, posez ces questions :

  1. Qui a écrit les cas de test, et avant ou après avoir réglé le système ?
  2. Y a-t-il des cas négatifs et des cas ambigus, ou seulement des questions qui ont une bonne réponse ?
  3. La métrique a-t-elle été fixée avant de voir les résultats ?
  4. Les échecs sont-ils montrés, ou seulement les réussites ?
  5. Que dit le résultat sur le réel, et que ne dit-il pas ?

Si trois réponses manquent, traitez le score comme une indication et non comme une preuve. Le Lab rassemble nos travaux de méthode, avec leurs limites.

Votre prochain prompt ne devrait pas devoir contenir toute votre histoire.

Commencez à construire une mémoire que vos IA pourront retrouver lorsque cela comptera.

Commencer gratuitement