Lab

Pourquoi une IA peut citer une preuve sans en tirer la conséquence

Réponse courte

Fournir une preuve ne garantit pas qu’une IA l’utilise correctement. Elle peut citer une source et manquer une contradiction, ou lire une réserve sans modifier sa réponse. Nous avons étudié cette difficulté en testant la place des consignes, puis des alertes liées à la question.

Trois étapes retrouver lire comparer, une citation ne valide pas à elle seule le jugement.

L’idée intuitive : rappeler la règle au bon moment

Si une consigne importante se trouve loin du moment de répondre, la rapprocher devrait aider. Une expérience a comparé la consigne à l’accueil, juste avant la réponse, aux deux endroits et son absence. Les informations métier restaient identiques. Le test utilisait des corpus synthétiques et trois modèles.

Le résultat principal était négatif : le déplacement de la consigne n’améliorait pas le signalement des contradictions. Des résultats secondaires semblaient plus encourageants, notamment sur les citations et l’abstention, c’est-à-dire la capacité à dire qu’aucune preuve ne permet de répondre.

Il aurait été tentant de retenir ces améliorations. Mais elles n’étaient pas les critères principaux de l’expérience. Plus on examine d’effets secondaires, plus on risque de rencontrer un résultat favorable par hasard.

La confirmation a séparé les effets : portée et limites

Une nouvelle campagne a confronté deux placements sur deux corpus neufs avec trois modèles. Le taux de citations passait de 0,95 à 0,99. L’exactitude ne progressait pas de façon établie, et l’abstention correcte passait de 0,74 à 0,67. La règle de réussite prévue avant le test n’était donc pas satisfaite.

Ce résultat ne dit pas qu’une consigne proche est toujours inutile. Il montre qu’améliorer une action locale, citer, ne suffit pas à améliorer un jugement : décider si les sources répondent ou se contredisent. Les petits effectifs et l’arrêt budgétaire du banc limitent aussi la portée de la conclusion.

Une alerte ne remplace pas une source retrouvée

Le Lab a ensuite étudié des alertes dépendant de la question. Dans une autre campagne, une alerte évaluée par le modèle hôte réduisait les avertissements inutiles, mais le gain sur les pièges difficiles n’atteignait pas le seuil fixé. Ce bénéfice ne se reproduisait pas avec le second modèle.

L’analyse des erreurs montrait deux causes différentes. Parfois, la note décisive n’était pas retrouvée parce qu’elle était noyée dans un compte rendu. Parfois, elle était servie mais mal interprétée. Une alerte ajoutée après la recherche ne peut résoudre le premier problème. Et une alerte persuasive peut aussi orienter à tort la lecture d’un autre modèle.

Mieux mesurer avant de mieux formuler

Les mesures automatiques demandaient elles-mêmes une vérification. Dans la première expérience sur les consignes, le contrôle en aveugle a montré que beaucoup de chiffres signalés comme inventés étaient des calculs corrects. Confondre une mesure brute avec une erreur confirmée aurait produit une autre mauvaise conclusion.

Nous distinguons donc la présence d’une source, la fidélité de la citation et la validité de la conclusion. Une citation est un chemin vers la preuve ; elle n’atteste pas que la preuve soutient effectivement toute la réponse.

La conséquence pour Nawame

Une mémoire utile doit rendre les sources, les incertitudes et les contradictions accessibles. Le modèle destinataire reste responsable de leur interprétation. Le Lab peut tester comment mieux les présenter sans confondre une formulation convaincante et une amélioration démontrée.

Cette distinction explique pourquoi nous étudions aussi la recherche en plusieurs étapes et le statut des réécritures. Chaque expérience doit viser le bon maillon de la chaîne : trouver, restituer, lire ou décider.

À lire aussi : Source, validation, autorité : trois notions différentes et Peut-on laisser une IA juger si une autre IA s’est bien souvenue ?.

Votre prochain prompt ne devrait pas devoir contenir toute votre histoire.

Commencez à construire une mémoire que vos IA pourront retrouver lorsque cela comptera.

Commencer gratuitement