Lab
Une évaluation ponctuelle ne protège pas un agent IA de la dérive
Réponse courte
Un jeu de tests réussi avant lancement décrit une version, sur des cas, à un moment. En production, le modèle change, les données vieillissent, les outils évoluent et les utilisateurs inventent de nouveaux usages. La dérive n'est donc pas seulement une baisse de score : c'est l'écart croissant entre le système validé et le système réellement utilisé. ## Cinq formes de dérive

Un jeu de tests réussi avant lancement décrit une version, sur des cas, à un moment. En production, le modèle change, les données vieillissent, les outils évoluent et les utilisateurs inventent de nouveaux usages. La dérive n’est donc pas seulement une baisse de score : c’est l’écart croissant entre le système validé et le système réellement utilisé.
Cinq formes de dérive
Dérive du modèle
Une nouvelle version modifie le style, l’obéissance aux règles, les appels d’outils ou le comportement sur les langues et segments rares.
Dérive des données
Les sources deviennent anciennes, leur structure change ou une population nouvelle apparaît. Une réponse correcte sur l’ancien contexte devient inadéquate.
Dérive du workflow
Les utilisateurs détournent une fonction prévue pour assister afin de lui faire décider ou exécuter. L’autorité réelle dépasse l’autorité conçue.
Dérive des outils
Une API, une permission ou une intégration change. L’agent continue parfois avec moins d’information sans signal clair.
Dérive des critères
La définition d’une bonne réponse évolue avec le produit, la réglementation, le risque ou les attentes clients, mais le jeu d’évaluation reste figé.
Le calendrier à quatre rythmes
À chaque changement
Exécutez les cas critiques lorsque modèle, prompt, règle, source ou outil change. Bloquez la promotion si une exigence de sécurité ou d’autorité régresse.
Chaque jour ou chaque semaine
Surveillez incidents, refus, corrections, transferts humains, latence et signaux de qualité sur un échantillon. La fréquence dépend du volume et de l’impact.
Chaque mois
Revoyez les erreurs réelles, ajoutez des cas représentatifs et vérifiez les segments. Comparez les scores aux résultats métier et aux recours.
Chaque trimestre
Réévaluez mission, niveau de délégation, sources, droits, budget d’erreur et pertinence des métriques. Supprimez les tests qui ne protègent plus une décision.
Construire un jeu vivant
Chaque incident utile doit devenir, si possible, un cas de non-régression avec sa gravité, son contexte et le comportement attendu. Conservez aussi les cas réussis qui protègent une capacité importante.
Évitez d’ajouter aveuglément toutes les conversations. Sélectionnez des exemples autorisés, minimisés et représentatifs. Versionnez le jeu et documentez pourquoi un cas a été ajouté ou retiré.
Relier score et action
Un seuil doit déclencher une décision : maintenir, analyser, limiter, revenir en mode assistance ou suspendre. Séparez les erreurs mineures des erreurs critiques et surveillez les segments même si la moyenne reste stable.
Une évaluation qui ne change jamais une décision devient un coût rituel.
Conserver la traçabilité
Pour chaque campagne, enregistrez version du système, version du jeu, critères, évaluateur, résultats, exceptions et décision. La mémoire ne doit pas retenir toutes les sorties, mais le pourquoi de la décision et le lien vers les preuves.
FAQ
Un score automatique suffit-il ?
Non. Les évaluateurs automatiques doivent être calibrés avec des revues humaines et des résultats réels.
Combien de cas faut-il ?
Assez pour couvrir les risques et segments importants. La qualité et la représentativité comptent davantage qu'un grand volume non gouverné.
Quand mettre à jour les seuils ?
Lorsque l'autorité, l'usage, la population ou le coût d'une erreur change, avec une justification documentée.
Portée et limites
Ces pratiques de travail sont à tester dans votre contexte. Elles ne constituent ni une certification ni une garantie mesurée de fiabilité. Les exemples illustrent une situation possible, pas des résultats clients. Une source peut être obsolète ou erronée ; les droits doivent encore être vérifiés dans le système réel. Pour une décision importante, une personne habilitée doit revoir les preuves et conserver les incertitudes.
Responsable éditorial : Nawame. Publication et revue le 16 octobre 2026 ; prochaine revue : 15 janvier 2027. Cette première édition ajoute les liens de navigation et de référence au texte fourni. Les références ci-dessous éclairent la provenance ou la gestion du risque ; elles ne valident ni Nawame ni cette pratique proposée.
Références et parcours de lecture
Le lien avec Nawame
Nawame peut conserver le calendrier, la raison de chaque cas, les versions évaluées, les décisions prises et la date de prochaine revue. La mémoire devient alors le fil entre incident, apprentissage et changement de règle, sans se substituer à l’outil d’évaluation ni stocker toutes les sorties brutes.


