Lab
Retrouver une décision dans un document long
Réponse courte
Une recherche peut retrouver le bon compte rendu sans restituer la décision qui répond à la question. Le document apparaît dans les résultats, mais le passage utile reste noyé dans plusieurs sujets. Étudier ce décalage nous a conduits à mesurer la recherche à une échelle plus fine : celle du passage.

Le bon document ne suffit pas toujours
Imaginons un compte rendu qui traite des fournisseurs, des horaires et d’une exception de maintenance. La question porte uniquement sur cette exception. La proximité entre la question et le document entier peut être faible, alors que quelques phrases apportent une réponse précise.
Même si le document est retrouvé, sa restitution peut échouer. Un assistant dispose d’un budget de contexte limité. Servir plusieurs mémoires entières peut consommer ce budget avant d’atteindre le paragraphe décisif. Servir seulement le début de chaque mémoire ne résout pas davantage le problème.
La recherche par passages vise à rapprocher la granularité de récupération de celle de la question. Elle doit toutefois conserver les éléments qui donnent à un extrait son sens : source, version, date et réserves.
Deux expériences pour éprouver l’idée
Une première campagne du Lab a étudié des décisions enfouies dans des comptes rendus synthétiques. La sélection de passages aide nettement lorsque la décision emploie d’autres mots que la question. Lorsque le vocabulaire coïncide, un extrait lexical plus simple peut déjà convenir.
La campagne suivante a utilisé un corpus inédit : prose continue, tableaux, décisions réparties entre paragraphes et marques d’incertitude. Elle comparait trois présentations : mémoires entières limitées par le budget, extraits de recherche et passages sélectionnés.
Sur les questions de prose paraphrasée de ce second banc, le taux de réponses correctes atteint 0,63 avec les passages, contre 0,06 avec les mémoires entières et 0,00 avec les extraits seuls, pour le modèle principal. Il s’agit de résultats sur des cas synthétiques définis, pas d’un taux de réussite général du produit.
Cette distinction compte. Un corpus maîtrisé rend des mécanismes visibles, mais il n’établit pas à quelle fréquence chacun apparaîtra dans des documents d’organisation ordinaires.
Un extrait peut devenir trop convaincant : portée et limites
Le gain de précision s’accompagne d’un risque. Une valeur peut apparaître dans un paragraphe, tandis que la mention « rien n’est validé » se trouve beaucoup plus loin. Sélectionner la valeur sans cette réserve produit un contexte incomplet, même si la citation est exacte.
Dans le banc de confirmation, une marque de statut éloignée explique les pertes de contexte observées. Garder le paragraphe voisin ne suffit donc pas toujours. Une décision répartie entre plusieurs passages pose une difficulté comparable : retrouver un morceau ne garantit pas l’exhaustivité.
Un autre résultat concerne les instructions malveillantes enfouies. Le passage ciblé peut rendre visible une phrase que la présentation précédente n’atteignait pas. Un des petits modèles évalués suit cette instruction dans deux des quatre cas concernés. Améliorer la récupération ne constitue donc pas, à lui seul, une amélioration de la sûreté.
Cela distingue utilement la qualité de la recherche et l’autorité accordée à ce qui est retrouvé. Rendre un texte plus facile à trouver ne le rend ni fiable ni habilité à donner des ordres à l’assistant.
Préparer les passages ou les calculer à la lecture ?
Le choix comporte un compromis. Préparer les représentations à l’avance déplace le calcul vers l’écriture et l’entretien. Les calculer au moment de la recherche réduit le stockage dérivé mais ajoute du travail sur le chemin de la réponse.
La confirmation mesurait cette seconde approche. Sa latence de construction au 95e percentile était proche de celle des mémoires entières, mais nettement supérieure à celle des extraits seuls. Dire « pas plus lent » sans nommer la référence aurait masqué le compromis.
Nous avons également évalué une sélection lexicale sur des candidats déjà disponibles. Sur ce diagnostic, elle retrouve le passage attendu dans une majorité des cas, avec des limites sur les paraphrases. Cette mesure porte sur le choix du passage, pas sur la qualité finale d’une réponse. Elle ne suffit pas à départager toutes les architectures.
Ce que nous retenons
Un passage utile est plus qu’une phrase pertinente. Il doit rester relié au document qui l’autorise, à sa version et aux conditions qui limitent sa portée. La recherche gagne à descendre sous le niveau du document, à condition de ne pas perdre ce qui rend la réponse interprétable.
Pour Nawame, ces expériences éclairent le choix du grain, le coût du calcul et les contrôles nécessaires autour de la restitution. Elles complètent nos travaux sur les souvenirs traités comme des données et sur la réutilisation des embeddings. La page du Lab situe cette recherche dans le rôle d’une mémoire durable pour les assistants autorisés.
À lire aussi : Pourquoi retrouvé ne veut pas dire vrai.


