Comparaisons

Prompt géant ou contexte ciblé ?

Réponse courte

Non, plus de contexte n’est pas toujours mieux. Un long prompt coûte du temps et de l’argent, noie les détails utiles et peut contenir deux versions d’une même décision. Il reste très bien pour un petit corpus stable et une tâche ponctuelle. Dès que l’historique grossit et change, mieux vaut donner peu d’éléments, mais les bons.

Une grande cuve de verre remplie d’éléments gris serrés, où un seul fil ambre se devine à peine. À côté, une petite coupe ne contient que trois éléments nets reliés par un fil ambre clair.

Vous avez quatorze mois de notes, de comptes rendus et d’échanges sur un projet. La tentation est simple : tout coller dans la conversation et écrire « voici le contexte ». Ça marche parfois. Ça marche de moins en moins à mesure que l’historique grossit, et c’est souvent là qu’on s’étonne d’une réponse à côté de la plaque alors que « tout y était ».

La réponse courte : un prompt géant convient à un petit corpus stable et à une tâche ponctuelle. Pour un historique long qui évolue, donner la partie utile fonctionne mieux que tout donner. Voici pourquoi, et comment faire le tri à la main.

Ce qu’un prompt géant coûte vraiment

Le mécanisme est simple. À chaque message, le texte que vous envoyez est lu par le modèle, en entier, à nouveau. Plus il est long, plus le traitement est lourd. Selon votre offre et votre fournisseur, cela se traduit par des réponses plus lentes, un quota qui fond plus vite ou une facture plus haute. Je ne donne pas de chiffres : ils dépendent du modèle, de l’offre, et ils changent vite.

Il y a ensuite la fenêtre de contexte, c’est-à-dire la quantité de texte qu’un modèle peut prendre en compte en une fois. Au-delà, l’outil coupe ou refuse. Mais rester sous la limite ne garantit pas une lecture égale de tout le texte : selon les modèles, il arrive qu’un détail noyé au milieu de pages de matière soit mal pris en compte. Ce comportement varie et évolue, donc testez sur votre cas plutôt que de croire une règle générale.

Le dernier coût est le vôtre. Un prompt de trente pages, personne ne le relit. Vous ne savez plus vraiment ce que vous avez envoyé, et donc pas non plus ce qui a pu fausser la réponse.

Le bruit, les contradictions et les doublons

Ce qui est disponible n’est pas ce qui est utile. Un historique contient des brouillons, des pistes abandonnées, des échanges de politesse, des versions successives d’un même texte. Pour la question du jour, l’essentiel de cela ne sert à rien, et le modèle doit quand même le lire.

Le vrai danger, ce sont les contradictions. Imaginons une consultante, Camille, qui colle tout l’historique d’un client dans sa conversation. En mars, elle avait noté « facturation au forfait mensuel ». En juin, après discussion, « facturation à la journée ». Les deux phrases sont dans le prompt. Le modèle n’a aucun moyen sûr de savoir laquelle est en vigueur. Il peut citer la première, la seconde, ou mélanger les deux dans un devis.

C’est l’autre face de ce que nous racontons dans pourquoi un bon prompt ne contient pas ce que vous avez oublié. Le prompt écrit de mémoire manque de ce qu’on a oublié. Le prompt géant contient tout, y compris ce qui n’est plus vrai.

Quand le prompt géant est très bien

Il y a des cas où coller tout le texte est la bonne méthode, et il serait dommage de compliquer les choses.

  • Un petit corpus stable : un guide de style de trois pages, un cahier des charges figé, une note de cadrage.
  • Une tâche ponctuelle : résumer un document, le relire, le traduire, en tirer une liste de questions.
  • Une seule session : vous n’aurez pas à reconstituer ce contexte demain.

Dans ces cas, tout tient dans la fenêtre, vous avez relu le texte, rien ne se contredit, et aucun outil de récupération n’apporterait quoi que ce soit. Collez, posez votre question, passez à autre chose. La seule précaution : relisez ce que vous collez. Un texte que vous n’avez pas relu est déjà un petit pari.

Quand le contexte ciblé gagne

Le contexte ciblé prend l’avantage quand plusieurs de ces signes se cumulent :

  • l’historique est long et il a changé en route (des décisions en ont remplacé d’autres) ;
  • vous posez des questions variées, dont chacune ne demande qu’un petit morceau du total ;
  • vous travaillez sur plusieurs projets ou plusieurs clients, à ne pas mélanger ;
  • vous reprenez le sujet souvent, donc le coût du long texte se répète à chaque fois ;
  • vous passez d’une IA à l’autre.

Reste un contre-exemple honnête : le ciblage peut se tromper. Si le tri écarte justement la ligne qui comptait, le modèle répond sans elle, avec aplomb. Un contexte ciblé mal choisi est pire qu’un prompt géant qui contenait la réponse quelque part. Nous expliquons pourquoi la sélection dérape parfois dans notre article sur les limites du retrieval à grande échelle, et la différence entre récupération et mémoire est posée dans mémoire IA vs RAG.

Comment choisir ce qu’on injecte, à la main

Sans aucun outil, vous pouvez déjà faire mieux qu’un copier-coller intégral. Avant d’envoyer, passez chaque bloc de texte à travers ces questions :

  1. Quelle est ma question ? Ce qui ne sert pas à y répondre reste dehors.
  2. Est-ce encore vrai ? Une décision remplacée, un chiffre périmé, une règle abandonnée : on les retire, ou on les marque comme anciens.
  3. Est-ce que cela contredit autre chose dans le même prompt ? Si oui, tranchez vous-même avant d’envoyer.
  4. Est-ce une décision, une raison, une contrainte ? Ce sont les éléments qui durent. Le bavardage ne dure pas.
  5. Que changerait la réponse si je retirais ce paragraphe ? Si rien, retirez-le.

Une structure simple aide ensuite : la situation en cinq lignes, les décisions en vigueur avec leur raison, puis seulement les pièces utiles à cette question. Le reste, gardez-le à portée de main sans le coller. Si l’IA demande un détail, vous le donnez à ce moment-là.

Pour savoir si ce tri vous fait vraiment gagner du temps, il existe une méthode de journal simple, décrite dans comment mesurer si une mémoire évite du travail refait.

Ce que Nawame propose, et ce qu’il ne fait pas

Nawame conserve des décisions, leurs raisons, les options écartées, les résultats, les contraintes et les changements dans le temps. Sur le sujet de cet article, l’idée tient en une phrase : plus de contexte n’est pas toujours mieux, donc Nawame aide à retrouver la partie de l’historique qui compte pour la situation, pas tout.

Quand une IA autorisée interroge cette mémoire, elle reçoit une restitution formulée de trois façons possibles : « précédent retrouvé », « rapprochement possible » ou « aucun précédent probant ». Ce qui est stocké est traité comme une source et jamais comme une consigne : être mémorisé ne donne pas à une information le pouvoir de commander l’IA. Les détails d’usage sont dans la documentation.

Nawame ne remplace pas l’IA et ne décide pas à votre place de ce qui est pertinent. Et retrouver la partie utile ne garantit pas qu’on l’ait retrouvée toute.

Les limites actuelles

  • Le ciblage peut rater. Une sélection, manuelle ou automatique, peut écarter l’élément qui comptait. Vérifiez ce qui vous est renvoyé, surtout la date et le statut.
  • Une mémoire ne contient que ce qu’on y a mis. Si une décision n’a jamais été consignée, aucun ciblage ne la retrouvera.
  • Le tri demande du travail. À la main, c’est de la discipline. Avec un outil, c’est quand même à vous de décider ce qui mérite d’être retenu.
  • Nawame suppose un compte et une IA connectée. Une confidentialité renforcée peut aussi réduire ce que le serveur peut traiter, donc certaines fonctions : le compromis est assumé, pas caché.
  • Le comportement des modèles sur les longs textes change vite. Ce que nous disons ici sur l’attention et la fenêtre de contexte est volontairement prudent, parce que ces points évoluent d’un modèle à l’autre.

Un essai à faire cette semaine

Prenez une vraie question que vous avez posée à une IA avec un long contexte collé. Posez-la deux fois :

  1. avec tout le texte, comme d’habitude ;
  2. avec seulement la situation en cinq lignes, les décisions en vigueur et les deux ou trois pièces qui concernent la question.

Comparez : la précision de la réponse, la présence d’éléments périmés, ce qu’elle cite comme source. Notez aussi le temps d’attente. Si la version courte répond aussi bien, vous venez de trouver une économie qui se répétera à chaque requête. Si elle répond moins bien, vous savez quel morceau manquait, ce qui est tout aussi utile.

Pour essayer avec vos propres sujets, Nawame est gratuit jusqu’à 10 mémoires.

Votre prochain prompt ne devrait pas devoir contenir toute votre histoire.

Commencez à construire une mémoire que vos IA pourront retrouver lorsque cela comptera.

Commencer gratuitement