Les tokens : les petits morceaux qui changent tout dans votre IA

Vous voyez « 8K de contexte », « 30 tokens par seconde » ou « budget de sortie ». Derrière ces expressions se cache une idée simple : l’IA ne traite pas votre texte exactement comme un humain qui lit des mots.

Un token n’est pas forcément un mot

Avant le calcul, un tokenizer découpe le texte en unités : mots, fragments de mots, signes ou autres éléments selon son vocabulaire et son algorithme. Un nom rare, du code et une phrase en français peuvent produire des découpages différents. Il n’existe donc pas de conversion universelle « un mot = un token ».

Compter les caractères ou appliquer une moyenne peut servir d’estimation. Pour une limite précise, le tokenizer du modèle concerné reste la référence. Changer de modèle peut changer le compte pour un texte identique.

Entrée, sortie et contexte : trois repères

Les tokens d’entrée correspondent à ce qui est fourni au modèle : consignes, échanges, extraits de documents et résultats d’outils. Les tokens de sortie sont ceux qu’il génère. La fenêtre de contexte est la capacité prévue par le modèle et son moteur pour traiter une séquence.

L’historique visible dans l’application ne se confond pas avec tout ce qui est réellement envoyé au modèle à chaque demande. Une app peut sélectionner, résumer ou retrouver les éléments utiles. Les règles exactes de budget dépendent aussi du modèle, notamment lorsqu’il produit du raisonnement interne.

Pourquoi un grand contexte peut ralentir

Lire une longue entrée demande un calcul initial, souvent appelé préremplissage ou prefill. Puis le modèle produit sa réponse progressivement. Le cache de contexte et les autres états de calcul consomment de la mémoire. Plus de place sur la fiche technique ne signifie donc pas qu’il est judicieux de remplir cette place à chaque question.

De même, les tokens par seconde mesurent un débit dans des conditions données, pas l’intelligence. Comparez le même modèle, la même quantification et un scénario semblable.

Ce que cela change dans POP

Docs peut retrouver des passages d’une bibliothèque plutôt que transmettre tous les PDF. Le rôle Code sélectionne des plages utiles et des références de projet. La mémoire persistante conserve des informations à rappeler : elle n’ajoute pas magiquement une fenêtre de contexte infinie et ne réentraîne pas le LLM.

Les travaux récents du pont vocal montrent aussi l’importance de réserver un budget pour une réponse effectivement prononçable. Un long raisonnement ne sert pas la conversation si rien d’utile n’arrive ensuite à la synthèse vocale.

Un meilleur prompt, pas forcément plus long

Donnez l’objectif, les contraintes et un critère de réussite. Ajoutez les documents pertinents, pas tous les documents disponibles. Pour une tâche complexe, avancez par étapes et vérifiez les résultats.

Un bon contexte est un contexte utile. Le guide mémoire de POP vous aide à distinguer ce que l’app conserve de ce que le modèle utilise au moment de répondre.