La température d’un LLM : régler la variation sans lui demander de dire plus vrai

Votre IA propose une reformulation très sage, puis une autre beaucoup plus inattendue. Un réglage de température peut contribuer à cette différence. Mais ce curseur ne mesure ni l’intelligence du modèle ni la vérité de sa réponse. Comprendre ce qu’il influence permet d’expérimenter avec son LLM local sans attendre d’un paramètre ce qu’il ne peut pas garantir.

Un choix parmi des suites possibles

Un LLM, ou grand modèle de langage, construit sa réponse à partir de tokens, des unités de texte qui peuvent être des mots ou des morceaux de mots. À chaque étape, le moteur dispose de plusieurs suites possibles, avec des scores associés. L’échantillonnage désigne la manière de sélectionner le token suivant parmi ces possibilités. Notre article sur les tokens revient sur cette unité de base.

La température agit sur la distribution utilisée pour ce choix. Dans l’échantillonnage habituel, une valeur plus basse favorise davantage les possibilités déjà les plus probables ; une valeur plus haute laisse plus de place à d’autres possibilités. L’effet final dépend aussi du modèle et des autres réglages.

Une analogie peut aider : vous gardez le même ensemble de candidats, mais vous modifiez la façon dont leurs chances se répartissent. Vous n’ajoutez pas de nouvelles connaissances au modèle.

Pourquoi le réglage ne suffit pas

Le top-p, aussi appelé échantillonnage par noyau, limite les candidats à un ensemble dont les probabilités cumulées atteignent un seuil. Le top-k conserve un nombre donné de candidats parmi les plus probables. Ces filtres et la température interviennent dans le même processus de génération, mais ils ne remplissent pas exactement le même rôle.

La documentation de Transformers distingue aussi la génération avec échantillonnage de la sélection gloutonne, qui choisit le candidat au score le plus élevé. Selon le mode activé, un paramètre d’échantillonnage peut ne pas être utilisé. Voilà pourquoi recopier un nombre depuis une autre application ne garantit pas le même comportement.

Dans llama.cpp, plusieurs filtres peuvent être appliqués dans un ordre configurable. La graine, ou seed, sert à initialiser le générateur pseudo-aléatoire. Elle fait partie des informations utiles pour comparer des essais, mais n’est pas une promesse universelle de résultat identique entre moteurs, versions et machines.

Variation et exactitude : deux critères

Pour inventer des titres, vous pouvez rechercher plusieurs formulations qui s’éloignent les unes des autres. Pour extraire une date depuis un document, votre critère est différent : conserver exactement l’information présente. Le même style de réponse ne convient pas nécessairement aux deux missions.

Notre recommandation : écrivez le critère de réussite avant de toucher aux réglages. Une réponse peut être agréable et fausse, ou répétitive et exacte. Une variation réduite ne corrige pas une information absente ou une consigne ambiguë. Pour les faits, gardez les contrôles décrits dans notre méthode de vérification d’une réponse IA.

Une comparaison simple à organiser

Préparez une demande courte, un document public ou fictif et une liste de points à conserver. Gardez le même modèle, la même version et le même contexte. Partez des recommandations de la fiche du modèle, puis modifiez un seul réglage à la fois.

Exemple fictif : demandez deux propositions d’introduction pour une newsletter, avec une longueur cible et un fait obligatoire. Examinez séparément la diversité des formulations, le respect de la longueur et la conservation du fait. Ne classez pas automatiquement la proposition la plus originale en première position.

Conservez votre demande et les paramètres réellement utilisés avec les résultats. Répétez l’observation sur d’autres textes de votre activité avant d’en faire un réglage habituel. Un résultat isolé reste une observation, pas une règle générale.

Garder un réglage compréhensible

La bonne température est celle dont vous comprenez l’utilité dans une tâche donnée. Évitez les recettes universelles : commencez avec la configuration recommandée pour votre modèle et gardez une trace des changements. Vous pourrez ainsi distinguer une variation souhaitée d’une perte de précision, sans confondre le style de la réponse avec sa fiabilité.