MTP : comment votre IA locale peut proposer plusieurs tokens à la fois

Une IA écrit habituellement sa réponse token après token. Et si un petit modèle préparait une courte suite que le modèle principal n’aurait plus qu’à vérifier ? C’est l’idée du décodage spéculatif. Dans POP Switcher, l’option MTP permet d’explorer cette accélération avec un modèle brouillon adapté.

MTP n’est pas un nouveau format de modèle

MTP signifie Multi-Token Prediction, ou prédiction de plusieurs tokens. Le terme peut désigner des mécanismes appris par un modèle et leur exploitation à l’inférence. Dans le parcours de POP, il s’agit d’un décodage spéculatif avec un fichier draft compatible. Ce fichier peut lui-même être un GGUF.

Il faut donc distinguer GGUF, qui est un format de fichier, MLX, qui est un environnement d’exécution, et MTP, qui concerne la façon de proposer les tokens. Ces briques ne répondent pas à la même question.

Un brouillon qui n’a pas le dernier mot

Le draft propose une courte séquence. Le modèle principal la vérifie : les propositions acceptées permettent d’avancer plus vite ; celles qui ne conviennent pas ne sont pas simplement recopiées. L’objectif est de réduire le coût de génération en conservant le modèle principal comme référence.

Le résultat dépend du mécanisme utilisé, de l’accord entre les modèles et de l’implémentation du moteur. Un draft choisi au hasard n’est pas une optimisation : il peut être incompatible ou faire perdre du temps.

Le réglage MTP dans POP Switcher

Dans les réglages de l’assistant vocal, POP propose « Décodage spéculatif MTP (expérimental) » et « Modèle draft MTP (.gguf) ». Le parcours actuel concerne le rôle Chat avec llama.cpp. Il ne faut pas en déduire que tous les rôles, tous les moteurs MLX ou toutes les missions utilisent automatiquement cette option.

POP vérifie la présence du fichier et la correspondance attendue avec le modèle Chat. Le lancement prévoit jusqu’à trois tokens proposés par cycle. Si le démarrage échoue avec le draft, POP peut relancer Chat en décodage standard.

Quand l’accélération peut-elle être intéressante ?

Pour une réponse suffisamment longue, des propositions souvent acceptées peuvent améliorer le débit de sortie. Mais charger un draft ajoute des besoins en mémoire et en calcul. Sur un Mac déjà proche de sa limite de RAM, ce surcoût peut annuler le gain.

Autre distinction importante : un meilleur débit ne réduit pas forcément le délai avant le premier token. Le chargement du modèle et la lecture d’un long prompt restent des étapes différentes.

Comment comparer proprement

1. Gardez le même modèle principal, la même quantification et le même contexte.
2. Testez une demande représentative avec puis sans MTP.
3. Comparez le délai initial, le temps total et la pression mémoire.
4. Conservez l’option seulement si elle améliore votre usage réel.

MTP est une possibilité d’optimisation, pas une obligation pour utiliser POP. Pour comprendre les autres leviers, poursuivez avec les tokens, le KV cache et la RAM nécessaire sur Mac.