C'est quoi un token ?
Un token est la plus petite unité de texte qu'une IA comme ChatGPT ou Claude peut lire, traiter et générer : un mot courant, un fragment de mot, un signe de ponctuation ou parfois un seul caractère. Un modèle d'IA ne « lit » jamais directement vos phrases : il les découpe d'abord en tokens, et c'est ce découpage qui détermine le prix d'une requête, la taille maximale d'un document traité et la longueur d'une réponse.
Un token, c'est l'unité de découpage qu'un modèle d'IA utilise pour lire et écrire du texte : ni un mot exact, ni un caractère exact, mais un fragment intermédiaire qui sert aussi à calculer le prix et les limites de chaque requête.
Qu'est-ce qu'un token exactement ?
Avant de pouvoir traiter une phrase, un LLM la découpe en tokens grâce à un algorithme appelé tokenizer. Chaque token est ensuite converti en un identifiant numérique, la seule chose qu'un réseau de neurones sait réellement manipuler.
L'unité de base : un mot courant entier, un fragment de mot plus rare, un chiffre, un signe de ponctuation ou un espace.
L'algorithme qui découpe le texte en tokens selon un vocabulaire fixe appris pendant l'entraînement du modèle, propre à chaque famille d'IA.
Le nombre maximal de tokens (texte envoyé + réponse générée) qu'un modèle peut traiter en une seule fois, de quelques milliers à plus d'un million selon les modèles.
Un mot courant comme « bonjour » ou « merci » tient en général dans un seul token, parce qu'il apparaît très souvent dans les données d'entraînement. Un mot rare, technique ou composé est en revanche décomposé en plusieurs fragments, un peu comme s'il fallait épeler une partie du mot.
Comment un texte est-il découpé en tokens ?
Le nombre de tokens d'un mot dépend de sa fréquence dans les données utilisées pour entraîner le modèle, pas de sa longueur en lettres. Voici quelques exemples illustratifs (le découpage exact varie selon le modèle et évolue avec les versions) :
| Texte | Découpage approximatif | Nombre de tokens |
|---|---|---|
| Bonjour | Bonjour | 1 token |
| automatisation | auto + mat + isation | 3 tokens |
| intelligence artificielle | intelligence + artifici + elle | 4 tokens |
| ChatGPT | Chat + GPT | 2 tokens |
| 123 456,78 € | 1 + 23 + 456 + ,78 + € | 5 tokens |
On retient en général une approximation utile pour estimer un volume : environ 100 tokens pour 75 mots en français courant. Pour une mesure exacte, les éditeurs fournissent un outil de comptage dédié (voir sources ci-dessous), car un simple comptage de mots ou de caractères donne toujours un résultat approximatif.
Pourquoi les tokens déterminent le prix et les limites d'une IA ?
Elle signifie le plus souvent que la limite de tokens de sortie, ou la fenêtre de contexte totale (texte envoyé + réponse), a été atteinte — pas que l'IA s'est arrêtée au hasard.
Les API des éditeurs comme OpenAI ou Anthropic facturent presque toujours au token : un prix pour les tokens envoyés en entrée (votre texte, vos documents, l'historique de conversation) et un prix, souvent plus élevé, pour les tokens générés en sortie. Un document de 10 pages collé dans une conversation consomme des milliers de tokens avant même que l'IA ne commence à répondre.
Ce que ça permet de comprendre
- Pourquoi un long document résumé coûte plus cher qu'une question courte.
- Pourquoi une conversation très longue finit par « oublier » son début.
- Pourquoi réduire un prompt inutilement long fait une vraie différence de coût à l'échelle.
Pièges fréquents à éviter
- Confondre nombre de tokens et nombre de mots pour estimer un budget API.
- Oublier que l'historique complet d'une conversation est renvoyé à chaque message.
- Ignorer la limite de tokens de sortie en demandant une réponse trop longue d'un coup.
Le français coûte-t-il plus de tokens que l'anglais ?
Oui, en général. La plupart des tokenizers actuels ont été optimisés en priorité sur des corpus massivement anglophones : un mot anglais courant tient plus souvent en un seul token qu'un équivalent français, surtout dès qu'il y a des accents, des conjugaisons complexes ou des mots composés.
En pratique, un même texte traduit du français vers l'anglais consomme fréquemment 10 à 20 % de tokens en moins. Ce n'est pas un problème qui doit empêcher d'utiliser une IA en français : les modèles récents comme Claude ou GPT restent performants en français, mais c'est un facteur de coût à garder en tête pour un usage intensif en entreprise, par exemple sur de gros volumes de résumés ou de traduction automatisée.
Ce que nous observons en formation
Voici un exemple représentatif de notre méthode, sans donnée client ni promesse de résultat garantie.
Le coût en tokens surprend toujours à la première facture API
Dans nos formations IA chez Amari Agency, on fait systématiquement comparer le nombre de tokens d'un même texte en français et en anglais sur un compteur officiel : voir le même document consommer 15 % de tokens en plus en français, et donc coûter davantage sur une API facturée au token, change concrètement la façon dont les équipes rédigent leurs prompts.
Quels contenus lire ensuite ?
Ces ressources complètent cette définition sans cibler la même requête :
Questions fréquentes sur les tokens
Un token correspond-il toujours à un mot ?
Non : un token peut être un mot entier courant, un simple fragment de mot, un chiffre, un espace ou un signe de ponctuation — il n'y a pas de correspondance fixe entre tokens et mots.
Pourquoi le français consomme-t-il plus de tokens que l'anglais ?
Parce que les tokenizers des modèles actuels sont entraînés sur des corpus majoritairement anglophones : les mots français, surtout avec accents et conjugaisons, sont plus souvent découpés en plusieurs fragments.
Comment vérifier combien de tokens contient mon texte ?
Les éditeurs proposent un outil de comptage dédié, comme le tokenizer public d'OpenAI : coller son texte y donne le nombre exact de tokens pour le modèle concerné.
Le nombre de tokens a-t-il un impact sur le prix de l'API ?
Oui, directement : la quasi-totalité des API d'IA facturent un prix par millier ou million de tokens, séparément pour les tokens envoyés en entrée et ceux générés en sortie.