Comment une IA s'entraîne-t-elle ?
Une IA générative comme ChatGPT ou Claude s'entraîne en trois grandes étapes : un pré-entraînement sur d'énormes volumes de texte pour apprendre la langue et les faits, un fine-tuning sur des exemples plus ciblés pour apprendre à suivre des instructions, puis un ajustement par retour humain (RLHF) pour affiner le ton et la sécurité. Ce n'est pas une IA « programmée » règle par règle, mais un modèle dont des milliards de paramètres sont progressivement réglés par calcul statistique.
Une IA générative s'entraîne en ajustant progressivement des milliards de paramètres sur d'énormes volumes de texte, d'abord pour prédire le mot suivant, puis pour suivre des instructions, et enfin pour répondre selon des préférences validées par des humains.
Quelles sont les 3 grandes étapes d'entraînement d'une IA ?
L'entraînement d'un LLM moderne comme ceux derrière ChatGPT ou Claude suit un déroulé en plusieurs phases distinctes, chacune avec son propre objectif et son propre type de données.
- Pré-entraînementLe modèle lit des centaines de milliards de mots (livres, sites web, code) et apprend, par essais-erreurs répétés des milliards de fois, à prédire le token suivant. C'est l'étape la plus longue et la plus coûteuse en calcul, souvent plusieurs mois sur des milliers de puces spécialisées.
- Fine-tuning (ajustement supervisé)Le modèle est réentraîné sur un jeu de données plus petit mais soigneusement rédigé, fait de paires question/réponse de bonne qualité, pour apprendre à suivre une instruction plutôt qu'à simplement continuer un texte.
- RLHF (apprentissage par retour humain)Des évaluateurs humains comparent plusieurs réponses possibles à une même question ; ces préférences entraînent un second modèle qui note les réponses, utilisé ensuite pour affiner le modèle principal vers des réponses jugées utiles, honnêtes et sûres.
Que veut dire « données », « paramètre » et « epoch » ?
L'ensemble des textes utilisés pour l'apprentissage : livres, pages web, code source, conversations — toujours figées à une date donnée, la « date de coupure » des connaissances du modèle.
Un des milliards de réglages internes du réseau de neurones, ajusté légèrement à chaque exemple vu pendant l'entraînement — c'est leur ensemble qui encode la « connaissance » du modèle.
Un passage complet sur l'ensemble des données d'entraînement. Un grand modèle peut voir les mêmes données plusieurs fois, ou une seule, selon leur volume disponible.
Un modèle « de 70 milliards de paramètres » signifie simplement que 70 milliards de ces réglages internes ont été ajustés pendant l'entraînement : plus ce nombre est grand, plus le modèle peut en théorie capturer des relations complexes dans les données, au prix d'un calcul et d'une mémoire plus importants pour le faire fonctionner.
Combien de temps et de données faut-il pour entraîner un LLM ?
| Étape | Volume de données typique | Durée typique |
|---|---|---|
| Pré-entraînement | Plusieurs milliers de milliards de tokens | Plusieurs semaines à plusieurs mois |
| Fine-tuning | Quelques milliers à quelques millions d'exemples rédigés | Quelques jours à quelques semaines |
| RLHF | Centaines de milliers de comparaisons humaines | Plusieurs semaines, en continu entre versions |
Ces ordres de grandeur varient fortement selon la taille du modèle visé et évoluent vite d'une génération à l'autre ; ils donnent surtout une intuition de pourquoi seules quelques entreprises dans le monde peuvent entraîner un modèle de fondation depuis zéro, alors que le fine-tuning d'un modèle existant reste, lui, accessible à une équipe technique avec un budget plus modeste.
Une IA continue-t-elle à apprendre après son lancement ?
Une fois ses paramètres figés après l'entraînement, un modèle ne modifie pas sa mémoire interne en discutant avec vous : ce que vous lui écrivez dans une conversation n'est jamais réutilisé pour ajuster ses paramètres en temps réel.
Les éditeurs publient en revanche régulièrement de nouvelles versions du modèle, entraînées à nouveau sur des données plus récentes et plus volumineuses. C'est pour cette raison qu'un modèle a toujours une « date de coupure » de connaissances, et qu'il peut ignorer un événement survenu après cette date tant qu'une nouvelle version n'a pas été publiée ou qu'aucune information complémentaire ne lui est fournie dans la conversation.
Ce que nous observons en formation
Voici un exemple représentatif de notre méthode, sans donnée client ni promesse de résultat garantie.
Comprendre la date de coupure change la façon de vérifier une réponse
Dans nos formations IA chez Amari Agency, on fait systématiquement chercher la date de coupure des connaissances du modèle utilisé dans sa documentation officielle avant de commencer : poser ensuite une question sur un événement récent et voir le modèle le signaler (ou non) installe le réflexe de croiser toute information datée avec une source externe à jour.
Quels contenus lire ensuite ?
Ces ressources complètent cette définition sans cibler la même requête :
Questions fréquentes sur l'entraînement d'une IA
Combien de données faut-il pour entraîner un LLM ?
Le pré-entraînement d'un grand modèle demande généralement plusieurs milliers de milliards de tokens, soit l'équivalent de millions de livres, alors que le fine-tuning qui suit n'a besoin que de quelques milliers à quelques millions d'exemples ciblés.
Qu'est-ce qu'un paramètre concrètement ?
C'est un nombre, un des milliards de réglages internes du réseau de neurones, ajusté progressivement pendant l'entraînement pour réduire l'écart entre la prédiction du modèle et le texte réel qu'il a observé.
Peut-on entraîner sa propre IA avec peu de données ?
Pas depuis zéro, mais on peut adapter un modèle existant à un besoin précis avec un volume de données bien plus modeste, via un fine-tuning léger ou en lui fournissant des documents directement dans le contexte de la conversation.
Qu'est-ce que le RLHF ?
Le Reinforcement Learning from Human Feedback est la phase où des évaluateurs humains comparent des réponses du modèle pour lui apprendre à privilégier les réponses jugées les plus utiles, honnêtes et sûres.