Comment ChatGPT écrit

ChatGPT, Gemini, Claude, Le Chat de Mistral : ces IA qui discutent avec toi s’appellent des grands modèles de langage (en anglais Large Language Models, ou LLM). Elles ont l’air de tout savoir. Pourtant, elles ne font qu’une seule chose, encore et encore. Ce chapitre te montre laquelle.

Le jeu du mot suivant

Complète la phrase

Lis cette phrase et complète-la sans réfléchir :

Il était une…

Tu as pensé « fois », évidemment. Et pour « Joyeux anniver… », tu as pensé « saire ». Tu n’as pas eu besoin de réfléchir : tu as lu ces expressions tellement souvent que ton cerveau devine la suite tout seul.

ChatGPT ne fait que ça. Il lit le début d’un texte et calcule, pour chaque mot possible, la probabilité que ce soit le suivant. Il en choisit un, l’ajoute au texte, et recommence. Mot après mot, jusqu’à la fin de la réponse.

Ce soir, après les cours, je vais

Mots suivants possibles et leur probabilité : clique pour choisir toi-même

Température (le « grain de folie »)1.00 · toujours le mot le plus probable2 · imprévisible

Vocabulaire et probabilités inventés pour l’exemple : un vrai modèle choisit parmi environ 100 000 morceaux de mots.

Un modèle de langage miniature : choisis toi-même ou laisse l'IA piocher selon les probabilités

Essaie plusieurs fois le bouton « Finir la phrase d’un coup » : la phrase change à chaque fois. L’IA ne prend pas toujours le mot le plus probable, elle tire au sort en favorisant les mots probables. C’est pour ça que ChatGPT ne te répond jamais exactement la même chose deux fois.

ChatGPT ne cherche pas la bonne réponse. Il cherche la suite la plus probable.

Et pour répondre à une question ?

C’est le même jeu. Quand tu écris « Quelle est la capitale de l’Italie ? », l’IA voit le début d’une conversation. Dans tous les textes qu’elle a lus, après cette question, les mots qui venaient ensuite étaient presque toujours « La capitale de l’Italie est Rome ». Alors elle écrit ça.

Elle ne va pas chercher « Rome » dans une encyclopédie. Elle prédit que « Rome » est la suite la plus probable. Ici, ça tombe juste. On verra plus bas que ce n’est pas toujours le cas.

?Quand ChatGPT écrit une réponse de 200 mots, combien de fois fait-il son calcul de « mot suivant » ?

Des morceaux de mots : les tokens

En réalité, l’IA ne lit pas des mots entiers mais des morceaux de mots, qu’on appelle des tokens. Les mots courants font un seul token. Les mots longs ou rares sont coupés en plusieurs.

Je suis en seconde et j’adore les anticonstitutionnellement

Comment un modèle découpe une phrase (exemple simplifié) : chaque couleur est un token

Pourquoi découper ? Parce qu’il existe une infinité de mots possibles (fautes de frappe, noms propres, mots inventés, émojis…). Avec environ 100 000 morceaux, l’IA peut tout écrire, comme toi tu peux écrire n’importe quel mot avec 26 lettres.

Comment on fabrique un ChatGPT

Étape 1 : lire (presque) tout Internet

Pour devenir aussi fort au jeu du mot suivant, le modèle s’entraîne exactement comme l’IA des fruits du chapitre 2 : il devine, se trompe, corrige ses poids. Mais au lieu de 14 fruits, on lui donne des quantités de texte colossales : sites web, Wikipédia, livres, forums, code informatique…

On cache le mot suivant, il devine, on lui montre la vraie réponse, il ajuste ses poids. Des milliers de milliards de fois, pendant des mois, sur des milliers de cartes graphiques.

15 000 Md

de tokens lus pendant l'entraînement (Md = milliards)

Llama 3, un modèle de Meta (2024)

200 000 ans

pour qu'un humain lise autant

à raison de 8 h de lecture par jour, tous les jours

2 mois

pour 100 millions d'utilisateurs

ChatGPT, record à l'époque

À force, pour bien deviner la suite, le modèle a dû capter énormément de choses : la grammaire, des faits (« la capitale de l’Italie est… »), des raisonnements simples, le ton d’une lettre de motivation ou d’un message à un pote.

Étape 2 : apprendre à être un assistant

Après l’étape 1, le modèle sait compléter du texte, mais ce n’est pas un bon assistant. Si tu lui écris « Comment faire des crêpes ? », il risque de continuer avec « Comment faire des gaufres ? Comment faire un gâteau ? », comme une liste de questions trouvée sur un forum.

Alors on lui apprend à répondre. Des humains écrivent des milliers d’exemples de bonnes réponses, puis notent les réponses du modèle : celle-ci est meilleure que celle-là. Le modèle ajuste encore ses poids pour donner des réponses utiles, polies, et refuser les demandes dangereuses.

01Des milliers de milliards de mots, découpés en tokens.

Les étapes de fabrication d'un assistant comme ChatGPT

Pour aller plus loin · enrichissement

Et les IA qui dessinent ?

Les IA qui créent des images (Midjourney, DALL·E, Stable Diffusion…) fonctionnent différemment. On les entraîne à nettoyer des images brouillées : on prend une photo, on ajoute du « bruit » (comme la neige d’une vieille télé), et l’IA apprend à retrouver l’image d’origine, en s’aidant de sa légende.

Pour créer une image, on part d’un bruit totalement aléatoire et on lui demande de « nettoyer » en suivant ta description. Petit à petit, une image apparaît, qui n’a jamais existé. Ces IA s’appellent des modèles de diffusion.

Pourquoi il invente des choses

Le « bon élève » qui ne dit jamais « je ne sais pas »

Rappelle-toi : le modèle cherche la suite la plus probable, pas la suite vraie. La plupart du temps, c’est pareil. Mais quand il ne connaît pas la réponse, il écrit quand même ce qui ressemble à une bonne réponse.

Demande-lui la biographie d’une personne peu connue : il peut inventer une date de naissance, un livre qu’elle n’a jamais écrit, un prix qu’elle n’a jamais reçu. Le tout avec un style parfaitement assuré. On appelle ça une hallucination.

Ce qu'on croit

Il cherche la réponse dans une base de données
S’il le dit avec assurance, c’est qu’il est sûr
S’il cite un livre ou un site, ce livre existe

Ce qui se passe vraiment

Il écrit la suite qui ressemble le plus à une bonne réponse
Il a toujours l’air sûr, même quand il invente
Il peut inventer un titre, un auteur ou un lien qui n’existent pas

?ChatGPT te donne une citation de Victor Hugo, avec le titre du livre et la page. Que peux-tu en conclure ?

?Pourquoi deux élèves qui posent exactement la même question à ChatGPT n'obtiennent-ils pas la même réponse ?

À retenir

ChatGPT prédit le mot suivant. Encore et encore, en tirant au sort parmi les mots les plus probables. C’est tout son secret.
Il lit des tokens, pas des lettres. Des morceaux de mots, environ 100 000 différents. D’où ses difficultés à compter les lettres.
Deux étapes d’entraînement. D’abord lire des quantités énormes de textes pour deviner la suite, puis apprendre avec des humains à répondre comme un assistant.
Il est figé. Il a une date limite de connaissances et n’apprend rien en discutant avec toi.
Probable n’est pas vrai. Quand il ne sait pas, il invente avec aplomb : c’est une hallucination. Vérifie ce qui compte.

À la fin de cette session, tu sais