Comment une IA choisit-elle ses mots ? Plongez dans le cerveau d'un LLM avec notre nouvel outil

Vous avez déjà demandé à une IAL'IA (Intelligence Artificielle) est un ensemble de technologies qui permettent à une machine d'imiter des fonctions cognitives humaines, telles que… de vous écrire un poème, une recette ou un e-mail et vous vous êtes demandé : “Mais comment fait-elle pour trouver les mots justes ?”. On a souvent l’impression que c’est de la magie, mais en réalité, c’est un mélange fascinant de mathématiques et de langage.

Aujourd’hui, je vous propose de soulever le capot pour voir ce qu’il se passe à l’intérieur.

Un LLM, c’est un “moteur à prédiction” ultra-puissant

Pour faire simple, un modèle de langage (LLMUn LLM (Large Language Model, ou grand modèle de langage) est un programme d'intelligence artificielle entraîné sur d'immenses quantités de textes pour…) comme ceux qui animent ChatGPTChatGPT est un agent conversationnel développé par l'entreprise OpenAI, capable de dialoguer, de rédiger des textes, de répondre à des questions et… ou GeminiGemini est l'assistant d'intelligence artificielle générative développé par Google, capable de dialoguer, de rédiger, d'analyser des images et de… est un expert pour deviner une seule chose : quel est le mot qui a le plus de chances de venir après une série d’autres mots.

C’est un peu comme la saisie automatique de votre téléphone, mais avec une mémoire et une compréhension du contexte des milliards de fois plus puissantes.

Le concept clé : tout est une question de probabilités

Quand vous lui donnez la phrase “Le ciel est…”, le modèle calcule la probabilité de tous les mots qu’il connaît :

• bleu : Très haute probabilité (disons 85%)
• gris : Probabilité moyenne (10%)
• menaçant : Probabilité plus faible (3%)
• banane : Probabilité quasi nulle (0.0001%)

Il choisit ensuite le mot le plus probable selon son paramètrage, et recommence le processus avec la phrase ET ce mot supplémentaire !

Pour tout comprendre, j’ai créé un outil pour vous !

Parce qu’une démonstration vaut mille mots, j’ai développé un simulateur interactif et gratuit : “Le Mot Suivant”. Il vous permet de faire exactement ce que nous venons de décrire.

➡️ Testez le simulateur ici : https://llm-explain.strategiezenit.com/

Comment utiliser le simulateur ?

• Jouez avec la “TempératureLa température est un réglage qui dose la part de hasard, et donc de « créativité », dans les réponses d'une intelligence artificielle.” : Ce paramètre contrôle la “folie” de l’IA. À basse température, elle est très logique et prévisible. À haute température, elle prend plus de risques et devient plus créative (parfois jusqu’à l’absurde !).
• “Pourquoi ?” : Pour chaque mot choisi, vous pouvez avez une ex^mication du raisonnement.
• Jouez avec le “Top-KLe top-k est un réglage qui limite le choix de l'intelligence artificielle aux k candidats les plus probables au moment de générer chaque nouveau mot.”: ce paramètre permet de choisir un nombre de mots dans lequel l’IA va “piocher”. Si on met peu de mot (top-k à 2) il sera tres limité dans ces choix, si on met trop de mots, on aura des probablités très faibles et associé à beaucoup de créativité (température élevée) on pourrait avoir des vraies surprises !

Exemple, je lui mets comme phrase “les épinards sont” et il me complète… En lui demandant d’être très créatif, avec un début de texte comme : " Pour un projet cloudLe cloud (ou informatique en nuage) désigne le fait de stocker ses fichiers et d'utiliser des logiciels à distance, sur des serveurs accessibles via… réussi, il est nécessaire de…"

Ce qui n’est effectivement pas la premiere chose qui me serait venue à l’esprit !

Conclusion : L’intelligence artificielle n’est plus une boîte noire inaccessible. C’est un outil fascinant basé sur des principes que l’on peut tous comprendre en expérimentant un peu.

Maintenant, c’est à vous de jouer ! Essayez le simulateur, expérimentez avec les paramètres et partagez vos phrases les plus surprenantes en commentaire !