Token (IA)

Un token est la petite unité de texte, souvent un morceau de mot, que les intelligences artificielles utilisent pour lire et générer du langage. Avant de traiter votre message, le modèle le découpe en tokens, comme on découperait une phrase en pièces de puzzle : un mot court peut former un seul token, un mot long ou rare en occupe plusieurs (« anticonstitutionnellement » en prendra facilement cinq ou six). En français, on compte en gros un token pour trois ou quatre caractères. Cette unité sert de mètre étalon partout : la taille de la fenêtre de contexteLe contexte désigne l'ensemble des informations qu'un modèle d'intelligence artificielle a « sous les yeux » au moment de générer sa réponse, comme votre… d’un modèle s’exprime en tokens, et les fournisseurs d’IAL'IA (Intelligence Artificielle) est un ensemble de technologies qui permettent à une machine d'imiter des fonctions cognitives humaines, telles que… facturent leurs services au million de tokens lus et générés.