Cette page contient des termes de glossaire d'IA générative. Pour consulter tous les termes du glossaire, cliquez ici.
A
modèle autorégressif
model qui infère une prédiction à partir de ses propres prédictions précédentes. Par exemple, les modèles de langage autorégressifs prédisent le jeton suivant en fonction des jetons précédemment prédits. Tous les grands modèles de langage basés sur Transformer sont autorégressifs.
En revanche, les modèles d'images basés sur le GAN ne sont généralement pas autorégressifs, car ils génèrent une image en une seule étape avant et non de manière itérative par étapes. Cependant, certains modèles de génération d'images sont autorégressifs, car ils génèrent une image par étapes.
C
requêtes en chaîne de pensée
Technique d'ingénierie des requêtes qui encourage un grand modèle de langage (LLM) à expliquer son raisonnement pas à pas. Prenons l'exemple de l'invite suivante, en accordant une attention particulière à la deuxième phrase:
Combien de forces g un conducteur aurait-il dû subir dans une voiture qui passe de 0 à 60 miles par heure en 7 secondes ? Dans la réponse, affichez tous les calculs pertinents.
La réponse du LLM se présentera probablement comme suit:
- Affichez une séquence de formules physiques en insérant les valeurs 0, 60 et 7 aux endroits appropriés.
- Expliquez pourquoi il a choisi ces formules et ce que signifient les différentes variables.
Une requête en chaîne de pensée oblige le LLM à effectuer tous les calculs, ce qui peut conduire à une réponse plus correcte. En outre, l'invite en chaîne de pensée permet à l'utilisateur d'examiner les étapes du LLM afin de déterminer si la réponse a du sens.
chat
Contenu d'un dialogue avec un système de ML, généralement un grand modèle de langage. L'interaction précédente dans un chat (ce que vous avez saisi et la réponse du grand modèle de langage) devient le contexte des parties suivantes du chat.
Un chatbot est une application d'un grand modèle de langage.
représentation vectorielle continue du langage contextualisé
Représentation vectorielle continue qui se rapproche de la "compréhension" de mots et d'expressions comme le peut le faire pour les locuteurs natifs. Les représentations vectorielles continues de langage contextualisées permettent de comprendre la syntaxe, la sémantique et le contexte complexes.
Par exemple, considérons les représentations vectorielles continues du mot anglais cow. Les représentations vectorielles continues plus anciennes telles que word2vec peuvent représenter des mots anglais, de sorte que la distance dans l'espace de représentation vectorielle continue entre vache et bull est semblable à la distance entre ewe (mouton femelle) et ram (mouton mâle) ou entre femelle et mâle. Les représentations vectorielles continues de langues peuvent aller plus loin, car les anglophones utilisent parfois le mot vache pour désigner "vache" ou "taureau".
fenêtre de contexte
Nombre de jetons qu'un modèle peut traiter dans une requête donnée. Plus la fenêtre de contexte est grande, plus le modèle peut utiliser d'informations pour fournir des réponses cohérentes et cohérentes à la requête.
D
requêtes directes
Synonyme de requête zero-shot.
distillation
Processus consistant à réduire la taille d'un model (appelé model) en un modèle plus petit (l'model) qui émule les prédictions du modèle d'origine aussi fidèlement que possible. La distillation est utile, car le plus petit modèle présente deux avantages clés par rapport au modèle plus grand (l'enseignant):
- Inférence plus rapide
- Réduction de la consommation de mémoire et d'énergie
Cependant, les prédictions de l'élève ne sont généralement pas aussi bonnes que celles de l'enseignant.
La distillation entraîne le modèle élève à minimiser une fonction de perte en fonction de la différence entre les résultats des prédictions des modèles élève et enseignant.
Comparez la distillation avec les termes suivants:
F
requête few-shot
Une requête contenant plusieurs (quelques exemples) montrant comment le grand modèle de langage doit répondre. Par exemple, la longue requête suivante contient deux exemples montrant à un grand modèle de langage comment répondre à une requête.
| Composantes d'une requête | Remarques |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | La question à laquelle le LLM doit répondre. |
| France: EUR | Par exemple. |
| Royaume-Uni: GBP | Voici un autre exemple. |
| Inde: | Requête réelle. |
Les requêtes few-shot produisent généralement des résultats plus souhaitables que les requêtes zero-shot et les requêtes one-shot. Cependant, les requêtes few-shot nécessitent une requête plus longue.
Une requête few-shot est une forme d'apprentissage few-shot appliquée à l'apprentissage par requête.
réglage
Une deuxième passe d'entraînement spécifique à une tâche effectuée sur un modèle pré-entraîné afin d'affiner ses paramètres pour un cas d'utilisation spécifique. Par exemple, la séquence d'entraînement complète pour certains grands modèles de langage est la suivante:
- Pré-entraînement:entraînez un grand modèle de langage sur un vaste ensemble de données général, comme toutes les pages Wikipédia en anglais.
- Ajustement:entraînez le modèle pré-entraîné à effectuer une tâche spécifique, comme répondre à des requêtes médicales. L'affinage implique généralement des centaines, voire des milliers d'exemples axés sur la tâche spécifique.
Dans cet autre exemple, la séquence d'entraînement complète pour un grand modèle d'images se présente comme suit:
- Pré-entraînement:entraînez un grand modèle d'images sur un vaste ensemble de données d'images génériques, tel que toutes les images de Wikimedia commons.
- Ajustement:entraînez le modèle pré-entraîné à effectuer une tâche spécifique, comme générer des images d'orques.
Pour l'optimiser, vous pouvez combiner les stratégies suivantes:
- Modifier tous les paramètres existants du modèle pré-entraîné On parle parfois de réglage complet.
- Ne modifier que certains des paramètres existants du modèle pré-entraîné (généralement, les couches les plus proches de la couche de sortie), tout en conservant les autres paramètres existants inchangés (en général, les couches les plus proches de la couche d'entrée) Consultez la section Optimiser l'efficacité des paramètres.
- Ajout de couches, généralement au-dessus des couches existantes les plus proches de la couche de sortie.
L'affinage est une forme d'apprentissage par transfert. Ainsi, l'affinage peut utiliser une fonction de perte ou un type de modèle différents de ceux utilisés pour entraîner le modèle pré-entraîné. Par exemple, vous pouvez affiner un grand modèle d'images pré-entraîné pour produire un modèle de régression qui renvoie le nombre d'oiseaux dans une image d'entrée.
Comparer et différencier l'affinage avec les termes suivants:
G
IA générative
Un domaine novateur en pleine transformation, sans définition formelle. Cela dit, la plupart des experts s'accordent à dire que les modèles d'IA générative peuvent créer ("générer") des contenus présentant tous les éléments suivants:
- complexe
- cohérentes
- originale
Par exemple, un modèle d'IA générative peut créer des images ou des essais complexes.
Certaines technologies antérieures, telles que les LSTM et les RNN, peuvent également générer du contenu original et cohérent. Certains experts considèrent ces technologies antérieures comme de l'IA générative, tandis que d'autres estiment que la véritable IA générative nécessite des résultats plus complexes que ce que peuvent produire ces technologies antérieures.
À comparer au ML prédictif.
I
apprentissage en contexte
Synonyme de requête few-shot.
réglage des instructions
Forme d'ajustement qui améliore la capacité d'un modèle d'IA générative à suivre les instructions. Le réglage des instructions implique l'entraînement d'un modèle sur une série d'instructions, couvrant généralement une grande variété de tâches. Le modèle réglé sur les instructions qui en résulte a alors tendance à générer des réponses utiles aux requêtes zero-shot pour diverses tâches.
Indiquer les points communs et les différences avec:
L
LoRA
Abréviation de Adaptabilité de rang faible.
Adaptabilité de bas niveau (LoRA)
Algorithme permettant d'effectuer un réglage efficace des paramètres, qui affine uniquement un sous-ensemble des paramètres d'un grand modèle de langage. La fonctionnalité LoRA offre les avantages suivants:
- s'adapte plus rapidement que les techniques qui nécessitent d'ajuster tous les paramètres d'un modèle ;
- Réduit le coût de calcul lié à l'inférence dans le modèle affiné.
Un modèle réglé avec LoRA maintient ou améliore la qualité de ses prédictions.
LoRA permet d'utiliser plusieurs versions spécialisées d'un modèle.
Lu
modèle en cascade
Système qui choisit le model idéal pour une requête d'inférence spécifique.
Imaginez un groupe de modèles, allant du très grand (nombreux paramètres) à beaucoup plus petit (beaucoup moins de paramètres). Les modèles très volumineux consomment plus de ressources de calcul au moment de l'inférence que les modèles plus petits. Toutefois, les modèles très volumineux peuvent généralement déduire des requêtes plus complexes que les modèles plus petits. Le modèle en cascade détermine la complexité de la requête d'inférence, puis choisit le modèle approprié pour effectuer l'inférence. La principale motivation de la création en cascade des modèles est de réduire les coûts d'inférence en sélectionnant généralement des modèles plus petits et en ne sélectionnant qu'un modèle plus grand pour les requêtes plus complexes.
Imaginez qu'un petit modèle s'exécute sur un téléphone et qu'une version plus grande de ce modèle s'exécute sur un serveur distant. Un bon modèle en cascade réduit les coûts et la latence en permettant au plus petit modèle de traiter des requêtes simples et en appelant uniquement le modèle distant pour traiter des requêtes complexes.
Consultez également modèle de routeur.
modèle de routeur
Algorithme qui détermine le model idéal pour l'model dans le model. Un routeur de modèles est généralement lui-même un modèle de machine learning qui apprend progressivement à choisir le meilleur modèle pour une entrée donnée. Cependant, un routeur de modèle peut parfois être un algorithme plus simple, autre que le machine learning.
O
requête one-shot
Une requête contenant un exemple montrant comment le grand modèle de langage doit répondre. Par exemple, l'invite suivante contient un exemple montrant à un grand modèle de langage comment il doit répondre à une requête.
| Composantes d'une requête | Remarques |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | La question à laquelle le LLM doit répondre. |
| France: EUR | Par exemple. |
| Inde: | Requête réelle. |
Comparez les requêtes one-shot avec les termes suivants:
P
optimisation du réglage des paramètres
Ensemble de techniques permettant d'affiner un grand modèle de langage pré-entraîné (PLM) plus efficacement que l'affinage complet. Le réglage économe en paramètres affine généralement beaucoup moins de paramètres que l'affinage complet, mais produit généralement un grand modèle de langage qui fonctionne aussi bien (ou presque aussi) qu'un grand modèle de langage créé à partir d'un ajustement complet.
Indiquer les points communs et les différences entre le réglage efficace pour les paramètres et les éléments suivants:
Le réglage utilisant efficacement les paramètres est également appelé ajustement efficace des paramètres.
PLM
Abréviation de modèle de langage pré-entraîné.
modèle pré-entraîné
Modèles ou composants de modèle (tels qu'un vecteur de représentation vectorielle continue) qui ont déjà été entraînés. Parfois, vous transmettez des vecteurs de représentation vectorielle continue pré-entraînés dans un réseau de neurones. D'autres fois, le modèle va entraîner lui-même les vecteurs de représentation vectorielle continue au lieu de s'appuyer sur les représentations vectorielles continues pré-entraînées.
Le terme modèle de langage pré-entraîné fait référence à un grand modèle de langage qui a fait l'objet d'un pré-entraînement.
pré-entraînement
Entraînement initial d'un modèle sur un ensemble de données volumineux. Certains modèles pré-entraînés sont des géants maladroites et doivent généralement être affinés par le biais d'un entraînement supplémentaire. Par exemple, les experts en ML peuvent pré-entraîner un grand modèle de langage sur un vaste ensemble de données de texte, comme toutes les pages en anglais de Wikipédia. À la suite du pré-entraînement, le modèle résultant peut être affiné davantage grâce à l'une des techniques suivantes:
- distillation
- affinage
- réglage des instructions
- optimisation du réglage des paramètres
- réglage des invites
requête
Tout texte saisi en tant qu'entrée dans un grand modèle de langage pour conditionner le modèle afin qu'il se comporte d'une certaine manière. Les invites peuvent être aussi courtes qu'une expression ou arbitrairement longues (par exemple, l'intégralité du texte d'un roman). Les requêtes appartiennent à plusieurs catégories, y compris celles présentées dans le tableau suivant:
| Catégorie d'invite | Exemple | Remarques |
|---|---|---|
| Question | À quelle vitesse un pigeon vole-t-il ? | |
| Instruction | Écris un poème amusant sur les sites à contenu exclusivement publicitaire. | Requête qui demande au grand modèle de langage d'effectuer une action. |
| Exemple | Traduire le code Markdown au format HTML. Par exemple :
Markdown: * élément de liste HTML: <ul> <li>élément de liste</li> </ul> |
La première phrase de cet exemple de requête est une instruction. Le reste de la requête est l'exemple. |
| Rôle | Expliquer pourquoi la descente de gradient est utilisée dans l'entraînement du machine learning jusqu'à un doctorat en physique. | La première partie de la phrase est une instruction. L'expression "to un doctorat en physique" correspond au rôle. |
| Entrée partielle pour la finalisation du modèle | Le Premier ministre du Royaume-Uni vit à | Une invite d'entrée partielle peut se terminer brusquement (comme dans cet exemple) ou se terminer par un trait de soulignement. |
Un modèle d'IA générative peut répondre à une requête avec du texte, du code, des images, des représentations vectorielles continues, des vidéos, etc.
apprentissage basé sur des requêtes
Capacité de certains modèles qui leur permet d'adapter leur comportement en réponse à des entrées de texte arbitraires (invites). Dans un paradigme d'apprentissage classique basé sur des requêtes, un grand modèle de langage répond à une requête en générant du texte. Par exemple, supposons qu'un utilisateur entre l'invite suivante:
Résume la troisième loi du mouvement de Newton.
Un modèle compatible avec l'apprentissage basé sur des requêtes n'est pas spécifiquement entraîné pour répondre à l'invite précédente. Le modèle "connaît" de nombreux faits en physique, beaucoup de règles générales du langage et beaucoup de choses sur ce qui constitue des réponses généralement utiles. Ces connaissances sont suffisantes pour fournir une réponse utile, espérons-le. Des commentaires humains supplémentaires ("Cette réponse était trop compliquée" ou "Qu'est-ce qu'une réaction ?") permettent à certains systèmes d'apprentissage par requête d'améliorer progressivement l'utilité de leurs réponses.
conception de requête
Synonyme d'ingénierie des requêtes.
ingénierie des requêtes
Création d'invites qui génèrent les réponses souhaitées à partir d'un grand modèle de langage. Les êtres humains effectuent des opérations d'ingénierie des requêtes. Rédiger des requêtes bien structurées est essentiel pour garantir des réponses utiles d'un grand modèle de langage. L'ingénierie des requêtes dépend de nombreux facteurs, y compris:
- Ensemble de données utilisé pour pré-entraîner et éventuellement affiner le grand modèle de langage.
- température et autres paramètres de décodage utilisés par le modèle pour générer des réponses.
Pour en savoir plus sur la rédaction de requêtes utiles, consultez Présentation de la conception de requêtes.
La conception de requête est un synonyme d'ingénierie des requêtes.
réglage des invites
Un mécanisme de réglage efficace des paramètres qui apprend un "préfixe" que le système ajoute à la requête réelle
Une variante du réglage des invites, parfois appelée réglage des préfixes, consiste à ajouter le préfixe au début de chaque couche. En revanche, la plupart des réglages d'invites n'ajoutent qu'un préfixe à la couche d'entrée.
R
Apprentissage automatique par renforcement qui utilise le feedback humain (RLHF)
Utiliser les commentaires d'évaluateurs manuels pour améliorer la qualité des réponses d'un modèle. Par exemple, un mécanisme RLHF peut demander aux utilisateurs d'évaluer la qualité de la réponse d'un modèle avec un emoji 👍 ou 👎. Le système peut ensuite ajuster ses futures réponses en fonction de ce feedback.
requête de rôle
Partie facultative d'une requête qui identifie une audience cible pour la réponse d'un modèle d'IA générative. Sans une invite de rôle, un grand modèle de langage fournit une réponse qui peut être utile ou non pour la personne qui pose les questions. Avec une invite de rôle, un grand modèle de langage peut répondre d'une manière plus appropriée et plus utile pour une audience cible spécifique. Par exemple, la partie d'invite de rôle des invites suivantes est en gras:
- Résume cet article pour un doctorat en économie.
- Décrire le fonctionnement des marées pour un enfant de dix ans.
- Expliquer la crise financière de 2008 Parlez comme vous le feriez à un jeune enfant ou à un golden retriever.
S
réglage des invites douces
Technique de réglage d'un grand modèle de langage pour une tâche particulière, sans affinage, qui utilise beaucoup de ressources. Au lieu de réentraîner toutes les pondérations du modèle, le réglage des invites douces ajuste automatiquement une invite pour atteindre le même objectif.
Avec une requête textuelle, le réglage de l'invite douce ajoute généralement des représentations vectorielles continues de jetons supplémentaires à l'invite et utilise la rétropropagation pour optimiser l'entrée.
Une invite "difficile" contient des jetons réels au lieu de représentations vectorielles continues de jetons.
T
température
Hyperparamètre qui contrôle le degré de hasard des résultats d'un modèle. Des températures plus élevées génèrent des résultats plus aléatoires, tandis que des températures plus basses génèrent des résultats moins aléatoires.
Le choix de la température optimale dépend de l'application spécifique et des propriétés préférées de la sortie du modèle. Par exemple, vous augmenteriez probablement la température lors de la création d'une application qui génère des résultats de création. À l'inverse, vous devriez probablement baisser la température lorsque vous créez un modèle qui classe les images ou le texte afin d'améliorer la précision et la cohérence du modèle.
La température est souvent utilisée avec softmax.
Z
requête zero-shot
Une requête qui ne fournit pas d'exemple de la manière dont vous souhaitez que le grand modèle de langage réponde. Exemple :
| Composantes d'une requête | Remarques |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | La question à laquelle le LLM doit répondre. |
| Inde: | Requête réelle. |
Le grand modèle de langage peut répondre avec l'un des éléments suivants:
- Roupie
- INR
- ₹
- Roupie indienne
- La roupie
- Roupie indienne
Toutes les réponses sont correctes, mais vous préférerez peut-être un format en particulier.
Comparez les requêtes zero-shot avec les termes suivants: