Cette page contient les termes du glossaire de l'IA générative. Pour voir tous les termes du glossaire, cliquez ici.
A
modèle autorégressif
model qui infère une prédiction à partir de ses propres prédictions précédentes. Par exemple, les modèles de langage autorégressifs prédisent le jeton suivant en fonction des jetons précédemment prédits. Tous les grands modèles de langage basés sur Transformer sont autorégressifs.
En revanche, les modèles d'image basés sur le GAN ne sont généralement pas autorégressifs, car ils génèrent une image en une seule passe avant et non par étapes itérative. Cependant, certains modèles de génération d'images sont autorégressifs, car ils génèrent une image par étapes.
C
requête basée sur une chaîne de pensée
Technique d'ingénierie rapide qui encourage un grand modèle de langage (LLM) à expliquer son raisonnement, étape par étape. Par exemple, considérons l'invite suivante, en accordant une attention particulière à la deuxième phrase:
Combien de forces g un conducteur peut-il rencontrer dans une voiture qui passe de 0 à 60 miles par heure en 7 secondes ? Dans la réponse, affichez tous les calculs pertinents.
La réponse du LLM est susceptible de:
- Affichez une séquence de formules physiques en saisissant les valeurs 0, 60 et 7 aux emplacements appropriés.
- Expliquez pourquoi il a choisi ces formules et ce que signifient les différentes variables.
La invite de chaîne de pensée oblige le LLM à effectuer tous les calculs, ce qui peut conduire à une réponse plus correcte. En outre, la requête de chaîne de pensée permet à l'utilisateur d'examiner les étapes du LLM pour déterminer si la réponse est pertinente ou non.
D
requête directe
Synonyme de requête zero-shot.
distillation
Processus consistant à réduire la taille d'un model (model) en un modèle plus petit (l'model) qui émule aussi fidèlement que possible les prédictions du modèle d'origine. La distillation est utile, car le plus petit modèle présente deux avantages clés par rapport au modèle plus grand (l'enseignant):
- Délai d'inférence plus court
- Réduction de la consommation de mémoire et d'énergie
Cependant, les prédictions de l'élève ne sont généralement pas aussi bonnes que celles de l'enseignant.
La distillation entraîne le modèle des élèves à minimiser une fonction de perte basée sur la différence entre les résultats des prédictions des modèles élève et enseignant.
Comparez la distillation avec les termes suivants:
F.
requête few-shot
Une invite contenant plusieurs (quelques exemples) démontrant la manière dont le grand modèle de langage doit répondre. Par exemple, la longue invite suivante contient deux exemples montrant un grand modèle de langage pour savoir comment répondre à une requête.
| Composantes d'une requête | Notes |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | Question à laquelle vous voulez que le LLM réponde. |
| France: EUR | Prenons un exemple. |
| Royaume-Uni: GBP | Voici un autre exemple. |
| Inde: | Requête réelle. |
La requête few-shot produit généralement plus de résultats que les invites zero-shot et les invites one-shot. Cependant, la requête few-shot nécessite une invite plus longue.
La requête few-shot est une forme d'apprentissage few-shot appliquée à l'apprentissage rapide.
réglage
Une deuxième carte d'entraînement spécifique à une tâche effectuée sur un modèle pré-entraîné afin d'affiner ses paramètres pour un cas d'utilisation spécifique. Par exemple, la séquence d'entraînement complète pour certains grands modèles de langage se présente comme suit:
- Pré-entraînement:entraînez un grand modèle de langage sur un vaste ensemble de données général, tel que toutes les pages Wikipédia en anglais.
- Ajustement:entraînez le modèle pré-entraîné à effectuer une tâche spécifique, comme répondre à des requêtes médicales. L'affinage implique généralement des centaines ou des milliers d'exemples axés sur la tâche spécifique.
Dans cet autre exemple, la séquence d'entraînement complète d'un grand modèle d'images se présente comme suit:
- Pré-entraînement:entraînez un grand modèle d'images sur un vaste ensemble de données d'images générales, comme toutes les images de Wikimedia commons.
- Ajustement:entraînez le modèle pré-entraîné à effectuer une tâche spécifique, telle que la génération d'images d'orques.
Pour l'affiner, vous pouvez combiner les stratégies suivantes:
- Modifier tous les paramètres existants du modèle pré-entraîné Ce processus est parfois appelé ajustement complet.
- Modifier uniquement certains des paramètres existants du modèle pré-entraîné (généralement, les couches les plus proches de la couche de sortie), tout en conservant les autres paramètres existants inchangés (en général, les couches les plus proches de la couche d'entrée). Découvrez comment optimiser l'efficacité des paramètres.
- L'ajout de couches, généralement au-dessus des couches existantes les plus proches de la couche de sortie
L'affinage est une forme d'apprentissage par transfert. Par conséquent, l'affinage peut utiliser une fonction de perte ou un type de modèle différent de ceux utilisés pour entraîner le modèle pré-entraîné. Par exemple, vous pouvez affiner un grand modèle d'images pré-entraîné pour produire un modèle de régression qui renvoie le nombre d'oiseaux dans une image d'entrée.
Comparez et contrastez avec les termes suivants lors des réglages:
G
IA générative
Domaine émergent sans définition formelle Cela dit, la plupart des experts s'accordent à dire que les modèles d'IA générative peuvent créer ("générer") des contenus présentant tous les éléments suivants:
- complexe
- cohérentes
- originale
Par exemple, un modèle d'IA générative peut créer des images ou des essais sophistiqués.
Certaines technologies antérieures, telles que les LSTM et les RNN, peuvent également générer du contenu original et cohérent. Certains experts considèrent ces technologies précédentes comme une IA générative, tandis que d'autres estiment que la véritable IA générative nécessite des résultats plus complexes que ceux que ces technologies plus anciennes peuvent produire.
À comparer au ML prédictif.
I
apprentissage en contexte
Synonyme de requête few-shot.
réglage des instructions
Forme d'affinage qui améliore la capacité d'un modèle d'IA générative à suivre les instructions. Le réglage des instructions consiste à entraîner un modèle selon une série d'instructions, couvrant généralement un large éventail de tâches. Le modèle réglé sur les instructions qui en résulte a alors tendance à générer des réponses utiles aux invites zero-shot pour diverses tâches.
Comparer et différencier:
O
requête one-shot
Une invite contenant un exemple illustrant la réponse du grand modèle de langage. L'invite suivante contient un exemple montrant comment répondre à une requête à un grand modèle de langage.
| Composantes d'une requête | Notes |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | Question à laquelle vous voulez que le LLM réponde. |
| France: EUR | Prenons un exemple. |
| Inde: | Requête réelle. |
Comparez et opposez les invites one-shot aux termes suivants:
P
optimisation avec optimisation des paramètres
Ensemble de techniques permettant d'affiner un grand modèle de langage pré-entraîné (PLM) plus efficacement que l'affinage complet. L'optimisation avec efficacité des paramètres affine généralement beaucoup moins de paramètres qu'un ajustement complet, mais produit généralement un grand modèle de langage qui fonctionne aussi bien (ou presque aussi) qu'un grand modèle de langage créé à partir d'un ajustement complet.
Comparer et différencier les réglages efficaces avec les paramètres suivants:
Le réglage avec efficacité des paramètres est également connu sous le nom d'optimisation avec efficacité des paramètres.
PLM
Abréviation de modèle de langage pré-entraîné.
modèle pré-entraîné
Modèles ou composants de modèle (tels qu'un vecteur de représentation vectorielle continue) qui ont déjà été entraînés. Parfois, vous introduisez des vecteurs de représentation vectorielle continue pré-entraînés dans un réseau de neurones. D'autres fois, votre modèle entraîne les vecteurs de représentation vectorielle continue lui-même au lieu de s'appuyer sur les représentations vectorielles continues pré-entraînées.
Le terme modèle de langage pré-entraîné fait référence à un grand modèle de langage qui a fait l'objet d'un pré-entraînement.
pré-entraînement
Entraînement initial d'un modèle sur un ensemble de données volumineux. Certains modèles pré-entraînés sont des géants maladroites et doivent généralement être affinés par le biais d'un entraînement supplémentaire. Par exemple, les experts en ML peuvent pré-entraîner un grand modèle de langage sur un vaste ensemble de données textuelles, comme toutes les pages en anglais de Wikipédia. Après le pré-entraînement, le modèle résultant peut être affiné davantage grâce à l'une des techniques suivantes:
- distillation
- affinage
- réglage des instructions
- optimisation du réglage des paramètres
- réglage rapide
invite
Tout texte saisi en tant qu'entrée d'un grand modèle de langage pour conditionner le modèle afin qu'il se comporte d'une certaine manière. Les invites peuvent être aussi courtes qu'une expression ou arbitrairement longues (par exemple, l'intégralité du texte d'un roman). Les invites appartiennent à plusieurs catégories, y compris celles présentées dans le tableau suivant:
| Catégorie d'invite | Exemple | Notes |
|---|---|---|
| Question | À quelle vitesse un pigeon peut-il voler ? | |
| Enseignement | Écrivez un poème amusant sur les sites à contenu exclusivement publicitaire. | Une requête demandant au grand modèle de langage d'effectuer une action |
| Exemple | Traduire le code Markdown en HTML. Par exemple :
Markdown: * élément de liste HTML: <ul> <li>élément de liste</li> </ul> |
La première phrase de cet exemple de requête est une instruction. Le reste de l'invite est l'exemple. |
| Rôle | Expliquez pourquoi la descente de gradient est utilisée pour entraîner le machine learning vers un doctorat en physique. | La première partie de la phrase est une instruction. L'expression "accéder à un doctorat en physique" correspond à la partie du rôle. |
| Entrée partielle pour l'exécution du modèle | Le Premier ministre du Royaume-Uni vit à | Une invite d'entrée partielle peut se terminer brusquement (comme dans cet exemple) ou se terminer par un trait de soulignement. |
Un modèle d'IA générative peut répondre à une requête avec du texte, du code, des images, des représentations vectorielles continues, des vidéos, etc.
apprentissage rapide
Capacité de certains modèles qui leur permet d'adapter leur comportement en réponse à une entrée de texte arbitraire (invites). Dans un paradigme d'apprentissage classique basé sur des invites, un grand modèle de langage répond à une requête en générant du texte. Par exemple, supposons qu'un utilisateur entre l'invite suivante:
Résumons la troisième loi du mouvement de Newton.
Un modèle capable d'apprendre par requête n'est pas spécifiquement entraîné pour répondre à l'invite précédente. Au lieu de cela, le modèle "connaît" de nombreux faits en physique, beaucoup de choses sur les règles générales du langage et beaucoup de choses sur ce qui constitue des réponses généralement utiles. Ces connaissances sont suffisantes pour fournir (nous espérons) une réponse utile. Des commentaires humains supplémentaires ("Cette réponse était trop compliquée" ou "Qu'est-ce qu'une réaction ?") permettent à certains systèmes d'apprentissage basés sur des requêtes d'améliorer progressivement l'utilité de leurs réponses.
conception de requête
Synonyme d'ingénierie des invites.
ingénierie des requêtes
Création d'invites qui génèrent les réponses souhaitées d'un grand modèle de langage. Les humains effectuent l'ingénierie des requêtes. L'écriture de requêtes bien structurées est essentielle pour garantir des réponses utiles à partir d'un grand modèle de langage. L'ingénierie des invites dépend de nombreux facteurs, y compris:
- Ensemble de données utilisé pour pré-entraîner et éventuellement affiner le grand modèle de langage.
- température et autres paramètres de décodage utilisés par le modèle pour générer des réponses.
Pour en savoir plus sur la rédaction de requêtes utiles, consultez la page Présentation de la conception des requêtes.
La conception de requêtes est un synonyme de l'ingénierie des requêtes.
réglage des invites
Un mécanisme de réglage efficace des paramètres qui apprend un "préfixe" que le système ajoute à l'invite réelle
Une variante du réglage des invites, parfois appelée réglage des préfixes, consiste à ajouter le préfixe à chaque couche. En revanche, la plupart des réglages des invites n'ajoutent qu'un préfixe à la couche d'entrée.
R
Apprentissage par renforcement à partir des commentaires humains
Utiliser les commentaires d'évaluateurs manuels pour améliorer la qualité des réponses d'un modèle. Par exemple, un mécanisme RLHF peut demander aux utilisateurs d'évaluer la qualité de la réponse d'un modèle avec un emoji 👍 ou 👎. Le système peut alors ajuster ses futures réponses en fonction de ce feedback.
invite de rôle
Partie facultative d'une invite qui identifie une audience cible pour la réponse d'un modèle d'IA générative. Sans invite de rôle, un grand modèle de langage fournit une réponse qui peut ou non être utile pour la personne qui pose les questions. Avec une invite de rôle, un grand modèle de langage peut répondre d'une manière plus appropriée et plus utile pour une audience cible spécifique. Par exemple, la partie d'invite de rôle des invites suivantes est en gras:
- Résumez cet article pour un doctorat en économie.
- Décrire le fonctionnement des marées pour un enfant de dix ans.
- Expliquer la crise financière de 2008 Parlez comme vous le feriez avec un jeune enfant ou un golden retriever.
T
température
Hyperparamètre qui contrôle le degré de hasard de la sortie d'un modèle. Des températures plus élevées génèrent une sortie plus aléatoire, tandis qu'une température plus basse produit moins de résultats aléatoires.
Le choix de la température optimale dépend de l'application spécifique et des propriétés souhaitées de la sortie du modèle. Par exemple, vous augmenterez probablement la température lorsque vous créerez une application qui générera des créations. À l'inverse, il est probable que la température baisse lors de la création d'un modèle qui classe des images ou du texte afin d'améliorer la précision et la cohérence du modèle.
La température est souvent utilisée avec softmax.
Z
requête zero-shot
Une invite qui ne fournit pas d'exemple de la manière dont vous souhaitez que le grand modèle de langage réponde. Exemple :
| Composantes d'une requête | Notes |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | Question à laquelle vous voulez que le LLM réponde. |
| Inde: | Requête réelle. |
Le grand modèle de langage peut répondre par l'un des éléments suivants:
- Roupie
- INR
- ₹
- Roupie indienne
- La roupie
- Roupie indienne
Toutes les réponses sont correctes, mais vous préférerez peut-être un format particulier.
Comparez et opposez les invites zero-shot avec les termes suivants: