Cette page contient les termes du glossaire de l'IA générative. Pour connaître tous les termes du glossaire, cliquez ici.
A
évaluation automatique
Utiliser un logiciel pour évaluer la qualité de la sortie d'un modèle
Lorsque la sortie du modèle est relativement simple, un script ou un programme peut comparer la sortie du modèle à une réponse d'or. Ce type d'évaluation automatique est parfois appelé évaluation programmatique. Les métriques telles que ROUGE ou BLEU sont souvent utiles pour l'évaluation programmatique.
Lorsque la sortie du modèle est complexe ou qu'il n'existe pas de bonne réponse unique, un programme de ML distinct appelé auto-évaluateur effectue parfois l'évaluation automatique.
À comparer à l'évaluation humaine.
évaluation de l'outil d'évaluation automatique
Mécanisme hybride permettant d'évaluer la qualité de la sortie d'un modèle d'IA générative, qui combine une évaluation humaine et une évaluation automatique. Un outil d'évaluation automatique est un modèle de ML entraîné sur des données créées par une évaluation humaine. Dans l'idéal, un outil d'évaluation automatique apprend à imiter un évaluateur humain.Des outils d'automatisation prédéfinis sont disponibles, mais les meilleurs d'entre eux sont affinés spécifiquement pour la tâche que vous évaluez.
modèle autorégressif
Modèle qui infère une prédiction en fonction de ses propres prédictions précédentes. Par exemple, les modèles de langage autorégressifs prédisent le prochain jeton en fonction des jetons précédemment prédits. Tous les grands modèles de langage basés sur Transformer sont autorégressifs.
En revanche, les modèles d'image basés sur des GAN ne sont généralement pas autorégressifs, car ils génèrent une image en une seule passe avant et non de manière itérée par étapes. Toutefois, certains modèles de génération d'images sont autorégressifs, car ils génèrent une image par étapes.
C
requêtes en chaîne de pensée
Technique d'ingénierie des requêtes qui encourage un grand modèle de langage (LLM) à expliquer son raisonnement, étape par étape. Prenons l'exemple de l'invite suivante, en accordant une attention particulière à la deuxième phrase:
Combien de g un conducteur ressentira-t-il dans une voiture qui passe de 0 à 96 km/h en 7 secondes ? Dans la réponse, indiquez tous les calculs pertinents.
La réponse du LLM est susceptible de:
- Afficher une séquence de formules de physique, en insérant les valeurs 0, 60 et 7 aux endroits appropriés.
- Expliquez pourquoi il a choisi ces formules et la signification des différentes variables.
Les requêtes en chaîne de pensée obligent le LLM à effectuer tous les calculs, ce qui peut conduire à une réponse plus correcte. De plus, les invites de la chaîne de pensée permettent à l'utilisateur d'examiner les étapes de la LLM pour déterminer si la réponse est logique ou non.
chat
Contenu d'un dialogue avec un système de ML, généralement un grand modèle de langage. L'interaction précédente dans une discussion (ce que vous avez saisi et la réponse du grand modèle de langage) devient le contexte des parties suivantes de la discussion.
Un chatbot est une application d'un grand modèle de langage.
embeddings de langage contextualisés
Embedding qui se rapproche de la "compréhension" des mots et des expressions comme le font les locuteurs natifs. Les représentations vectorielles continues du langage contextualisées peuvent comprendre la syntaxe, la sémantique et le contexte complexes.
Prenons l'exemple des représentations vectorielles continues du mot anglais cow (vache). Les anciens représentations vectorielles continues, telles que word2vec, peuvent représenter des mots anglais de sorte que la distance dans l'espace d'embedding entre cow (vache) et bull (taureau) soit semblable à celle entre ewe (brebis) et ram (bélier) ou entre female (femelle) et male (mâle). Les représentations vectorielles continues de langage contextualisées peuvent aller plus loin en reconnaissant que les anglophones utilisent parfois le mot cow pour désigner une vache ou un taureau.
fenêtre de contexte
Nombre de jetons qu'un modèle peut traiter dans une invite donnée. Plus la fenêtre de contexte est grande, plus le modèle peut utiliser d'informations pour fournir des réponses cohérentes et cohérentes à la requête.
D
requête directe
Synonyme de requête zero-shot.
distillation
Processus consistant à réduire la taille d'un modèle (appelé enseignant) en un modèle plus petit (appelé élève) qui émule les prédictions du modèle d'origine aussi fidèlement que possible. La distillation est utile, car le modèle plus petit présente deux avantages clés par rapport au modèle plus grand (l'enseignant):
- Temps d'inférence plus rapide
- Réduction de la consommation de mémoire et d'énergie
Toutefois, les prédictions de l'élève ne sont généralement pas aussi bonnes que celles de l'enseignant.
La distillation entraîne le modèle élève pour minimiser une fonction de perte en fonction de la différence entre les sorties des prédictions des modèles élève et enseignant.
Comparez la distillation aux termes suivants:
Pour en savoir plus, consultez la section LLM: réglage fin, distillation et ingénierie des requêtes dans le cours d'initiation au machine learning.
E
evals
Abréviation principalement utilisée pour les évaluations de LLM. Plus largement, evals est une abréviation de toute forme d'évaluation.
hors connexion
Processus consistant à mesurer la qualité d'un modèle ou à comparer différents modèles entre eux.
Pour évaluer un modèle de machine learning supervisé, vous le comparez généralement à un ensemble de validation et à un ensemble de test. Évaluer un LLM implique généralement des évaluations plus larges de la qualité et de la sécurité.
F
factualité
Dans le monde du ML, propriété décrivant un modèle dont la sortie est basée sur la réalité. La véracité est un concept, et non une métrique. Par exemple, supposons que vous envoyiez la invite suivante à un grand modèle de langage:
Quelle est la formule chimique du sel de table ?
Un modèle optimisant la véracité répondrait:
NaCl
Il est tentant de supposer que tous les modèles doivent être basés sur des faits. Toutefois, certaines requêtes, comme celles ci-dessous, doivent amener un modèle d'IA générative à optimiser la créativité plutôt que la véracité.
Récite-moi un limerick sur un astronaute et une chenille.
Il est peu probable que le limerick qui en résulte soit basé sur la réalité.
À comparer à la ancrage.
requêtes few-shot
Invite contenant plusieurs (quelques-uns) exemples montrant comment le grand modèle de langage doit répondre. Par exemple, l'invite longue suivante contient deux exemples montrant à un grand modèle de langage comment répondre à une requête.
| Composants d'une requête | Remarques |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | La question à laquelle vous souhaitez que le LLM réponde. |
| France: EUR | Voici un exemple. |
| Royaume-Uni: GBP | Autre exemple. |
| Inde: | Requête réelle. |
Les requêtes few-shot génèrent généralement des résultats plus intéressants que les requêtes zero-shot et les requêtes one-shot. Toutefois, les requêtes few-shot nécessitent une requête plus longue.
Les requêtes few-shot sont une forme d'apprentissage few-shot appliquée à l'apprentissage basé sur les requêtes.
Pour en savoir plus, consultez la section Ingénierie des requêtes du cours d'initiation au machine learning.
affiner
Deuxième étape d'entraînement spécifique à la tâche effectuée sur un modèle pré-entraîné pour affiner ses paramètres pour un cas d'utilisation spécifique. Par exemple, la séquence d'entraînement complète de certains grands modèles de langage est la suivante:
- Pré-entraînement:entraînez un grand modèle de langage sur un vaste ensemble de données général, comme toutes les pages de Wikipedia en anglais.
- Ajustement:entraînez le modèle pré-entraîné pour qu'il effectue une tâche spécifique, comme répondre à des requêtes médicales. Le réglage fin implique généralement des centaines ou des milliers d'exemples axés sur la tâche spécifique.
Autre exemple : la séquence d'entraînement complète d'un grand modèle d'image se présente comme suit :
- Pré-entraînement:entraînez un grand modèle d'image sur un vaste ensemble de données d'images générales, comme toutes les images de Wikimedia Commons.
- Affinement:entraînez le modèle pré-entraîné pour qu'il effectue une tâche spécifique, comme générer des images d'orques.
Le réglage fin peut impliquer n'importe quelle combinaison des stratégies suivantes:
- Modifier tous les paramètres existants du modèle pré-entraîné. On parle parfois de réglage fin complet.
- Modifier seulement certains des paramètres existants du modèle pré-entraîné (généralement, les couches les plus proches de la couche de sortie), tout en laissant les autres paramètres existants inchangés (généralement, les couches les plus proches de la couche d'entrée). Consultez la section Réglage des paramètres avec optimisation.
- Ajouter des calques, généralement au-dessus des calques existants les plus proches du calque de sortie.
L'optimisation est une forme d'apprentissage par transfert. Par conséquent, l'ajustement fin peut utiliser une fonction de perte ou un type de modèle différents de ceux utilisés pour entraîner le modèle pré-entraîné. Par exemple, vous pouvez affiner un grand modèle d'image pré-entraîné pour produire un modèle de régression qui renvoie le nombre d'oiseaux dans une image d'entrée.
Comparez l'ajustement fin aux termes suivants:
Pour en savoir plus, consultez la section Ajustement du cours d'initiation au machine learning.
fraction de succès
Métrique permettant d'évaluer le texte généré d'un modèle de ML. La fraction de succès correspond au nombre de sorties de texte générées "réussies" divisé par le nombre total de sorties de texte générées. Par exemple, si un grand modèle de langage a généré 10 blocs de code, dont cinq ont réussi, la fraction de réussite est de 50%.
Bien que la fraction de succès soit généralement utile dans les statistiques, dans le ML, cette métrique est principalement utile pour mesurer des tâches vérifiables telles que la génération de code ou les problèmes mathématiques.
G
Gemini
Écosystème composé de l'IA la plus avancée de Google. Voici quelques éléments de cet écosystème:
- Différents modèles Gemini
- Interface conversationnelle interactive pour un modèle Gemini. Les utilisateurs saisissent des requêtes, et Gemini y répond.
- Diverses API Gemini
- Divers produits professionnels basés sur des modèles Gemini, par exemple Gemini pour Google Cloud.
Modèles Gemini
Les modèles multimodaux de pointe de Google basés sur Transformer Les modèles Gemini sont spécialement conçus pour s'intégrer aux agents.
Les utilisateurs peuvent interagir avec les modèles Gemini de différentes manières, y compris via une interface de boîte de dialogue interactive et via des SDK.
texte généré
En général, le texte généré par un modèle de ML. Lors de l'évaluation de grands modèles de langage, certaines métriques comparent le texte généré à un texte de référence. Par exemple, supposons que vous essayiez de déterminer l'efficacité d'un modèle de ML pour traduire du français vers le néerlandais. Dans ce cas :
- Le texte généré correspond à la traduction néerlandaise générée par le modèle de ML.
- Le texte de référence est la traduction néerlandaise créée par un traducteur humain (ou un logiciel).
Notez que certaines stratégies d'évaluation n'impliquent pas de texte de référence.
IA générative
Champ émergent et transformateur sans définition formelle. Cela dit, la plupart des experts s'accordent à dire que les modèles d'IA générative peuvent créer ("générer") du contenu qui présente les caractéristiques suivantes:
- complexe
- cohérent
- originale
Par exemple, un modèle d'IA générative peut créer des essais ou des images sophistiqués.
Certaines technologies antérieures, y compris les LSTM et les RNN, peuvent également générer des contenus originaux et cohérents. Certains experts considèrent ces technologies antérieures comme de l'IA générative, tandis que d'autres estiment que la véritable IA générative nécessite des résultats plus complexes que ces technologies antérieures ne peuvent produire.
À comparer au ML prédictif.
réponse dorée
Réponse connue comme étant correcte. Par exemple, avec l'invite suivante:
2 + 2
La réponse idéale est la suivante:
4
H
évaluation humaine
Processus par lequel des personnes évaluent la qualité de la sortie d'un modèle de ML (par exemple, en demandant à des personnes bilingues d'évaluer la qualité d'un modèle de traduction de ML). L'évaluation humaine est particulièrement utile pour évaluer des modèles pour lesquels il n'existe pas de réponse unique.
À comparer à l'évaluation automatique et à l'évaluation par l'outil d'évaluation automatique.
human-in-the-loop (avec intervention humaine)
Idiome vaguement défini qui peut signifier l'un des éléments suivants:
- Règle consistant à examiner les résultats de l'IA générative de manière critique ou sceptique. Par exemple, les humains qui rédigent ce glossaire de ML sont émerveillés par ce que peuvent faire les grands modèles de langage, mais ils sont conscients des erreurs qu'ils commettent.
- Stratégie ou système visant à s'assurer que les utilisateurs contribuent à façonner, évaluer et affiner le comportement d'un modèle. En gardant un humain dans la boucle, une IA peut bénéficier à la fois de l'intelligence artificielle et de l'intelligence humaine. Par exemple, un système dans lequel une IA génère du code que les ingénieurs logiciels examinent ensuite est un système humain dans la boucle.
I
apprentissage en contexte
Synonyme de requête few-shot.
réglage des instructions
Forme de réglage fin qui améliore la capacité d'un modèle d'IA générative à suivre des instructions. Le réglage des instructions consiste à entraîner un modèle sur une série d'invites d'instructions, qui couvrent généralement une grande variété de tâches. Le modèle optimisé par instruction qui en résulte tend ensuite à générer des réponses utiles aux invites sans entraînement pour diverses tâches.
Comparez et contrastez avec:
L
LLM
Abréviation de grand modèle de langage.
Évaluations des LLM (évaluations)
Ensemble de métriques et de benchmarks permettant d'évaluer les performances des grands modèles de langage (LLM). De manière générale, les évaluations des LLM:
- Aidez les chercheurs à identifier les domaines dans lesquels les LLM doivent être améliorés.
- Ils sont utiles pour comparer différents LLM et identifier le meilleur LLM pour une tâche donnée.
- Assurez-vous que les LLM sont sûrs et éthiques.
LoRA
Abréviation de adaptabilité de faible rang.
Adaptabilité à faible rang (LoRA)
Technique efficace en termes de paramètres pour l'ajustement fin qui "gèle" les poids pré-entraînés du modèle (de sorte qu'ils ne puissent plus être modifiés), puis insère un petit ensemble de poids enregistrables dans le modèle. Cet ensemble de poids enregistrables (également appelés "matrices de mise à jour") est considérablement plus petit que le modèle de base et est donc beaucoup plus rapide à entraîner.
LoRA offre les avantages suivants:
- Améliore la qualité des prédictions d'un modèle pour le domaine où le réglage fin est appliqué.
- Il effectue un ajustement plus rapide que les techniques qui nécessitent d'ajuster tous les paramètres d'un modèle.
- Réduit le coût de calcul de l'inférence en permettant la diffusion simultanée de plusieurs modèles spécialisés partageant le même modèle de base.
M
traduction automatique
Utilisation d'un logiciel (généralement un modèle de machine learning) pour convertir du texte d'une langue humaine à une autre, par exemple de l'anglais au japonais.
Précision moyenne à k (mAP@k)
Moyenne statistique de tous les scores de précision moyenne à k dans un ensemble de données de validation. L'une des utilisations de la précision moyenne à k est d'évaluer la qualité des recommandations générées par un système de recommandation.
Bien que l'expression "moyenne moyenne" semble redondante, le nom de la métrique est approprié. Après tout, cette métrique calcule la moyenne de plusieurs valeurs de précision moyenne à k.
mélange d'experts
Méthode permettant d'augmenter l'efficacité d'un réseau de neurones en n'utilisant qu'un sous-ensemble de ses paramètres (appelé expert) pour traiter un jeton ou un exemple d'entrée donné. Un réseau de filtrage achemine chaque jeton d'entrée ou exemple vers le ou les experts appropriés.
Pour en savoir plus, consultez l'un des articles suivants:
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
- Mélange d'experts avec routage par choix d'experts
MMIT
Abréviation de multimodal instruction-tuned (multimodal tuned instruction).
cascade de modèles
Système qui sélectionne le modèle idéal pour une requête d'inférence spécifique.
Imaginez un groupe de modèles, allant de très grands (avec de nombreux paramètres) à beaucoup plus petits (avec beaucoup moins de paramètres). Les modèles très volumineux consomment plus de ressources de calcul au moment de l'inférence que les modèles plus petits. Toutefois, les modèles très volumineux peuvent généralement inférer des requêtes plus complexes que les modèles plus petits. La cascade de modèles détermine la complexité de la requête d'inférence, puis sélectionne le modèle approprié pour effectuer l'inférence. La motivation principale de la cascade de modèles est de réduire les coûts d'inférence en sélectionnant généralement des modèles plus petits et en ne sélectionnant un modèle plus volumineux que pour les requêtes plus complexes.
Imaginons qu'un petit modèle s'exécute sur un téléphone et qu'une version plus grande de ce modèle s'exécute sur un serveur distant. Une bonne cascade de modèles réduit les coûts et la latence en permettant au modèle plus petit de gérer les requêtes simples et d'appeler uniquement le modèle distant pour gérer les requêtes complexes.
Voir aussi routeur modèle.
routeur modèle
Algorithme qui détermine le modèle idéal pour l'inférence dans la cascadage de modèles. Un routeur de modèle est généralement lui-même un modèle de machine learning qui apprend progressivement à choisir le meilleur modèle pour une entrée donnée. Cependant, un routeur de modèle peut parfois être un algorithme plus simple, sans machine learning.
ME
Abréviation de mélange d'experts.
MT
Abréviation de traduction automatique.
N
pas de réponse unique (NORA)
Invite avec plusieurs réponses appropriées. Par exemple, la requête suivante n'a pas de réponse unique:
Raconte-moi une blague sur les éléphants.
L'évaluation des invites sans bonne réponse peut s'avérer difficile.
NORA
Abréviation de pas de bonne réponse unique.
O
requêtes one-shot
Une invite contenant un exemple montrant comment le grand modèle de langage doit répondre. Par exemple, l'invite suivante contient un exemple montrant à un grand modèle de langage comment répondre à une requête.
| Composants d'une requête | Remarques |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | La question à laquelle vous souhaitez que le LLM réponde. |
| France: EUR | Voici un exemple. |
| Inde: | Requête réelle. |
Comparez la invite ponctuelle aux termes suivants:
P
réglage des paramètres avec optimisation
Ensemble de techniques permettant d'affiner un grand modèle de langage pré-entraîné (PLM) plus efficacement que l'affinage complet. L'optimisation des paramètres avec affinage s'effectue généralement sur beaucoup moins de paramètres que l'affinage complet, mais produit généralement un grand modèle de langage qui fonctionne aussi bien (ou presque) qu'un grand modèle de langage créé à partir d'un affinage complet.
Comparez et contrastez le réglage des paramètres avec optimisation avec:
Le réglage des paramètres avec optimisation est également appelé optimisation du réglage des paramètres.
PLM
Abréviation de modèle de langage pré-entraîné.
modèle post-entraîné
Terme vaguement défini qui désigne généralement un modèle pré-entraîné ayant subi un post-traitement, tel qu'un ou plusieurs des éléments suivants:
modèle pré-entraîné
Il s'agit généralement d'un modèle qui a déjà été entraîné. Le terme peut également désigner un vecteur d'embedding précédemment entraîné.
Le terme modèle de langage pré-entraîné désigne généralement un grand modèle de langage déjà entraîné.
pré-entraînement
Entraînement initial d'un modèle sur un grand ensemble de données. Certains modèles pré-entraînés sont des géants maladroits et doivent généralement être affinés par un entraînement supplémentaire. Par exemple, les experts en ML peuvent pré-entraîner un grand modèle de langage sur un vaste ensemble de données textuelles, comme toutes les pages en anglais de Wikipédia. Après le pré-entraînement, le modèle obtenu peut être affiné à l'aide de l'une des techniques suivantes:
- distillation
- ajustement
- réglage des instructions
- Réglage des paramètres avec optimisation
- prompt-tuning
Requête
Tout texte saisi en entrée d'un grand modèle de langage pour conditionner le modèle à se comporter d'une certaine manière. Les requêtes peuvent être aussi courtes qu'une phrase ou aussi longues que vous le souhaitez (par exemple, le texte complet d'un roman). Les requêtes se répartissent en plusieurs catégories, y compris celles indiquées dans le tableau suivant:
| Catégorie de requête | Exemple | Remarques |
|---|---|---|
| Question | À quelle vitesse un pigeon peut-il voler ? | |
| Instruction | Écris un poème amusant sur l'arbitrage. | Requête qui demande au grand modèle de langage de faire quelque chose. |
| Exemple | Traduire le code Markdown en HTML Exemple :
Markdown: * élément de liste HTML: <ul> <li>élément de liste</li> </ul> |
La première phrase de cet exemple d'invite est une instruction. Le reste de la requête est l'exemple. |
| Rôle | Expliquez pourquoi la descente de gradient est utilisée dans l'entraînement de machine learning à un doctorat en physique. | La première partie de la phrase est une instruction. La phrase "un doctorat en physique" correspond à la partie du rôle. |
| Entrée partielle que le modèle doit compléter | Le Premier ministre du Royaume-Uni réside à | Une invite d'entrée partielle peut se terminer brusquement (comme dans cet exemple) ou se terminer par un trait de soulignement. |
Un modèle d'IA générative peut répondre à une requête avec du texte, du code, des images, des représentations vectorielles continues, des vidéos… presque n'importe quoi.
apprentissage basé sur des requêtes
Capacité de certains modèles qui leur permet d'adapter leur comportement en réponse à une entrée de texte arbitraire (invites). Dans un paradigme d'apprentissage basé sur des requêtes, un grand modèle de langage répond à une requête en générant du texte. Par exemple, supposons qu'un utilisateur saisisse la requête suivante:
Résumez la troisième loi du mouvement de Newton.
Un modèle capable d'apprendre à partir d'invites n'est pas spécifiquement entraîné pour répondre à l'invite précédente. Le modèle "sait" plutôt beaucoup de choses sur la physique, les règles générales du langage et ce qui constitue des réponses généralement utiles. Ces connaissances sont suffisantes pour fournir une réponse (espérons-le) utile. Des commentaires humains supplémentaires ("Cette réponse était trop compliquée" ou "Qu'est-ce qu'une réaction ?") permettent à certains systèmes d'apprentissage basés sur des invites d'améliorer progressivement l'utilité de leurs réponses.
conception de requête
Synonyme de ingénierie des requêtes.
prompt engineering
Art de créer des requêtes qui génèrent les réponses souhaitées à partir d'un grand modèle de langage. Les humains effectuent une ingénierie rapide. Pour obtenir des réponses utiles à partir d'un grand modèle de langage, il est essentiel de rédiger des requêtes bien structurées. L'ingénierie des requêtes dépend de nombreux facteurs, parmi lesquels:
- Ensemble de données utilisé pour pré-entraîner et éventuellement affiner le grand modèle de langage.
- La température et les autres paramètres de décodage que le modèle utilise pour générer des réponses.
Pour en savoir plus sur la rédaction de requêtes utiles, consultez la section Présentation de la conception de requête.
La conception d'invites est synonyme d'ingénierie des requêtes.
réglage des requêtes
Mécanisme de réglage des paramètres avec optimisation qui apprend un "préfixe" que le système ajoute au message d'invite réel.
Une variante du réglage des requêtes (parfois appelée réglage du préfixe) consiste à ajouter le préfixe à chaque couche. En revanche, la plupart des réglages d'invite n'ajoutent qu'un préfixe à la couche d'entrée.
R
texte de référence
Réponse d'un expert à une invite. Par exemple, avec l'invite suivante:
Traduire la question "Quel est votre nom ?" de l'anglais vers le français.
Voici ce qu'un expert pourrait répondre:
Comment vous appelez-vous ?
Diverses métriques (telles que ROUGE) mesurent le degré de correspondance entre le texte de référence et le texte généré d'un modèle de ML.
Apprentissage automatique par renforcement qui utilise le feedback humain (RLHF)
Utilisation des commentaires de réviseurs humains pour améliorer la qualité des réponses d'un modèle Par exemple, un mécanisme RLHF peut demander aux utilisateurs d'évaluer la qualité de la réponse d'un modèle à l'aide d'un emoji 👍 ou 👎. Le système peut ensuite ajuster ses futures réponses en fonction de ces commentaires.
invite de rôle
Partie facultative d'une requête qui identifie une audience cible pour la réponse d'un modèle d'IA générative. Sans requête de rôle, un grand modèle de langage fournit une réponse qui peut ou non être utile à la personne qui pose les questions. Avec une requête de rôle, un grand modèle de langage peut répondre de manière plus appropriée et plus utile pour une audience cible spécifique. Par exemple, la partie de l'invite de rôle des requêtes suivantes est en gras:
- Résume cet article pour un doctorat en économie.
- Expliquez le fonctionnement des marées à un enfant de 10 ans.
- Expliquez la crise financière de 2008. Parlez comme vous le feriez avec un jeune enfant ou un retriever.
S
réglage des requêtes douces
Technique permettant d'ajuster un grand modèle de langage pour une tâche spécifique, sans ajustement précis particulièrement gourmand en ressources. Au lieu de réentraîner tous les poids du modèle, l'ajustement doux de la requête ajuste automatiquement une requête pour atteindre le même objectif.
Lorsqu'une requête textuelle est fournie, le réglage de la requête douce ajoute généralement des embeddings de jetons supplémentaires à la requête et utilise la rétropropagation pour optimiser l'entrée.
Une requête "dure" contient des jetons réels au lieu d'embeddings de jetons.
T
température
Hyperparamètre qui contrôle le degré de hasard de la sortie d'un modèle. Des températures plus élevées entraînent des sorties plus aléatoires, tandis que des températures plus basses entraînent des sorties moins aléatoires.
Le choix de la meilleure température dépend de l'application spécifique et des propriétés préférées de la sortie du modèle. Par exemple, vous augmenterez probablement la température lorsque vous créerez une application qui génère des résultats créatifs. À l'inverse, vous devriez probablement baisser la température lorsque vous créez un modèle qui classe des images ou du texte afin d'améliorer sa précision et sa cohérence.
La température est souvent utilisée avec la fonction softmax.
Z
requêtes zero-shot
Une requête qui ne fournit pas d'exemple de la façon dont vous souhaitez que le grand modèle de langage réponde. Exemple :
| Composants d'une requête | Remarques |
|---|---|
| Quelle est la devise officielle du pays spécifié ? | La question à laquelle vous souhaitez que le LLM réponde. |
| Inde: | Requête réelle. |
Le grand modèle de langage peut répondre par l'une des réponses suivantes:
- Roupie
- INR
- ₹
- Roupie indienne
- La roupie
- Roupie indienne
Toutes les réponses sont correctes, mais vous pouvez préférer un format particulier.
Comparez les invites sans entraînement aux termes suivants: