Diese Seite enthält Glossarbegriffe für Generative AI. Alle Glossarbegriffe finden Sie hier.
A
automatisch-regressives Modell
Ein model, das eine Vorhersage anhand seiner eigenen vorherigen Vorhersagen ableitet. Autoregressive Sprachmodelle sagen beispielsweise das nächste Token anhand der zuvor vorhergesagten Tokens voraus. Alle Large Language Models, die auf Transformer basieren, sind automatisch regressiv.
Im Gegensatz dazu sind GAN-basierte Bildmodelle normalerweise nicht automatisch regressiv, da sie ein Bild in einem einzigen Vorwärtsdurchlauf und nicht iterativ in Schritten generieren. Bestimmte Bildgenerierungsmodelle sind jedoch automatisch regressiv, da sie ein Bild schrittweise generieren.
C
Chain-of-Thought Prompting
Ein Prompt Engineering, das ein Large Language Model (LLM) dazu anregt, seine Gründe Schritt für Schritt zu erklären. Betrachten Sie zum Beispiel die folgende Aufforderung und achten Sie dabei besonders auf den zweiten Satz:
Wie viele Kräfte würde ein Fahrer in einem Auto erleben, das in 7 Sekunden von 0 auf 60 Meilen pro Stunde fährt? Zeigen Sie in der Antwort alle relevanten Berechnungen an.
Die Antwort des LLM würde wahrscheinlich:
- Zeigen Sie eine Folge physikalischer Formeln, wobei Sie die Werte 0, 60 und 7 an geeigneten Stellen einsetzen.
- Erklären Sie, warum diese Formeln ausgewählt wurden und was die verschiedenen Variablen bedeuten.
Eine Chain-of-Thought Prompting zwingt das LLM, alle Berechnungen durchzuführen, was zu einer genaueren Antwort führen könnte. Darüber hinaus können Nutzer mithilfe von Chain-of-Thought Prompts die Schritte des LLM prüfen, um festzustellen, ob die Antwort sinnvoll ist.
Chat
Der Inhalt eines Hin- und Her-Dialogs mit einem ML-System, in der Regel ein Large Language Model. Die vorherige Interaktion in einem Chat (Ihre Eingabe und die Antwort des Large Language Model) wird zum Kontext für die nachfolgenden Teile des Chats.
Ein Chatbot ist eine Anwendung eines Large Language Model.
kontextbezogene Spracheinbettung
Eine Einbettung, die dem „Verstehen“ von Wörtern und Wortgruppen so nahe kommt, wie es von Muttersprachlern möglich ist. Kontextisierte Spracheinbettungen können komplexe Syntax, Semantik und Kontext verstehen.
Betrachten Sie beispielsweise Einbettungen des englischen Wortes cow. Ältere Einbettungen wie word2vec können englische Wörter darstellen, sodass die Entfernung im Einbettungsbereich von kuh zu bull der Entfernung von ewe (weibliches Schaf) zu ram (männliches Schaf) oder von weiblich zu männlich entspricht. Kontextisierte Spracheinbettungen können noch einen Schritt weiter gehen, da englischsprachige Nutzer manchmal das Wort kuh für Kuh oder Stier verwenden.
Kontextfenster
Die Anzahl der Tokens, die ein Modell in einer bestimmten Eingabeaufforderung verarbeiten kann. Je größer das Kontextfenster, desto mehr Informationen kann das Modell verwenden, um kohärente und konsistente Antworten auf den Prompt zu liefern.
D
direkte Aufforderung
Synonym für Zero-Shot-Prompts.
Destillation
Prozess der Verkleinerung der Größe eines model (als model bezeichnet) in ein kleineres Modell (das sogenannte model), das die Vorhersagen des ursprünglichen Modells so realistisch wie möglich emuliert. Die Destillation ist nützlich, da das kleinere Modell gegenüber dem größeren Modell (der Lehrkraft) zwei wesentliche Vorteile hat:
- Schnellere Inferenzzeit
- Geringerer Speicher- und Energieverbrauch
Allerdings sind die Vorhersagen der Schüler oder Studenten in der Regel nicht so gut wie die der Lehrkraft.
Die Destillation trainiert das Schülermodell, um eine Verlustfunktion zu minimieren, die auf der Differenz zwischen den Ausgaben der Vorhersagen des Schüler- und des Lehrermodells basiert.
Die Destillation mit den folgenden Begriffen vergleichen und gegenüberstellen:
F
Prompts mit wenigen Aufnahmen
Eine Aufforderung, die mehr als ein (ein paar) Beispiel enthält, das zeigt, wie das Large Language Model reagieren sollte. Die folgende ausführliche Eingabeaufforderung enthält beispielsweise zwei Beispiele, die für ein Large Language Model zeigen, wie eine Abfrage beantwortet wird.
| Bestandteile eines Prompts | Hinweise |
|---|---|
| Was ist die offizielle Währung des angegebenen Landes? | Die Frage, die das LLM beantworten soll. |
| Frankreich: EUR | Ein Beispiel: |
| Vereinigtes Königreich: GBP | Ein weiteres Beispiel. |
| Indien: | Die eigentliche Abfrage. |
Wenige Prompts liefern in der Regel bessere Ergebnisse als Null-Shot-Prompts und One-Shot-Prompts. Solche Prompts erfordern jedoch länger.
Die Option „Wenige Prompts“ ist eine Form von wenigen Prompts für Prompt-basiertes Lernen.
Abstimmung
Ein zweiter, aufgabenspezifischer Trainingspass, der mit einem vortrainierten Modell ausgeführt wird, um seine Parameter für einen bestimmten Anwendungsfall zu optimieren. Für einige Large Language Models sieht der vollständige Trainingsablauf beispielsweise so aus:
- Vortraining: Trainieren Sie ein Large Language Model mit einem riesigen allgemeinen Dataset, z. B. allen englischsprachigen Wikipedia-Seiten.
- Feinabstimmung:Trainieren Sie das vortrainierte Modell für die Ausführung einer bestimmten Aufgabe, z. B. zum Antworten auf medizinische Anfragen. Die Feinabstimmung umfasst in der Regel Hunderte oder Tausende von Beispielen, die auf die jeweilige Aufgabe ausgerichtet sind.
Als weiteres Beispiel sieht die vollständige Trainingssequenz für ein Modell mit großen Bildern so aus:
- Vortraining:Trainieren Sie ein Modell mit großen Bildern anhand eines umfangreichen allgemeinen Bild-Datasets, z. B. mit allen Bildern in Wikimedia Commons.
- Feinabstimmung:Trainieren Sie das vortrainierte Modell für die Ausführung einer bestimmten Aufgabe, z. B. zum Generieren von Bildern von Orcas.
Die Optimierung kann eine beliebige Kombination der folgenden Strategien umfassen:
- Alle vorhandenen Parameter des vortrainierten Modells ändern. Dies wird auch als vollständige Feinabstimmung bezeichnet.
- Nur einige der vorhandenen Parameter des vortrainierten Modells ändern (in der Regel die Ebenen, die der Ausgabeschicht am nächsten sind) und andere vorhandene Parameter unverändert lassen (in der Regel die Ebenen, die der Eingabeebene am nächsten sind). Siehe parametersparende Abstimmung.
- Weitere Ebenen hinzufügen, in der Regel auf den vorhandenen Ebenen, die der Ausgabeschicht am nächsten sind
Abstimmung ist eine Form des Lerntransfers. Daher kann bei der Feinabstimmung eine andere Verlustfunktion oder ein anderer Modelltyp als der zum Trainieren des vortrainierten Modells verwendet werden. Sie könnten beispielsweise ein vortrainiertes großes Bildmodell optimieren, um ein Regressionsmodell zu erstellen, das die Anzahl der Vögel in einem Eingabebild zurückgibt.
Die Feinabstimmung mit den folgenden Begriffen vergleichen und gegenüberstellen:
G
Generative AI
Ein aufstrebendes transformatives Feld ohne formale Definition. Dennoch sind sich die meisten Experten einig, dass Generative-AI-Modelle folgende Inhalte erstellen („generieren“) können:
- Komplex
- kohärent
- ursprünglich
Ein generatives KI-Modell kann beispielsweise anspruchsvolle Aufsätze oder Bilder erstellen.
Einige ältere Technologien, einschließlich LSTMs und RNNs, können auch eigene und kohärente Inhalte generieren. Einige Experten betrachten diese früheren Technologien als Generative AI, während andere der Meinung sind, dass echte Generative AI komplexere Ausgaben erfordert, als diese früheren Technologien liefern können.
Kontrast mit Prognose-ML
I
kontextbezogenes Lernen
Synonym für wenige Shot-Prompts.
Anweisungsabstimmung
Eine Form der Feinabstimmung, mit der ein Generative AI-Modell besser den Anweisungen folgen kann. Bei der Befehlsabstimmung wird ein Modell anhand einer Reihe von Anweisungsaufforderungen trainiert, die in der Regel eine Vielzahl von Aufgaben abdecken. Das resultierende, auf Anweisungen abgestimmte Modell generiert dann tendenziell nützliche Antworten auf Zero-Shot-Prompts für eine Vielzahl von Aufgaben.
Vergleich mit:
L
LoRA
Abkürzung für Anpassungsfähigkeit bei niedrigem Rang
Anpassungsfähigkeit bei niedrigem Rang (LoRA)
Ein Algorithmus zum effizienten Abstimmen von Parametern, mit dem nur eine Teilmenge der Parameter eines Large Language Model verfeinert wird. LoRA bietet folgende Vorteile:
- Sie erfolgt schneller als Verfahren, bei denen alle Parameter eines Modells abgestimmt werden müssen.
- Reduziert die Rechenkosten für die Inferenz im abgestimmten Modell.
Bei einem mit LoRA abgestimmten Modell wird die Qualität der Vorhersagen beibehalten oder verbessert.
LoRA ermöglicht mehrere spezialisierte Versionen eines Modells.
M
Modellkaskaden
Ein System, das das ideale model für eine bestimmte Inferenzabfrage auswählt.
Stellen Sie sich eine Gruppe von Modellen vor, die von sehr groß (viele Parameter) bis viel kleiner (viel weniger Parameter) reichen. Sehr große Modelle verbrauchen bei der Inferenz mehr Rechenressourcen als kleinere Modelle. Allerdings können aus sehr großen Modellen in der Regel komplexere Anfragen abgeleitet werden als aus kleineren Modellen. Die Modellkaskadierung bestimmt die Komplexität der Inferenzabfrage und wählt dann das geeignete Modell zum Ausführen der Inferenz aus. Die Hauptmotivation für die Modellkaskadierung besteht in der Reduzierung der Inferenzkosten. Dazu werden in der Regel kleinere Modelle und nur ein größeres Modell für komplexere Abfragen ausgewählt.
Stellen Sie sich vor, ein kleines Modell wird auf einem Smartphone und eine größere Version dieses Modells auf einem Remoteserver ausgeführt. Eine gute Modellkaskadierung reduziert Kosten und Latenz, indem das kleinere Modell für die Verarbeitung einfacher Anfragen aktiviert und das Remote-Modell nur zur Verarbeitung komplexer Anfragen aufgerufen wird.
Siehe auch Modellrouter.
Modellrouter
Der Algorithmus, der das ideale model für die model bei der model bestimmt. Ein Modellrouter ist in der Regel ein Modell für maschinelles Lernen, das nach und nach lernt, das beste Modell für eine bestimmte Eingabe auszuwählen. Ein Modellrouter kann jedoch manchmal ein einfacherer Algorithmus ohne maschinelles Lernen sein.
O
One-Shot Prompting
Eine Aufforderung mit einem Beispiel, das zeigt, wie das Large Language Model reagieren sollte. Die folgende Eingabeaufforderung enthält beispielsweise ein Beispiel für ein Large Language Model, das zeigt, wie eine Abfrage beantwortet werden sollte.
| Bestandteile eines Prompts | Hinweise |
|---|---|
| Was ist die offizielle Währung des angegebenen Landes? | Die Frage, die das LLM beantworten soll. |
| Frankreich: EUR | Ein Beispiel: |
| Indien: | Die eigentliche Abfrage. |
Vergleichen Sie One-Shot Prompts mit den folgenden Begriffen und stellen Sie sie gegenüber:
P
Parameter-effiziente Abstimmung
Eine Reihe von Techniken zur Feinabstimmung eines großen vortrainierten Language Model (PLM) effizienter als eine vollständige Feinabstimmung. Bei der Parameteroptimierung werden in der Regel weitaus weniger Parameter als eine vollständige Feinabstimmung optimiert. Im Allgemeinen ist damit jedoch ein Large Language Model möglich, das genauso gut (oder fast genauso gut) wie ein Large Language Model funktioniert, das auf vollständiger Feinabstimmung basiert.
Parametersparende Abstimmung vergleichen und gegenüberstellen mit:
Die Parameter-optimierte Abstimmung wird auch als parametereffiziente Feinabstimmung bezeichnet.
PLM
Abkürzung für vortrainiertes Sprachmodell
vortrainiertes Modell
Modelle oder Modellkomponenten (z. B. ein Einbettungsvektor), die bereits trainiert wurden. Manchmal geben Sie vortrainierte Einbettungsvektoren in ein neuronales Netzwerk ein. In anderen Fällen trainiert Ihr Modell die Einbettungsvektoren selbst, anstatt sich auf die vortrainierten Einbettungen zu verlassen.
Der Begriff vortrainiertes Language Model bezieht sich auf ein Large Language Model, das Vortraining durchlaufen hat.
Vortraining
Erstes Training eines Modells mit einem großen Dataset. Einige vortrainierte Modelle sind ungeschickt und müssen in der Regel durch ein zusätzliches Training verfeinert werden. Beispielsweise können ML-Experten ein Large Language Model für ein umfangreiches Text-Dataset wie alle englischen Seiten in Wikipedia vorab trainieren. Nach dem Vorabtraining kann das resultierende Modell durch eine der folgenden Techniken weiter verfeinert werden:
- Destillation
- Feinabstimmung
- Anpassung von Anleitungen
- parametersparende Abstimmung
- Einstellung von Aufforderungen
Prompt
Text, der als Eingabe in ein Large Language Model eingegeben wird, um das Modell so zu konditionieren, dass es sich auf ein bestimmtes Verhalten verhält. Aufforderungen können kurz oder beliebig lang sein (z. B. der gesamte Text eines Romans). Aufforderungen lassen sich in mehrere Kategorien einteilen, darunter die in der folgenden Tabelle gezeigten:
| Aufforderungskategorie | Beispiel | Hinweise |
|---|---|---|
| Frage | Wie schnell kann eine Taube fliegen? | |
| Anleitung | Schreib ein lustiges Gedicht über Arbitrage. | Eine Aufforderung, die das Large Language Model zu Maßnahmen auffordert. |
| Beispiel | Übersetzen Sie Markdown-Code in HTML. Beispiel:
Markdown: * Listeneintrag HTML: <ul> <li>Listeneintrag</li> </ul> |
Der erste Satz in diesem Beispiel-Prompt ist eine Anweisung. Der Rest des Prompts ist das Beispiel. |
| Rolle | Erläutern Sie, warum das Gradientenverfahren beim Training von maschinellem Lernen zum Thema Physik verwendet wird. | Der erste Teil des Satzes ist eine Anweisung. Der Satz „an einen Doktortitel in Physik“ ist die Rolle. |
| Teileingabe für den Abschluss des Modells | Der Premierminister des Vereinigten Königreichs lebt in | Eine teilweise Eingabe-Prompt kann entweder abrupt enden (wie in diesem Beispiel) oder mit einem Unterstrich enden. |
Ein Generative-AI-Modell kann auf einen Prompt mit Text, Code, Bildern, Einbettungen, Videos usw. reagieren.
Prompt-basiertes Lernen
Eine Funktion bestimmter Modelle, die es ihnen ermöglichen, ihr Verhalten als Reaktion auf beliebige Texteingaben (Aufforderungen) anzupassen. Bei einem typischen Prompt-basierten Lernmodell reagiert ein Large Language Model auf eine Aufforderung mit dem Generieren von Text. Angenommen, ein Nutzer gibt die folgende Eingabeaufforderung ein:
Das dritte Newtonsche Gesetz zusammenfassen.
Ein Modell, das Prompt-basiertes Lernen ermöglicht, wird nicht speziell für die Beantwortung der vorherigen Aufforderung trainiert. Das Modell „weiß“ viel über Physik, viel über allgemeine Sprachregeln und darüber, was allgemein nützliche Antworten sind. Dieses Wissen reicht aus, um eine (hoffentlich) nützliche Antwort zu geben. Zusätzliches menschliches Feedback ("Diese Antwort war zu kompliziert." oder "Was ist eine Reaktion?") ermöglicht einigen Prompt-basierten Lernsystemen, den Nutzen ihrer Antworten nach und nach zu verbessern.
Prompt-Design
Synonym für Prompt Engineering.
Prompt Engineering
Die Kunst, Aufforderungen zu erstellen, die von einem Large Language Model die gewünschten Antworten erhalten. Menschen führen Prompt- Engineering durch. Das Schreiben gut strukturierter Prompts ist ein wesentlicher Bestandteil der Gewährleistung nützlicher Antworten von einem Large Language Model. Prompt Engineering hängt von vielen Faktoren ab, darunter:
- Mit dem Dataset wird das Large Language Model vortrainiert und möglicherweise optimiert.
- Die temperature und andere Decodierungsparameter, die das Modell zum Generieren von Antworten verwendet.
Weitere Informationen zum Schreiben hilfreicher Prompts finden Sie unter Einführung in den Prompt-Entwurf.
Prompt-Entwurf ist ein Synonym für Prompt Engineering.
Aufforderungsabstimmung
Ein Mechanismus zur effizienten Abstimmung von Parametern, der ein „Präfix“ erlernt, das das System der eigentlichen Eingabeaufforderung vorangestellt hat.
Eine Variante der Feinabstimmung von Aufforderungen – auch Präfixabstimmung genannt – besteht darin, das Präfix jeder Schicht voranzustellen. Im Gegensatz dazu wird bei der Feinabstimmung von Aufforderungen bei der meisten Einstellung nur der Eingabeebene ein Präfix hinzugefügt.
R
Bestärkendes Lernen durch menschliches Feedback (RLHF)
Das Feedback von Prüfern nutzen, um die Qualität der Antworten eines Modells zu verbessern. Beispielsweise kann ein RLHF-Mechanismus Nutzer bitten, die Qualität der Antwort eines Modells mit einem 👍 oder 👎-Emoji zu bewerten. Anhand dieses Feedbacks kann das System dann seine zukünftigen Antworten anpassen.
Rollenaufforderung
Ein optionaler Teil eines Prompts, der eine Zielgruppe für die Antwort eines Generative AI-Modells angibt. Ohne Rollenaufforderung liefert ein Large Language Model eine Antwort, die für die Person, die die Fragen stellt, nützlich oder nicht nützlich sein kann. Mit einer Rollenaufforderung kann ein Large Language Model die Antwort auf eine Weise beantworten, die für eine bestimmte Zielgruppe geeigneter und hilfreicher ist. Beispielsweise ist der Teil der folgenden Aufforderungen fett formatiert:
- Fasse diesen Artikel für einen Doktortitel in Wirtschaftswissenschaften zusammen.
- Beschreibe, wie die Gezeiten für ein zehnjähriges Kind funktionieren.
- Die Finanzkrise von 2008 erklären Sprechen Sie mit einem Kind oder einem Golden Retriever.
S
Vorläufige Einstellung von Prompts
Verfahren zur Abstimmung eines Large Language Model für eine bestimmte Aufgabe ohne ressourcenintensive Feinabstimmung. Anstatt alle Gewichtungen im Modell neu zu trainieren, wird bei der Feinabstimmung von weichen Prompts automatisch eine Aufforderung so angepasst, dass dasselbe Ziel erreicht wird.
Bei einer Aufforderung in Textform werden bei der Feinabstimmung von Aufforderungen in der Regel zusätzliche Tokeneinbettungen an die Aufforderung angehängt und die Eingabe wird durch Backpropagierung optimiert.
Eine „harte“ Eingabeaufforderung enthält tatsächliche Tokens anstelle von Tokeneinbettungen.
T
Temperatur
Ein Hyperparameter, der den Grad der Zufälligkeit einer Modellausgabe steuert. Bei höheren Temperaturen ist die Ausgabe zufälliger, bei niedrigeren Temperaturen ist die Ausgabe weniger zufällig.
Die Auswahl der besten Temperatur hängt von der spezifischen Anwendung und den bevorzugten Attributen der Modellausgabe ab. Beispielsweise würden Sie die Temperatur wahrscheinlich erhöhen, wenn Sie eine Anwendung erstellen, mit der Creatives generiert werden. Umgekehrt würden Sie wahrscheinlich die Temperatur senken, wenn Sie ein Modell erstellen, das Bilder oder Text klassifiziert, um die Genauigkeit und Konsistenz des Modells zu verbessern.
Die Temperatur wird häufig mit Softmax verwendet.
Z
Zero-Shot-Prompts
Eine Aufforderung, die kein Beispiel dafür bietet, wie das Large Language Model reagieren soll. Beispiel:
| Bestandteile eines Prompts | Hinweise |
|---|---|
| Was ist die offizielle Währung des angegebenen Landes? | Die Frage, die das LLM beantworten soll. |
| Indien: | Die eigentliche Abfrage. |
Das Large Language Model kann mit Folgendem antworten:
- Rupie
- INR
- ₹
- Indische Rupie
- Die Rupie
- Indische Rupie
Alle Antworten sind richtig, auch wenn Sie vielleicht ein bestimmtes Format bevorzugen.
Vergleichen Sie Zero-Shot-Prompts mit den folgenden Begriffen und stellen Sie sie gegenüber: