Diese Seite enthält Glossarbegriffe für generative KI. Alle Glossarbegriffe finden Sie hier.
A
automatisch regressives Modell
Ein model, das eine Vorhersage anhand seiner eigenen vorherigen Vorhersagen ableitet. Zum Beispiel sagen automatisch regressive Sprachmodelle das nächste Token anhand der zuvor vorhergesagten Tokens voraus. Alle auf Transformer basierenden Large-Language-Modelle sind automatisch regressiv.
Im Gegensatz dazu sind GAN-basierte Bildmodelle in der Regel nicht automatisch regressiv, da sie ein Bild in einem einzelnen Vorlauf und nicht iterativ in Schritten generieren. Bestimmte Bildgenerierungsmodelle sind jedoch automatisch regressiv, da sie ein Bild schrittweise generieren.
C
Denkprozess-Aufforderung
Ein Prompt-Engineering-Verfahren, das ein Large-Language-Modell (LLM) dazu anregt, seine Gründe Schritt für Schritt zu erläutern. Betrachten Sie zum Beispiel die folgende Aufforderung und achten Sie dabei besonders auf den zweiten Satz:
Wie viele g-Kräfte würde ein Fahrer in einem Auto haben, das in 7 Sekunden von 0 auf 60 Meilen pro Stunde fährt? Zeigen Sie in der Antwort alle relevanten Berechnungen an.
Die Antwort des LLM würde wahrscheinlich:
- Zeigen Sie eine Abfolge von physikalischen Formeln und geben Sie die Werte 0, 60 und 7 an geeigneten Stellen ein.
- Erklären Sie, warum diese Formeln ausgewählt wurden und was die verschiedenen Variablen bedeuten.
Eine Denkkette zwingt das LLM, alle Berechnungen durchzuführen, was zu einer genaueren Antwort führen könnte. Darüber hinaus ermöglicht es dem Nutzer, die LLM-Schritte zu prüfen, um festzustellen, ob die Antwort sinnvoll ist.
D
direkte Aufforderung
Synonym für Zero-Shot-Prompting.
Destillation
Prozess der Reduzierung der Größe eines model (model) in ein kleineres Modell (model), das die Vorhersagen des ursprünglichen Modells so realistisch wie möglich emuliert. Die Destillation ist nützlich, da das kleinere Modell gegenüber dem größeren Modell (dem Lehrer) zwei wesentliche Vorteile hat:
- Schnellere Inferenzzeit
- Geringerer Speicher- und Energieverbrauch
Allerdings sind die Vorhersagen der Schüler in der Regel nicht so gut wie die der Lehrkraft.
Die Distillation trainiert das Studentenmodell, um eine Verlustfunktion auf der Grundlage des Unterschieds zwischen den Ausgaben der Vorhersagen des Schüler- und Lehrermodells zu minimieren.
Vergleichen Sie die Destillation mit den folgenden Begriffen und stellen Sie sie gegenüber:
F
Aufforderung mit wenigen Aufnahmen
Eine Eingabeaufforderung, die mehr als ein (einiges) Beispiel enthält, das zeigt, wie das Large-Language-Modell reagieren sollte Die folgende lange Eingabeaufforderung enthält beispielsweise zwei Beispiele für die Beantwortung einer Abfrage in einem Large-Language-Modell.
| Bestandteile eines Prompts | Notes |
|---|---|
| Was ist die offizielle Währung des angegebenen Landes? | Die Frage, die das LLM beantworten soll. |
| Frankreich: EUR | Ein Beispiel: |
| Vereinigtes Königreich: GBP | Ein weiteres Beispiel. |
| Indien: | Die eigentliche Abfrage. |
Wenige Aufnahmen erzielen in der Regel bessere Ergebnisse als die Null-Shot-Prompts und One-Shot-Prompts. Bei Aufforderungen mit wenigen Aufnahmen ist jedoch eine längere Eingabeaufforderung erforderlich.
Wenige Aufforderungen sind eine Form von schnellem Lernen, die für das eingabeaufforderungsbasierte Lernen verwendet wird.
Feinabstimmung
Ein zweiter, aufgabenspezifischer Trainingsdurchlauf, der mit einem vortrainierten Modell ausgeführt wurde, um dessen Parameter für einen bestimmten Anwendungsfall zu optimieren. Für einige Large-Language-Modelle sieht beispielsweise die vollständige Trainingssequenz so aus:
- Vor dem Training: Trainieren Sie ein Large-Language-Modell mit einem riesigen allgemeinen Dataset, z. B. mit allen englischsprachigen Wikipedia-Seiten.
- Feinabstimmung:Trainieren Sie das vortrainierte Modell für die Ausführung einer bestimmten Aufgabe, z. B. zum Antworten auf medizinische Anfragen. Die Feinabstimmung umfasst in der Regel Hunderte oder Tausende von Beispielen, die sich auf die jeweilige Aufgabe beziehen.
Ein weiteres Beispiel: Die vollständige Trainingssequenz für ein Modell mit großen Bildern sieht so aus:
- Vor dem Training: Trainieren Sie ein Modell für ein großes Bild mit einem riesigen allgemeinen Bild-Dataset, z. B. mit allen Bildern in Wikimedia Commons.
- Feinabstimmung:Trainieren Sie das vortrainierte Modell für eine bestimmte Aufgabe, z. B. das Generieren von Bildern von Orcas.
Die Feinabstimmung kann eine beliebige Kombination der folgenden Strategien beinhalten:
- Alle vorhandenen Parameter des vortrainierten Modells ändern Dies wird auch als vollständige Feinabstimmung bezeichnet.
- Es werden nur einige der vorhandenen Parameter des vortrainierten Modells geändert (in der Regel die Ebenen, die der Ausgabeebene am nächsten sind). Andere vorhandene Parameter bleiben unverändert (in der Regel die Ebenen, die der Eingabeebene am nächsten sind). Siehe Parametersparende Abstimmung.
- Weitere Ebenen hinzufügen, in der Regel auf den vorhandenen Ebenen, die der Ausgabeebene am nächsten sind
Feinabstimmung ist eine Form des Lerntransfers. Daher kann für die Feinabstimmung eine andere Verlustfunktion oder ein anderer Modelltyp verwendet werden als die zum Trainieren des vortrainierten Modells. Sie könnten beispielsweise ein vortrainiertes großes Bildmodell optimieren und ein Regressionsmodell erstellen, das die Anzahl der Vögel in einem Eingabebild zurückgibt.
Vergleichen Sie die Feinabstimmung mit den folgenden Begriffen und stellen Sie sie gegenüber:
G
Generative KI
Ein aufstrebendes transformatives Feld ohne formale Definition. Dennoch sind sich die meisten Experten einig, dass generative KI-Modelle folgende Inhalte erstellen („generieren“) können:
- komplex
- kohärent
- ursprünglich
Ein generatives KI-Modell kann beispielsweise anspruchsvolle Aufsätze oder Bilder erstellen.
Einige ältere Technologien, darunter LSTMs und RNNs, können ebenfalls eigene und kohärente Inhalte generieren. Einige Experten betrachten diese älteren Technologien als generative KI, während andere der Meinung sind, dass echte generative KI komplexere Ergebnisse erfordert, als diese früheren Technologien erzeugen können.
Im Gegensatz dazu bietet ML vorausschauendes ML einen Kontrast.
I
kontextbezogenes Lernen
Synonym für Wenige-Aufnahme.
Feinabstimmung von Anweisungen
Eine Form der Feinabstimmung, mit der die Fähigkeit eines generativen KI-Modells verbessert wird, Anweisungen zu folgen. Bei der Befehlsabstimmung wird ein Modell anhand einer Reihe von Anweisungsaufforderungen trainiert, die in der Regel eine Vielzahl von Aufgaben abdecken. Das resultierende, auf Anweisungen abgestimmte Modell generiert dann für eine Vielzahl von Aufgaben nützliche Antworten auf Zero-Shot-Prompts.
Vergleichen mit:
O
One-Shot-Prompt
Eine Eingabeaufforderung mit einem Beispiel, das zeigt, wie das große Sprachmodell reagieren soll. Die folgende Eingabeaufforderung enthält ein Beispiel für die Antwort auf eine Abfrage in einem Large-Language-Modell.
| Bestandteile eines Prompts | Notes |
|---|---|
| Was ist die offizielle Währung des angegebenen Landes? | Die Frage, die das LLM beantworten soll. |
| Frankreich: EUR | Ein Beispiel: |
| Indien: | Die eigentliche Abfrage. |
Vergleichen Sie die Aufforderung in einer einzigen Aufnahme mit den folgenden Begriffen und stellen Sie sie gegenüber:
P
Parametersparende Abstimmung
Eine Reihe von Techniken zur effizienteren Feinabstimmung eines großen vortrainierten Sprachmodells als eine vollständige Feinabstimmung. Bei einer parametereffizienten Feinabstimmung werden in der Regel weitaus weniger Parameter als eine vollständige Feinabstimmung optimiert. Dennoch wird in der Regel ein großes Sprachmodell erstellt, das genauso gut (oder fast genauso gut) wie ein großformatiges Sprachmodell, das auf einer vollständigen Feinabstimmung erstellt wurde, funktioniert.
Parametersparende Abstimmung vergleichen und gegenüberstellen mit:
Die Parameter-effiziente Abstimmung wird auch als parametersparende Feinabstimmung bezeichnet.
PLM
Abkürzung für vortrainiertes Sprachmodell.
Vortrainiertes Modell
Modelle oder Modellkomponenten (z. B. ein Einbettungsvektor), die bereits trainiert wurden. Manchmal speisen Sie vortrainierte Einbettungsvektoren in ein neuronales Netzwerk ein. In anderen Fällen trainiert Ihr Modell die Einbettungsvektoren selbst, anstatt sich auf die vortrainierten Einbettungen zu verlassen.
Der Begriff vortrainiertes Sprachmodell bezieht sich auf ein großes Sprachmodell, für das ein Vortraining durchgeführt wurde.
Vortraining
Das erste Training eines Modells mit einem großen Dataset. Einige vortrainierte Modelle sind ungeschickt und müssen in der Regel durch zusätzliche Schulungen verfeinert werden. Beispielsweise können ML-Experten ein Large-Language-Modell für ein umfangreiches Text-Dataset wie alle englischen Seiten in Wikipedia vorab trainieren. Nach dem Training kann das resultierende Modell durch eine der folgenden Techniken weiter verfeinert werden:
- Destillation
- Feinabstimmung
- Anpassung von Anleitungen
- parametersparende Abstimmung
- Einstellung der Aufforderung
Prompt
Beliebiger Text, der als Eingabe in ein Large-Language-Modell eingegeben wird, um das Modell für ein bestimmtes Verhalten zu konditionieren. Aufforderungen können so kurz wie eine Wortgruppe oder beliebig lang sein (z. B. der gesamte Text eines Romans). Aufforderungen können in mehrere Kategorien eingeteilt werden, einschließlich der in der folgenden Tabelle gezeigten:
| Aufforderungskategorie | Beispiel | Notes |
|---|---|---|
| Frage | Wie schnell kann eine Taube fliegen? | |
| Anleitung | Schreib ein lustiges Gedicht über Arbitrage. | Eine Eingabeaufforderung, die das Large Language Model zum Ausführen von Aktionen auffordert. |
| Beispiel | Markieren Sie den Markdown-Code in HTML. Beispiel:
Markdown: * Listeneintrag HTML: <ul> <li>Listeneintrag</li> </ul> |
Der erste Satz in dieser Beispiel-Prompt ist eine Anweisung. Der Rest der Aufforderung ist das Beispiel. |
| Rolle | Erklären, warum das Gradientenverfahren beim Training von maschinellem Lernen verwendet wird, bevor es zum Doktor in Physik promoviert. | Der erste Teil des Satzes ist eine Anweisung; die Formulierung „bis zu einem Doktortitel in Physik“ ist die Rolle. |
| Teileingabe zum Abschließen des Modells | Der Premierminister des Vereinigten Königreichs lebt hier: | Eine teilweise Eingabeaufforderung kann entweder abrupt enden (wie in diesem Beispiel) oder mit einem Unterstrich enden. |
Ein generatives KI-Modell kann auf eine Prompt mit Text, Code, Bildern, Einbettungen, Videos... so ziemlich alles reagieren.
Aufforderungenbasiertes Lernen
Eine Fähigkeit bestimmter Modelle, die es ihnen ermöglichen, ihr Verhalten als Reaktion auf beliebige Texteingaben (Aufforderungen) anzupassen. Bei einem typischen Prompt-basierten Lernparadigma reagiert ein großes Sprachmodell auf eine Aufforderung mit Generierung von Text. Angenommen, ein Nutzer gibt die folgende Eingabeaufforderung ein:
das dritte newtonsche Gesetz der Bewegung zusammenfassen.
Ein Modell, das auf Aufforderungen basiert, wurde nicht speziell für die Beantwortung der vorherigen Aufgabe trainiert. Vielmehr „weiß“ das Modell viele Fakten über Physik, viel über allgemeine Sprachregeln und darüber, was allgemein nützliche Antworten darstellt. Dieses Wissen reicht aus, um eine (hoffentlich) nützliche Antwort zu geben. Durch zusätzliches menschliches Feedback („Diese Antwort war zu kompliziert“ oder „Was ist eine Reaktion?“) können einige auf Aufforderungen basierende Lernsysteme die Nützlichkeit der Antworten nach und nach verbessern.
Aufforderungsdesign
Synonym für prompt Engineering.
Instant Engineering
Die Kunst, Aufforderungen zu erstellen, die von einem Large-Language-Modell die gewünschten Antworten erhalten. Menschen führen ein schnelles Engineering durch. Das Schreiben gut strukturierter Aufforderungen ist ein wesentlicher Bestandteil, um nützliche Antworten von einem Large-Language-Modell sicherzustellen. Die Bearbeitungszeit hängt von vielen Faktoren ab, darunter:
- Das Dataset, mit dem das Large Language Model vortrainiert und möglicherweise optimiert wird.
- Die temperature und andere Decodierungsparameter, die das Modell zum Generieren von Antworten verwendet.
Weitere Informationen zum Schreiben hilfreicher Aufforderungen finden Sie unter Einführung in das Design von Aufforderungen.
Prompt Design ist ein Synonym für Prompt Engineering.
Einstellung von Aufforderungen
Einen Parameter effizienten Abstimmungsmechanismus, der ein „Präfix“ lernt, das das System der eigentlichen Eingabeaufforderung voranstellt.
Eine Variante der Einstellung von Eingabeaufforderungen – auch Präfixabstimmung genannt – besteht darin, das Präfix auf jeder Ebene voranzustellen. Im Gegensatz dazu wird bei der meisten Einstellung von Aufforderungen nur der Eingabeebene ein Präfix hinzugefügt.
R
Reinforcement Learning from Human Feedback (RLHF)
Feedback von Prüfern nutzen, um die Qualität der Antworten eines Modells zu verbessern. Beispielsweise kann ein RLHF-Mechanismus Nutzende bitten, die Qualität der Antwort eines Modells mit einem Emoji 👍 oder 👎 zu bewerten. Das System kann dann seine zukünftigen Antworten auf Grundlage dieses Feedbacks anpassen.
Rollenaufforderung
Ein optionaler Teil einer Eingabeaufforderung, der eine Zielgruppe für die Antwort eines generativen KI-Modells angibt. Ohne Rollenaufforderung liefert ein Large Language Model eine Antwort, die für die Person, die die Fragen stellt, nützlich oder nicht nützlich sein kann. Mit einer Rollenaufforderung kann ein Large Language Model auf eine Weise antworten, die für eine bestimmte Zielgruppe geeigneter und hilfreicher ist. Beispielsweise ist der Teil der Rollenaufforderung in den folgenden Eingabeaufforderung fettgedruckt:
- Fassen Sie diesen Artikel für einen Doktortitel in Wirtschaftswissenschaften zusammen.
- Beschreibe, wie die Gezeiten für ein Zehnjähriges funktionieren.
- Die Finanzkrise von 2008 erklären Sprechen Sie mit einem Kind oder einem Golden Retriever.
T
Temperatur
Ein Hyperparameter, der den Grad der Zufälligkeit der Modellausgabe steuert. Höhere Temperaturen führen zu einer zufälligen Ausgabe, während niedrigere Temperaturen zu einer weniger zufälligen Ausgabe führen.
Die Auswahl der besten Temperatur hängt von der spezifischen Anwendung und den gewünschten Attributen der Modellausgabe ab. Beispielsweise würden Sie die Temperatur wahrscheinlich erhöhen, wenn Sie eine Anwendung erstellen, die eine Creative-Ausgabe generiert. Umgekehrt würden Sie wahrscheinlich die Temperatur senken, wenn Sie ein Modell erstellen, das Bilder oder Text klassifiziert, um die Genauigkeit und Konsistenz des Modells zu verbessern.
Die Temperatur wird häufig mit softmax verwendet.
Z
Zero-Shot-Prompt
Eine Eingabeaufforderung, die kein Beispiel dafür bietet, wie das Large-Language-Modell reagieren soll. Beispiel:
| Bestandteile eines Prompts | Notes |
|---|---|
| Was ist die offizielle Währung des angegebenen Landes? | Die Frage, die das LLM beantworten soll. |
| Indien: | Die eigentliche Abfrage. |
Das Large-Language-Modell kann mit Folgendem antworten:
- Rupie
- INR
- ₹
- Indische Rupie
- Die Rupie
- Indische Rupie
Alle Antworten sind richtig, auch wenn Sie vielleicht ein bestimmtes Format bevorzugen.
Vergleichen Sie die Aufforderung mit Null-Aufnahme den folgenden Begriffen und stellen Sie sie gegenüber: