Glossar zum maschinellen Lernen: Sprachbewertung

Diese Seite enthält Glossarbegriffe für die Sprachauswertung. Alle Glossarbegriffe finden Sie hier.

A

aufmerksamkeit

#language

Mechanismus, der in einem neuronalen Netzwerk verwendet wird und die Bedeutung eines bestimmten Wortes oder Wortteils angibt. Die Aufmerksamkeit komprimiert die Menge an Informationen, die ein Modell benötigt, um das nächste Token/Wort vorherzusagen. Ein typischer Aufmerksamkeitsmechanismus kann aus einer gewichteten Summe über eine Reihe von Eingaben bestehen, wobei die Gewichtung für jede Eingabe von einem anderen Teil des neuronalen Netzwerks berechnet wird.

Weitere Informationen finden Sie unter Selbstaufmerksamkeit und Selbstaufmerksamkeit mit mehreren Köpfen, die die Bausteine von Transformern sind.

Autoencoder

#language
#image

Ein System, das lernt, die wichtigsten Informationen aus der Eingabe zu extrahieren. Autoencoder sind eine Kombination aus einem Encoder und einem Decoder. Autoencoder nutzen den folgenden zweistufigen Prozess:

  1. Der Encoder ordnet die Eingabe einem (in der Regel) verlustbehafteten Format mit niedrigerer Dimension (Zwischenformat) zu.
  2. Der Decoder erstellt eine verlustbehaftete Version der ursprünglichen Eingabe, indem er das niedrigdimensionale Format dem ursprünglichen höherdimensionalen Eingabeformat zuordnet.

Autoencoder werden durchgängig trainiert. Dabei versucht der Decodierer, die ursprüngliche Eingabe möglichst genau aus dem Zwischenformat des Encoders zu rekonstruieren. Da das Zwischenformat kleiner (niedrigerdimensional) als das Originalformat ist, muss der Autoencoder lernen, welche Informationen in der Eingabe wichtig sind, und die Ausgabe ist nicht genau identisch mit der Eingabe.

Beispiel:

  • Wenn die Eingabedaten eine Grafik sind, würde die nicht exakte Kopie der Originalgrafik ähneln, aber etwas abgeändert sein. Möglicherweise entfernt die ungenaue Kopie das Rauschen aus der Originalgrafik oder füllt einige fehlende Pixel auf.
  • Wenn die Eingabedaten Text sind, generiert ein Autoencoder neuen Text, der den ursprünglichen Text imitiert, aber nicht damit identisch ist.

Weitere Informationen finden Sie unter Verschiedene Autoencoder.

automatisch regressives Modell

#language
#image
#generativeKI

Ein model, das eine Vorhersage anhand seiner eigenen vorherigen Vorhersagen ableitet. Zum Beispiel sagen automatisch regressive Sprachmodelle das nächste Token anhand der zuvor vorhergesagten Tokens voraus. Alle auf Transformer basierenden Large-Language-Modelle sind automatisch regressiv.

Im Gegensatz dazu sind GAN-basierte Bildmodelle in der Regel nicht automatisch regressiv, da sie ein Bild in einem einzelnen Vorlauf und nicht iterativ in Schritten generieren. Bestimmte Bildgenerierungsmodelle sind jedoch automatisch regressiv, da sie ein Bild schrittweise generieren.

B

Texttasche

#language

Darstellung der Wörter in einer Wortgruppe oder einem Abschnitt, unabhängig von der Reihenfolge. Beispielsweise steht eine „Bag of Words“ für die folgenden drei Wortgruppen identisch:

  • der Hund springt
  • springt der Hund
  • der Hund springt

Jedes Wort wird einem Index in einem dünnbesetzten Vektor zugeordnet, wobei der Vektor für jedes Wort im Vokabular einen Index aufweist. So wird beispielsweise die Wortgruppe der Hund springt einem Featurevektor mit Werten ungleich Null an den drei Indexen zugeordnet, die den Wörtern der, Hund und springt entsprechen. Bei einem Wert ungleich null kann es sich um einen der folgenden Werte handeln:

  • Eine 1, die auf das Vorhandensein eines Wortes hindeutet.
  • Gibt an, wie oft ein Wort in der Tüte vorkommt. Wenn die Wortgruppe z. B. der kastanienbraune Hund ist ein Hund mit kastanienbraunem Fell lautet, werden sowohl kastanienbraun als auch Hund als 2 und die anderen Wörter als 1 dargestellt.
  • Ein anderer Wert, z. B. der Logarithmus, wie oft ein Wort im Beutel vorkommt.

BERT (Bidirectional Encoder Representations from Transformers)

#language

Eine Modellarchitektur für die Textdarstellung. Ein trainiertes BERT-Modell kann als Teil eines größeren Modells für Textklassifizierungs- oder andere ML-Aufgaben verwendet werden.

BERT hat folgende Eigenschaften:

Zu den Varianten von BERT gehören:

Einen Überblick über BERT finden Sie unter BERT als Open Sourcing: Hochmodernes Pre-Training für Natural Language Processing.

bidirektional

#language

Begriff, der ein System beschreibt, das Text auswertet, der einem Zieltext vorgeht und nach diesem Textabschnitt folgt. Im Gegensatz dazu wertet ein unidirektionales System nur den Text aus, der einem Textabschnitt vor ist.

Nehmen wir als Beispiel ein maskiertes Sprachmodell, das Wahrscheinlichkeiten für die Wörter bestimmen muss, die die Unterstreichung in der folgenden Frage darstellen:

Was ist _____ mit Ihnen?

Ein unidirektionales Sprachmodell müsste seine Wahrscheinlichkeiten nur auf dem Kontext basieren, der von den Wörtern „Was“, „ist“ und „der“ bereitgestellt wird. Im Gegensatz dazu könnte ein bidirektionales Sprachmodell auch Kontext von „with“ und „you“ erhalten. Dies kann dem Modell helfen, bessere Vorhersagen zu generieren.

bidirektionales Sprachmodell

#language

Ein Sprachmodell, das basierend auf dem vorherigen und folgenden Text die Wahrscheinlichkeit bestimmt, dass ein bestimmtes Token an einer bestimmten Stelle in einem Textauszug vorhanden ist.

Bigram

#seq
#language

Ein N-Gramm, in dem N=2 ist.

BLEU (Bilingual Evaluation Understudy)

#language

Ein Wert zwischen 0, 0 und 1, 0 (einschließlich), der die Qualität einer Übersetzung zwischen zwei menschlichen Sprachen angibt (z.B.zwischen Englisch und Russisch). Ein BLEU-Wert von 1,0 weist auf eine perfekte Übersetzung hin, ein BLEU-Wert von 0,0 auf eine schlechte Übersetzung.

C

Kausales Sprachmodell

#language

Synonym für unidirektionales Sprachmodell.

Unter Bidirektionales Sprachmodell finden Sie Informationen zum Kontrast verschiedener direkter Methoden bei der Sprachmodellierung.

Denkprozess-Aufforderung

#language
#generativeKI

Ein Prompt-Engineering-Verfahren, das ein Large-Language-Modell (LLM) dazu anregt, seine Gründe Schritt für Schritt zu erläutern. Betrachten Sie zum Beispiel die folgende Aufforderung und achten Sie dabei besonders auf den zweiten Satz:

Wie viele g-Kräfte würde ein Fahrer in einem Auto haben, das in 7 Sekunden von 0 auf 60 Meilen pro Stunde fährt? Zeigen Sie in der Antwort alle relevanten Berechnungen an.

Die Antwort des LLM würde wahrscheinlich:

  • Zeigen Sie eine Abfolge von physikalischen Formeln und geben Sie die Werte 0, 60 und 7 an geeigneten Stellen ein.
  • Erklären Sie, warum diese Formeln ausgewählt wurden und was die verschiedenen Variablen bedeuten.

Eine Denkkette zwingt das LLM, alle Berechnungen durchzuführen, was zu einer genaueren Antwort führen könnte. Darüber hinaus ermöglicht es dem Nutzer, die LLM-Schritte zu prüfen, um festzustellen, ob die Antwort sinnvoll ist.

Wahlkreis-Parsing

#language

Das Unterteilen eines Satzes in kleinere grammatische Strukturen („Konstituenten“). Ein späterer Teil des ML-Systems, z. B. ein Natural Language Understanding-Modell, kann die Bestandteile leichter parsen als der Originalsatz. Betrachten Sie zum Beispiel den folgenden Satz:

Meine Freundin hat zwei Katzen adoptiert.

Ein Wahlkreis-Parser kann diesen Satz in die folgenden beiden Bestandteile aufteilen:

  • Mein Freund ist eine Nominalphrase.
  • zwei Katzen adoptieren ist eine Verbphrase.

Diese Komponenten lassen sich weiter in kleinere Gruppen unterteilen. Das Verb

zwei Katzen adoptiert

könnte weiter unterteilt werden in:

  • adopted ist ein Verb.
  • zwei Katzen ist eine weitere Nominalphrase.

Crash Blossom

#language

Ein Satz oder eine Wortgruppe mit einer mehrdeutigen Bedeutung. Crash-Blüten sind ein erhebliches Problem beim Verstehen natürlicher Sprache. Die Überschrift Red Tape Holds Up Skyscraper ist beispielsweise eine Crash Blossom, da ein NLU-Modell die Überschrift wortgetreu oder bildlich interpretieren könnte.

D

Decoder

#language

Im Allgemeinen gilt jedes ML-System, das von einer verarbeiteten, dichten oder internen Darstellung in eine rohe, dünnbesetzte oder externe Darstellung konvertiert.

Decoder sind häufig Bestandteil eines größeren Modells, das häufig mit einem Encoder gekoppelt wird.

Bei Sequenz-zu-Sequenz-Aufgaben startet ein Decoder mit dem internen Status, der vom Encoder generiert wurde, um die nächste Sequenz vorherzusagen.

Informationen zur Definition eines Decoders in der Transformer-Architektur finden Sie unter Transformer.

Rauschunterdrückung

#language

Ein gängiger Ansatz für das selbstüberwachte Lernen, bei dem:

  1. Rauschen wird dem Dataset künstlich hinzugefügt.
  2. Das model versucht, Störgeräusche zu entfernen.

Rauschunterdrückung ermöglicht das Lernen aus Beispielen ohne Label. Das ursprüngliche Dataset dient als Ziel oder Label und die fehlerhaften Daten als Eingabe.

In einigen maskierten Sprachmodellen wird die Rauschunterdrückung so verwendet:

  1. Rauschen wird einem Satz ohne Label künstlich hinzugefügt, indem einige der Tokens maskiert werden.
  2. Das Modell versucht, die ursprünglichen Tokens vorherzusagen.

direkte Aufforderung

#language
#generativeKI

Synonym für Zero-Shot-Prompting.

E

Strecke bearbeiten

#language

Ein Maß dafür, wie ähnlich zwei Textzeichenfolgen einander sind. Beim maschinellen Lernen ist die Bearbeitung der Entfernung nützlich, da sie einfach und leicht zu berechnen ist und eine effektive Möglichkeit ist, zwei Strings zu vergleichen, die bekanntermaßen ähnlich sind, oder um Strings zu finden, die einem bestimmten String ähneln.

Es gibt mehrere Definitionen von Bearbeitungsabstand, die jeweils unterschiedliche Stringvorgänge verwenden. Für die Levenshtein-Entfernung werden beispielsweise die wenigsten Lösch-, Einfüge- und Ersetzungsvorgänge berücksichtigt.

Beispielsweise beträgt der Levenshtein-Abstand zwischen den Wörtern "Heart" und "Darts" 3, da die folgenden drei Bearbeitungen die geringsten Änderungen sind, um ein Wort in ein anderes umzuwandeln:

  1. Herz → Deart (ersetzen Sie "h" durch "d")
  2. deart → dart (löschen "e")
  3. dart → darts („s“ einfügen)

Einbettungsebene

#language
#fundamentals

Eine spezielle verborgene Ebene, die mit einem hochdimensionalen kategorialen Feature trainiert, um schrittweise einen Einbettungsvektor mit niedrigeren Dimensionen zu lernen. Mit einer Einbettungsebene kann ein neuronales Netzwerk wesentlich effizienter trainieren als nur mit dem hochdimensionalen kategorialen Merkmal.

Zum Beispiel unterstützt Google Earth derzeit etwa 73.000 Baumarten. Angenommen, Baumarten sind ein Element in Ihrem Modell,sodass die Eingabeebene Ihres Modells einen One-Hot-Vektor mit 73.000 Elementen enthält. baobab wird beispielsweise so dargestellt:

Ein Array mit 73.000 Elementen. Die ersten 6.232 Elemente enthalten den Wert 0. Das nächste Element enthält den Wert 1. Die letzten 66.767 Elemente enthalten den Wert null.

Ein Array mit 73.000 Elementen ist sehr lang. Wenn Sie dem Modell keine Einbettungsebene hinzufügen, wird das Training aufgrund der Multiplikation von 72.999 Nullen sehr zeitaufwendig. Sie könnten die Einbettungsebene aus 12 Dimensionen auswählen. Folglich lernt die Einbettungsebene nach und nach einen neuen Einbettungsvektor für jede Baumart.

In bestimmten Situationen ist Hashing eine sinnvolle Alternative zu einer Einbettungsebene.

Einbettungsbereich

#language

Der d-dimensionale Vektorraum, dem Merkmale aus einem höherdimensionalen Vektorraum zugeordnet werden. Idealerweise enthält der Einbettungsbereich eine Struktur, die aussagekräftige mathematische Ergebnisse liefert. In einem idealen Einbettungsbereich können beispielsweise durch Addition und Subtraktion von Einbettungen Wort Analogieaufgaben gelöst werden.

Das Punktprodukt zweier Einbettungen ist ein Maß für ihre Ähnlichkeit.

Einbettungsvektor

#language

Im Großen und Ganzen ein Array von Gleitkommazahlen, die aus einer beliebigen ausgeblendeten Ebene stammen, die die Eingaben für diese verborgene Ebene beschreibt. Häufig ist ein Einbettungsvektor das Array von Gleitkommazahlen, die in einer Einbettungsebene trainiert wurden. Angenommen, eine Einbettungsebene muss für jede der 73.000 Baumarten auf der Erde einen Einbettungsvektor lernen. Vielleicht ist das folgende Array der Einbettungsvektor für einen Baobab-Baum:

Ein Array mit 12 Elementen, die jeweils eine Gleitkommazahl zwischen 0,0 und 1,0 enthalten.

Ein Einbettungsvektor besteht nicht aus einer Reihe von Zufallszahlen. Eine Einbettungsebene bestimmt diese Werte durch Training, ähnlich wie ein neuronales Netzwerk andere Gewichtungen während des Trainings lernt. Jedes Element des Arrays ist eine Bewertung sowie ein Merkmal einer Baumart. Welches Element stellt das Merkmal welcher Baumart dar? Das ist für Menschen sehr schwer zu bestimmen.

Der mathematisch bemerkenswerte Teil eines Einbettungsvektors ist, dass ähnliche Elemente ähnliche Gruppen von Gleitkommazahlen haben. Zum Beispiel haben ähnliche Baumarten einen ähnlichen Satz von Gleitkommazahlen als unähnliche Baumarten. Mammutbäume und Mammutbäume sind verwandte Baumarten, daher weisen sie ähnliche Gleitkommazahlen auf wie Mammutbäume und Kokospalmen. Die Zahlen im Einbettungsvektor ändern sich jedes Mal, wenn Sie das Modell neu trainieren, auch wenn Sie das Modell mit identischer Eingabe neu trainieren.

Encoder

#language

Im Allgemeinen gilt jedes ML-System, das eine rohe, dünnbesetzte oder externe Darstellung in eine besser verarbeitete, dichtere oder stärker interne Darstellung umwandelt.

Encoder sind häufig Bestandteil eines größeren Modells, in dem sie häufig mit einem Decoder gekoppelt sind. Einige Transformer koppeln Encoder und Decodierer, während andere nur den Encoder oder nur den Decoder verwenden.

Einige Systeme verwenden die Ausgabe des Encoders als Eingabe für ein Klassifizierungs- oder Regressionsnetzwerk.

Bei Sequenz-zu-Sequenz-Aufgaben gibt ein Encoder über eine Eingabesequenz einen internen Zustand (einen Vektor) zurück. Dann verwendet der Decoder diesen internen Status, um die nächste Sequenz vorherzusagen.

Die Definition eines Encoders in der Transformer-Architektur finden Sie unter Transformer.

F

Aufforderung mit wenigen Aufnahmen

#language
#generativeKI

Eine Eingabeaufforderung, die mehr als ein (einiges) Beispiel enthält, das zeigt, wie das Large-Language-Modell reagieren sollte Die folgende lange Eingabeaufforderung enthält beispielsweise zwei Beispiele für die Beantwortung einer Abfrage in einem Large-Language-Modell.

Bestandteile eines Prompts Notes
Was ist die offizielle Währung des angegebenen Landes? Die Frage, die das LLM beantworten soll.
Frankreich: EUR Ein Beispiel:
Vereinigtes Königreich: GBP Ein weiteres Beispiel.
Indien: Die eigentliche Abfrage.

Wenige Aufnahmen erzielen in der Regel bessere Ergebnisse als die Null-Shot-Prompts und One-Shot-Prompts. Bei Aufforderungen mit wenigen Aufnahmen ist jedoch eine längere Eingabeaufforderung erforderlich.

Wenige Aufforderungen sind eine Form von schnellem Lernen, die für das eingabeaufforderungsbasierte Lernen verwendet wird.

Geige

#language

Eine Python-orientierte Konfigurationsbibliothek, die die Werte von Funktionen und Klassen ohne invasiven Code oder Infrastruktur festlegt. Im Fall von Pax – und anderen ML-Codebasis – stellen diese Funktionen und Klassen Modelle und Hyperparameter für das Training dar.

Fiddle geht davon aus, dass die Codebasis für maschinelles Lernen normalerweise unterteilt wird in:

  • Bibliothekscode, der die Layers und die Optimierer definiert.
  • Dataset-„Glue“-Code, der die Bibliotheken aufruft und alles miteinander verbindet.

Fiddle erfasst die Aufrufstruktur des Glue-Codes in einer nicht ausgewerteten und änderbaren Form.

Feinabstimmung

#language
#image
#generativeKI

Ein zweiter, aufgabenspezifischer Trainingsdurchlauf, der mit einem vortrainierten Modell ausgeführt wurde, um dessen Parameter für einen bestimmten Anwendungsfall zu optimieren. Für einige Large-Language-Modelle sieht beispielsweise die vollständige Trainingssequenz so aus:

  1. Vor dem Training: Trainieren Sie ein Large-Language-Modell mit einem riesigen allgemeinen Dataset, z. B. mit allen englischsprachigen Wikipedia-Seiten.
  2. Feinabstimmung:Trainieren Sie das vortrainierte Modell für die Ausführung einer bestimmten Aufgabe, z. B. zum Antworten auf medizinische Anfragen. Die Feinabstimmung umfasst in der Regel Hunderte oder Tausende von Beispielen, die sich auf die jeweilige Aufgabe beziehen.

Ein weiteres Beispiel: Die vollständige Trainingssequenz für ein Modell mit großen Bildern sieht so aus:

  1. Vor dem Training: Trainieren Sie ein Modell für ein großes Bild mit einem riesigen allgemeinen Bild-Dataset, z. B. mit allen Bildern in Wikimedia Commons.
  2. Feinabstimmung:Trainieren Sie das vortrainierte Modell für eine bestimmte Aufgabe, z. B. das Generieren von Bildern von Orcas.

Die Feinabstimmung kann eine beliebige Kombination der folgenden Strategien beinhalten:

  • Alle vorhandenen Parameter des vortrainierten Modells ändern Dies wird auch als vollständige Feinabstimmung bezeichnet.
  • Es werden nur einige der vorhandenen Parameter des vortrainierten Modells geändert (in der Regel die Ebenen, die der Ausgabeebene am nächsten sind). Andere vorhandene Parameter bleiben unverändert (in der Regel die Ebenen, die der Eingabeebene am nächsten sind). Siehe Parametersparende Abstimmung.
  • Weitere Ebenen hinzufügen, in der Regel auf den vorhandenen Ebenen, die der Ausgabeebene am nächsten sind

Feinabstimmung ist eine Form des Lerntransfers. Daher kann für die Feinabstimmung eine andere Verlustfunktion oder ein anderer Modelltyp verwendet werden als die zum Trainieren des vortrainierten Modells. Sie könnten beispielsweise ein vortrainiertes großes Bildmodell optimieren und ein Regressionsmodell erstellen, das die Anzahl der Vögel in einem Eingabebild zurückgibt.

Vergleichen Sie die Feinabstimmung mit den folgenden Begriffen und stellen Sie sie gegenüber:

Kristallgrau

#language

Eine leistungsstarke Open-Source-Bibliothek für Deep Learning, die auf JAX basiert. Flax bietet Funktionen für das Training von neuronalen Netzwerken sowie Methoden zur Leistungsbewertung.

Flachsformer

#language

Eine auf Flax basierende Open-Source-Bibliothek Transformer, die in erster Linie für Natural Language Processing und multimodale Forschung vorgesehen ist.

G

Generative KI

#language
#image
#generativeKI

Ein aufstrebendes transformatives Feld ohne formale Definition. Dennoch sind sich die meisten Experten einig, dass generative KI-Modelle folgende Inhalte erstellen („generieren“) können:

  • komplex
  • kohärent
  • ursprünglich

Ein generatives KI-Modell kann beispielsweise anspruchsvolle Aufsätze oder Bilder erstellen.

Einige ältere Technologien, darunter LSTMs und RNNs, können ebenfalls eigene und kohärente Inhalte generieren. Einige Experten betrachten diese älteren Technologien als generative KI, während andere der Meinung sind, dass echte generative KI komplexere Ergebnisse erfordert, als diese früheren Technologien erzeugen können.

Im Gegensatz dazu bietet ML vorausschauendes ML einen Kontrast.

GPT (generativer vortrainierter Transformer)

#language

Eine Familie von Transformer-basierten Large-Language-Modellen, die von OpenAI entwickelt wurden.

GPT-Varianten können auf verschiedene Modalitäten angewendet werden, darunter:

  • Bilderstellung (z. B. ImageGPT)
  • Text-zu-Bild-Generierung (z. B. DALL-E).

H

Halluzination

#language

Erstellung einer plausibel erscheinenden, aber sachlich falschen Ausgabe durch ein generatives KI-Modell, das eine Behauptung zur realen Welt zu treffen vorgibt. Ein generatives KI-Modell, dem zufolge Barack Obama 1865 starb, halluziniert.

I

kontextbezogenes Lernen

#language
#generativeKI

Synonym für Wenige-Aufnahme.

L

LaMDA (Language Model for Dialogue Applications)

#language

Ein von Google entwickeltes Transformer-basiertes Large-Language-Modell, das mit einem großen Dialog-Dataset trainiert wurde, das realistische dialogorientierte Antworten generieren kann.

Einen Überblick bietet der Blog LaMDA: Unsere bahnbrechende Unterhaltungstechnologie.

Sprachmodell

#language

Ein model, das die Wahrscheinlichkeit schätzt, dass ein model oder eine Abfolge von Tokens in einer längeren Token-Sequenz auftritt.

Large-Language-Modell

#language

Ein informeller Begriff ohne strikte Definition, der in der Regel für ein Sprachmodell mit einer hohen Anzahl von Parametern steht. Einige Large-Language-Modelle enthalten über 100 Milliarden Parameter.

M

Maskiertes Sprachmodell

#language

Ein Sprachmodell, das die Wahrscheinlichkeit vorhersagt, dass Kandidattokens Lücken in einer Sequenz füllen. Ein maskiertes Sprachmodell kann beispielsweise Wahrscheinlichkeiten für mögliche Wörter berechnen, um die Unterstreichung im folgenden Satz zu ersetzen:

Das ____ mit dem Hut ist zurück.

In der Literatur wird normalerweise der String „MASK“ anstelle einer Unterstreichung verwendet. Beispiel:

Die Maske mit dem Hut ist wieder da.

Die meisten modernen maskierten Sprachmodelle sind bidirektional.

Meta-Learning

#language

Ein Teilbereich des maschinellen Lernens, mit dem ein Lernalgorithmus ermittelt oder verbessert wird. Ein Meta-Lernsystem kann auch darauf abzielen, ein Modell so zu trainieren, dass es schnell eine neue Aufgabe aus einer kleinen Datenmenge oder aus Erfahrungen aus vorherigen Aufgaben lernt. Meta-Learning-Algorithmen versuchen im Allgemeinen, Folgendes zu erreichen:

  • Verbessern/kennenlernen von manuell entwickelten Funktionen (z. B. Initialisierer oder Optimierer)
  • Daten- und recheneffizienter werden
  • Generalisierung verbessern

Meta-Learning ist etwas Verbundens für sinnvolles Lernen.

Modalität

#language

Eine allgemeine Datenkategorie. Zahlen, Text, Bilder, Video und Audio sind beispielsweise fünf verschiedene Modalitäten.

Modellparallelität

#language

Eine Methode zum Skalieren von Training oder Inferenz, bei der verschiedene Teile eines model auf verschiedenen model platziert werden. Die Modellparallelität ermöglicht Modelle, die zu groß für ein einzelnes Gerät sind.

Zur Implementierung der Modellparallelität geht ein System in der Regel so vor:

  1. Das Modell wird in kleinere Teile fragmentiert.
  2. Verteilt das Training dieser kleineren Teile auf mehrere Prozessoren. Jeder Prozessor trainiert seinen eigenen Teil des Modells.
  3. Die Ergebnisse werden kombiniert, um ein einzelnes Modell zu erstellen.

Modellparallelität verlangsamt das Training.

Weitere Informationen finden Sie unter Datenparallelität.

Selbstaufmerksamkeit mit mehreren Köpfen

#language

Erweiterung der Selbstaufmerksamkeit, bei der der Selbstaufmerkungsmechanismus für jede Position in der Eingabesequenz mehrmals angewendet wird.

Transformers hat die Selbstaufmerksamkeit mit mehreren Köpfen eingeführt.

multimodales Modell

#language

Ein Modell, dessen Ein- und/oder Ausgaben mehr als eine Modalität enthalten. Stellen Sie sich beispielsweise ein Modell vor, das sowohl ein Bild als auch eine Bildunterschrift (zwei Modalitäten) als Merkmale annimmt und eine Punktzahl ausgibt, die angibt, wie angemessen die Bildunterschrift für das Bild ist. Die Eingaben dieses Modells sind also multimodal und die Ausgabe ist unimodal.

N

Natural Language Understanding

#language

Feststellen der Absichten eines Nutzers auf Grundlage dessen, was er eingegeben oder gesagt hat Beispielsweise nutzt eine Suchmaschine Natural Language Understanding, um anhand dessen, was der Nutzer eingegeben oder gesagt hat, zu ermitteln, wonach der Nutzer sucht.

N-Gramm

#seq
#language

Eine geordnete Folge von N Wörtern. Zum Beispiel ist truly madly ein 2-Gramm. Da eine Reihenfolge relevant ist, ist madly wahr ein anderes 2-Gramm-Element als truly madly.

N Name(n) für diese Art von N-Gramm Beispiele
2 Bigram oder 2-Gramm essen, gehen, gehen, mittag essen, zu abend essen
3 Trigram oder 3-Gramm zu viel gegessen, drei blinde Mäuse, der Glockenton
4 4 Gramm im Park spazieren gehen, Staub im Wind, der Junge aß Linsen

Viele Natural Language Understanding-Modelle basieren auf N-Grammen, um das nächste Wort vorherzusagen, das der Nutzer eintippen oder sagen wird. Angenommen, ein Nutzer hat three blind eingegeben. Ein auf Trigrammen basierendes NLU-Modell würde wahrscheinlich vorhersagen, dass der Nutzer als Nächstes Mäuse eingibt.

Vergleichen Sie N-Gramme mit einer Bag of Words, bei denen es sich um ungeordnete Wortgruppen handelt.

NLU

#language

Abkürzung für Natural Language Understanding (NLU).

O

One-Shot-Prompt

#language
#generativeKI

Eine Eingabeaufforderung mit einem Beispiel, das zeigt, wie das große Sprachmodell reagieren soll. Die folgende Eingabeaufforderung enthält ein Beispiel für die Antwort auf eine Abfrage in einem Large-Language-Modell.

Bestandteile eines Prompts Notes
Was ist die offizielle Währung des angegebenen Landes? Die Frage, die das LLM beantworten soll.
Frankreich: EUR Ein Beispiel:
Indien: Die eigentliche Abfrage.

Vergleichen Sie die Aufforderung in einer einzigen Aufnahme mit den folgenden Begriffen und stellen Sie sie gegenüber:

P

Parametersparende Abstimmung

#language
#generativeKI

Eine Reihe von Techniken zur effizienteren Feinabstimmung eines großen vortrainierten Sprachmodells als eine vollständige Feinabstimmung. Bei einer parametereffizienten Feinabstimmung werden in der Regel weitaus weniger Parameter als eine vollständige Feinabstimmung optimiert. Dennoch wird in der Regel ein großes Sprachmodell erstellt, das genauso gut (oder fast genauso gut) wie ein großformatiges Sprachmodell, das auf einer vollständigen Feinabstimmung erstellt wurde, funktioniert.

Parametersparende Abstimmung vergleichen und gegenüberstellen mit:

Die Parameter-effiziente Abstimmung wird auch als parametersparende Feinabstimmung bezeichnet.

Rohrleitungen

#language

Eine Form der Modellparallelität, bei der die Verarbeitung eines Modells in aufeinanderfolgende Phasen unterteilt wird und jede Phase auf einem anderen Gerät ausgeführt wird. Während in einer Phase ein Batch verarbeitet wird, kann der nächste Batch in der vorherigen Phase verarbeitet werden.

Weitere Informationen finden Sie unter Gestaffelte Schulung.

PLM

#language
#generativeKI

Abkürzung für vortrainiertes Sprachmodell.

Positionscodierung

#language

Verfahren zum Hinzufügen von Informationen zur Position eines Tokens in einer Sequenz zur Einbettung des Tokens. Transformer-Modelle verwenden eine positionsbezogene Codierung, um die Beziehung zwischen verschiedenen Teilen der Sequenz besser zu verstehen.

Eine gängige Implementierung der positionalen Codierung verwendet eine Sinusfunktion. Genauer gesagt werden Frequenz und Amplitude der Sinusfunktion von der Position des Tokens in der Sequenz bestimmt. Mit diesem Verfahren kann ein Transformer-Modell lernen, verschiedene Teile der Sequenz basierend auf ihrer Position zu berücksichtigen.

Vortrainiertes Modell

#language
#image
#generativeKI

Modelle oder Modellkomponenten (z. B. ein Einbettungsvektor), die bereits trainiert wurden. Manchmal speisen Sie vortrainierte Einbettungsvektoren in ein neuronales Netzwerk ein. In anderen Fällen trainiert Ihr Modell die Einbettungsvektoren selbst, anstatt sich auf die vortrainierten Einbettungen zu verlassen.

Der Begriff vortrainiertes Sprachmodell bezieht sich auf ein großes Sprachmodell, für das ein Vortraining durchgeführt wurde.

Vortraining

#language
#image
#generativeKI

Das erste Training eines Modells mit einem großen Dataset. Einige vortrainierte Modelle sind ungeschickt und müssen in der Regel durch zusätzliche Schulungen verfeinert werden. Beispielsweise können ML-Experten ein Large-Language-Modell für ein umfangreiches Text-Dataset wie alle englischen Seiten in Wikipedia vorab trainieren. Nach dem Training kann das resultierende Modell durch eine der folgenden Techniken weiter verfeinert werden:

Prompt

#language
#generativeKI

Beliebiger Text, der als Eingabe in ein Large-Language-Modell eingegeben wird, um das Modell für ein bestimmtes Verhalten zu konditionieren. Aufforderungen können so kurz wie eine Wortgruppe oder beliebig lang sein (z. B. der gesamte Text eines Romans). Aufforderungen können in mehrere Kategorien eingeteilt werden, einschließlich der in der folgenden Tabelle gezeigten:

Aufforderungskategorie Beispiel Notes
Frage Wie schnell kann eine Taube fliegen?
Anleitung Schreib ein lustiges Gedicht über Arbitrage. Eine Eingabeaufforderung, die das Large Language Model zum Ausführen von Aktionen auffordert.
Beispiel Markieren Sie den Markdown-Code in HTML. Beispiel:
Markdown: * Listeneintrag
HTML: <ul> <li>Listeneintrag</li> </ul>
Der erste Satz in dieser Beispiel-Prompt ist eine Anweisung. Der Rest der Aufforderung ist das Beispiel.
Rolle Erklären, warum das Gradientenverfahren beim Training von maschinellem Lernen verwendet wird, bevor es zum Doktor in Physik promoviert. Der erste Teil des Satzes ist eine Anweisung; die Formulierung „bis zu einem Doktortitel in Physik“ ist die Rolle.
Teileingabe zum Abschließen des Modells Der Premierminister des Vereinigten Königreichs lebt hier: Eine teilweise Eingabeaufforderung kann entweder abrupt enden (wie in diesem Beispiel) oder mit einem Unterstrich enden.

Ein generatives KI-Modell kann auf eine Prompt mit Text, Code, Bildern, Einbettungen, Videos... so ziemlich alles reagieren.

Aufforderungenbasiertes Lernen

#language
#generativeKI

Eine Fähigkeit bestimmter Modelle, die es ihnen ermöglichen, ihr Verhalten als Reaktion auf beliebige Texteingaben (Aufforderungen) anzupassen. Bei einem typischen Prompt-basierten Lernparadigma reagiert ein großes Sprachmodell auf eine Aufforderung mit Generierung von Text. Angenommen, ein Nutzer gibt die folgende Eingabeaufforderung ein:

das dritte newtonsche Gesetz der Bewegung zusammenfassen.

Ein Modell, das auf Aufforderungen basiert, wurde nicht speziell für die Beantwortung der vorherigen Aufgabe trainiert. Vielmehr „weiß“ das Modell viele Fakten über Physik, viel über allgemeine Sprachregeln und darüber, was allgemein nützliche Antworten darstellt. Dieses Wissen reicht aus, um eine (hoffentlich) nützliche Antwort zu geben. Durch zusätzliches menschliches Feedback („Diese Antwort war zu kompliziert“ oder „Was ist eine Reaktion?“) können einige auf Aufforderungen basierende Lernsysteme die Nützlichkeit der Antworten nach und nach verbessern.

Aufforderungsdesign

#language
#generativeKI

Synonym für prompt Engineering.

Instant Engineering

#language
#generativeKI

Die Kunst, Aufforderungen zu erstellen, die von einem Large-Language-Modell die gewünschten Antworten erhalten. Menschen führen ein schnelles Engineering durch. Das Schreiben gut strukturierter Aufforderungen ist ein wesentlicher Bestandteil, um nützliche Antworten von einem Large-Language-Modell sicherzustellen. Die Bearbeitungszeit hängt von vielen Faktoren ab, darunter:

  • Das Dataset, mit dem das Large Language Model vortrainiert und möglicherweise optimiert wird.
  • Die temperature und andere Decodierungsparameter, die das Modell zum Generieren von Antworten verwendet.

Weitere Informationen zum Schreiben hilfreicher Aufforderungen finden Sie unter Einführung in das Design von Aufforderungen.

Prompt Design ist ein Synonym für Prompt Engineering.

Einstellung von Aufforderungen

#language
#generativeKI

Einen Parameter effizienten Abstimmungsmechanismus, der ein „Präfix“ lernt, das das System der eigentlichen Eingabeaufforderung voranstellt.

Eine Variante der Einstellung von Eingabeaufforderungen – auch Präfixabstimmung genannt – besteht darin, das Präfix auf jeder Ebene voranzustellen. Im Gegensatz dazu wird bei der meisten Einstellung von Aufforderungen nur der Eingabeebene ein Präfix hinzugefügt.

R

Rollenaufforderung

#language
#generativeKI

Ein optionaler Teil einer Eingabeaufforderung, der eine Zielgruppe für die Antwort eines generativen KI-Modells angibt. Ohne Rollenaufforderung liefert ein Large Language Model eine Antwort, die für die Person, die die Fragen stellt, nützlich oder nicht nützlich sein kann. Mit einer Rollenaufforderung kann ein Large Language Model auf eine Weise antworten, die für eine bestimmte Zielgruppe geeigneter und hilfreicher ist. Beispielsweise ist der Teil der Rollenaufforderung in den folgenden Eingabeaufforderung fettgedruckt:

  • Fassen Sie diesen Artikel für einen Doktortitel in Wirtschaftswissenschaften zusammen.
  • Beschreibe, wie die Gezeiten für ein Zehnjähriges funktionieren.
  • Die Finanzkrise von 2008 erklären Sprechen Sie mit einem Kind oder einem Golden Retriever.

S

Selbstaufmerksamkeit (auch Selbstaufmerkungsschicht genannt)

#language

Eine neuronale Netzwerkebene, die eine Reihe von Einbettungen (z. B. Tokeneinbettungen) in eine andere Folge von Einbettungen umwandelt. Jede Einbettung in der Ausgabesequenz wird durch Integrieren von Informationen aus den Elementen der Eingabesequenz über einen Aufmerksamkeitsmechanismus erstellt.

Der Teil self der Self-Aufmerksamkeit bezieht sich auf die Abfolge, die auf sich selbst und nicht auf einen anderen Kontext achtet. Die Selbstaufmerksamkeit ist einer der wichtigsten Bausteine für Transformer. Sie verwendet Begriffe der Wörterbuchsuche, z. B. „Abfrage“, „Schlüssel“ und „Wert“.

Eine Ebene der Selbstaufmerksamkeit beginnt mit einer Abfolge von Eingabedarstellungen, eine für jedes Wort. Die Eingabedarstellung für ein Wort kann eine einfache Einbettung sein. Für jedes Wort in einer Eingabesequenz bewertet das Netzwerk die Relevanz des Wortes für jedes Element in der gesamten Wortfolge. Die Relevanzwerte bestimmen, wie stark die endgültige Darstellung des Wortes die Darstellung anderer Wörter enthält.

Betrachten Sie zum Beispiel den folgenden Satz:

Das Tier hat die Straße nicht überquert, weil es zu müde war.

Die folgende Abbildung aus Transformer: A Newvel Neural Network Architecture for Language Understanding zeigt das Aufmerksamkeitsmuster einer Selbstaufmerkungsschicht für das Pronomen it, wobei die Dunkelheit jeder Linie angibt, wie sehr jedes Wort zu der Darstellung beiträgt:

Der folgende Satz kommt zweimal vor: „Das Tier ist die Straße nicht überquert, weil es zu müde war.“  Linien verbinden das Wort „it“ in einem Satz mit fünf Tokens („The“, „animal“, „street“, „it“ und der Punkt) im anderen Satz.  Die Linie zwischen &quot;it&quot; und &quot;animal&quot; ist am stärksten.

Auf der Ebene „Selbstaufmerksamkeit“ werden Wörter hervorgehoben, die für „es“ relevant sind. In diesem Fall hat die Aufmerksamkeitsschicht gelernt, Wörter hervorzuheben, auf die sie sich beziehen könnte, und weist animal die höchste Gewichtung zu.

Bei einer Sequenz von n Tokens transformiert die Selbstaufmerksamkeit eine Sequenz von Einbettungen n verschiedene Male, einmal an jeder Position in der Sequenz.

Weitere Informationen finden Sie unter Aufmerksamkeit und Selbstaufmerksamkeit auf mehreren Seiten.

Histogramm: Sentimentanalyse

#language

Die Verwendung statistischer oder maschineller Lernalgorithmen, um die gesamte Einstellung einer Gruppe – ob positiv oder negativ – gegenüber einer Dienstleistung, einem Produkt, einer Organisation oder einem Thema zu bestimmen. Beispielsweise könnte ein Algorithmus mithilfe von Natural Language Understanding eine Stimmungsanalyse für das Textfeedback aus einem Universitätskurs durchführen, um festzustellen, inwieweit die Studierenden den Kurs im Allgemeinen gefallen oder nicht gefallen hat.

Sequenz-zu-Sequenz-Aufgabe

#language

Eine Aufgabe, die eine Eingabesequenz von Tokens in eine Ausgabesequenz von Tokens konvertiert. Zwei beliebte Arten von Sequenz-zu-Sequenz-Aufgaben sind beispielsweise:

  • Übersetzer:
    • Beispieleingabesequenz: „Ich liebe dich“
    • Beispielausgabesequenz: „Je t'aime“
  • Beantwortung der Frage:
    • Beispieleingabesequenz: „Brauche ich mein Auto in New York City?“
    • Beispielausgabesequenz: „Nein. Bitte lass dein Auto zu Hause.“

dünnbesetztes Feature

#language
#fundamentals

Ein Feature, dessen Werte vorwiegend null oder leer sind. Beispiel: Ein Feature mit einem einzelnen 1-Wert und einer Million 0-Werten ist dünnbesetzt. Im Gegensatz dazu hat ein dichtes Merkmal Werte, die überwiegend nicht null oder leer sind.

Beim maschinellen Lernen gibt es erstaunlich viele Merkmale, die eher dünnbesetzt sind. Kategoriale Merkmale sind in der Regel dünnbesetzte Merkmale. Beispielsweise könnte von den 300 möglichen Baumarten in einem Wald in einem einzelnen Beispiel nur ein Ahornbaum identifiziert werden. Oder unter den Millionen möglicher Videos in einer Videobibliothek könnte ein einzelnes Beispiel nur „Casablanca“ nennen.

In einem Modell stellen Sie dünnbesetzte Features in der Regel mit One-Hot-Codierung dar. Wenn die One-Hot-Codierung groß ist, können Sie für eine höhere Effizienz eine Einbettungsebene auf die One-Hot-Codierung setzen.

dünnbesetzte Darstellung

#language
#fundamentals

Nur die position(en) von Elementen ungleich null in einem dünnbesetzten Feature speichern.

Angenommen, ein kategoriales Feature namens species identifiziert die 36 Baumarten in einem bestimmten Wald. Nehmen wir außerdem an, dass jedes Beispiel nur eine einzelne Art identifiziert.

Sie könnten einen One-Hot-Vektor verwenden, um die Baumarten in den einzelnen Beispielen darzustellen. Ein One-Hot-Vektor würde eine einzelne 1 (zur Darstellung der jeweiligen Baumart in diesem Beispiel) und 35 0s (um die 35 Baumarten darzustellen, nicht in diesem Beispiel). Die One-Hot-Darstellung von maple könnte also in etwa so aussehen:

Ein Vektor, in dem die Positionen 0 bis 23 den Wert 0, Position 24 den Wert 1 und die Positionen 25 bis 35 den Wert 0 enthalten.

Alternativ würde bei einer dünnbesetzten Darstellung einfach die Position der jeweiligen Art ermittelt werden. Wenn sich maple an Position 24 befindet, würde die dünnbesetzte Darstellung von maple einfach so aussehen:

24

Beachten Sie, dass die dünnbesetzte Darstellung viel kompakter ist als die One-Hot-Darstellung.

Gestaffeltes Training

#language

Taktik, ein Modell in einer Abfolge von diskreten Phasen zu trainieren. Das Ziel kann entweder sein, den Trainingsprozess zu beschleunigen oder eine bessere Modellqualität zu erreichen.

Hier ist ein Beispiel für den Progressive-Stacking-Ansatz:

  • Phase 1 enthält drei versteckte Ebenen, Phase 2 sechs versteckte Ebenen und Phase 3 enthält 12 verborgene Ebenen.
  • Phase 2 beginnt mit dem Training mit den Gewichtungen, die in den drei verborgenen Ebenen von Phase 1 erlernt wurden. Phase 3 beginnt mit dem Training mit den Gewichtungen, die auf den sechs versteckten Ebenen von Phase 2 erlernt wurden.

Drei Phasen, die mit &quot;Phase 1&quot;, &quot;Phase 2&quot; und &quot;Phase 3&quot; beschriftet sind.
          Jede Phase enthält eine andere Anzahl von Ebenen: Phase 1 enthält drei Ebenen, Phase 2 sechs Ebenen und Phase 3 12 Ebenen.
          Die drei Ebenen aus Phase 1 werden zu den ersten drei in Phase 2.
          Entsprechend werden die sechs Ebenen aus Phase 2 zu den ersten sechs Ebenen von Phase 3.

Weitere Informationen finden Sie unter Pipelines.

T

T5

#language

Ein Text-zu-Text-Lerntransfer-Modell, das 2020 von Google AI eingeführt wurde. T5 ist ein Encoder-Decoder-Modell, das auf der Transformer-Architektur basiert und mit einem extrem großen Dataset trainiert wurde. Es eignet sich für eine Vielzahl von Natural Language Processing-Aufgaben, wie das Generieren von Text, das Übersetzen von Sprachen und das Beantworten von Fragen in einer dialogorientierten Weise.

T5 ist nach den fünf Ts in "Text-to-Text Transfer Transformer" benannt.

T5X

#language

Ein Open-Source-Framework für maschinelles Lernen, das zum Erstellen und Trainieren großer NLP-Modelle (Natural Language Processing) entwickelt wurde. T5 wird auf der T5X-Codebasis implementiert, die auf JAX und Flax basiert.

Temperatur

#language
#image
#generativeKI

Ein Hyperparameter, der den Grad der Zufälligkeit der Modellausgabe steuert. Höhere Temperaturen führen zu einer zufälligen Ausgabe, während niedrigere Temperaturen zu einer weniger zufälligen Ausgabe führen.

Die Auswahl der besten Temperatur hängt von der spezifischen Anwendung und den gewünschten Attributen der Modellausgabe ab. Beispielsweise würden Sie die Temperatur wahrscheinlich erhöhen, wenn Sie eine Anwendung erstellen, die eine Creative-Ausgabe generiert. Umgekehrt würden Sie wahrscheinlich die Temperatur senken, wenn Sie ein Modell erstellen, das Bilder oder Text klassifiziert, um die Genauigkeit und Konsistenz des Modells zu verbessern.

Die Temperatur wird häufig mit softmax verwendet.

Textbereich

#language

Der Array-Index-Span, der einem bestimmten Unterabschnitt einer Textzeichenfolge zugeordnet ist. Das Wort good im Python-String s="Be good now" belegt beispielsweise den Text-Span von 3 bis 6.

Token

#language

In einem Sprachmodell die atomaren Einheit, für die das Modell trainiert und für die es Vorhersagen trifft. Ein Token ist in der Regel eines der folgenden:

  • ein Wort. Die Wortgruppe "dogs like cats" (Hunde wie Katzen) besteht beispielsweise aus drei Worttokens: "dogs", "like" (wie) und "cats" (Katzen).
  • ein Zeichen, z. B. besteht die Wortgruppe "bike Fish" aus Tokens mit neun Zeichen. (Beachten Sie, dass das Leerzeichen als eines der Tokens zählt.)
  • Unterwörtern, in denen ein einzelnes Wort ein einzelnes Token oder mehrere Tokens sein kann. Ein Unterwort besteht aus einem Stammwort, einem Präfix oder einem Suffix. Beispiel: Ein Sprachmodell, das Unterwörter als Tokens verwendet, könnte das Wort „Hunde“ als zwei Tokens ansehen (das Stammwort „Hund“ und das Pluralsuffix „s“). Dasselbe Sprachmodell könnte das einzelne Wort "höher" als zwei Unterwörter ansehen (das Stammwort "tall" und das Suffix "er").

In Domains außerhalb von Sprachmodellen können Tokens andere Arten von atomaren Einheiten darstellen. Beim maschinellen Sehen kann ein Token beispielsweise eine Teilmenge eines Bildes sein.

Transformator

#language

Eine von Google entwickelte neuronale Netzwerkarchitektur, die auf Selbstaufmerksamkeitsmechanismen basiert, um eine Folge von Eingabeeinbettungen in eine Folge von Ausgabeeinbettungen umzuwandeln, ohne Faltungen oder recurrent neuronale Netze zu verwenden. Ein Transformer kann als ein Stapel von Selbstaufmerkungsebenen betrachtet werden.

Ein Transformer kann Folgendes enthalten:

Ein Encoder wandelt eine Folge von Einbettungen in eine neue Sequenz derselben Länge um. Ein Encoder umfasst N identische Ebenen, von denen jede zwei Unterebenen enthält. Diese beiden Unterebenen werden an jeder Position der Eingabeeinbettungssequenz angewendet und wandeln jedes Element der Sequenz in eine neue Einbettung um. Die erste Encoder-Unterebene aggregiert Informationen aus der gesamten Eingabesequenz. Die zweite Encoder-Unterebene wandelt die aggregierten Informationen in eine Ausgabeeinbettung um.

Ein Decoder wandelt eine Folge von Eingabeeinbettungen in eine Folge von Ausgabeeinbettungen um, möglicherweise mit einer anderen Länge. Ein Decoder enthält außerdem n identische Ebenen mit drei Unterebenen, von denen zwei den Encoder-Unterebenen ähneln. Die dritte Decoder-Unterebene übernimmt die Ausgabe des Encoders und wendet den Selbstaufmerkungsmechanismus an, um Informationen daraus zu erfassen.

Der Blogpost Transformer: A Novel Neural Network Architecture for Language Understanding bietet eine gute Einführung in Transformers.

Trigramm

#seq
#language

Ein N-Gramm, in dem N=3 ist.

U

einseitig

#language

Ein System, das nur den Text bewertet, der einem Zieltext vorgeht. Im Gegensatz dazu wertet ein bidirektionales System sowohl den Text aus, der einem Zieltext vorgeht als auch folgend. Weitere Informationen finden Sie unter bidirektionale Elemente.

Unidirektionales Sprachmodell

#language

Ein Sprachmodell, dessen Wahrscheinlichkeiten nur auf den Tokens beruhen, die vor und nicht nach den Zieltokens angezeigt werden. Kontrast mit einem bidirektionalen Sprachmodell erstellen

V

Variational Autoencoder (VAE)

#language

Eine Art von Autoencoder, der die Diskrepanz zwischen Eingaben und Ausgaben nutzt, um modifizierte Versionen der Eingaben zu generieren. Variationaler Autoencoder sind nützlich für generative KI.

VAEs basieren auf Variationsinferenz: einer Methode zur Schätzung der Parameter eines Wahrscheinlichkeitsmodells.

W

Worteinbettung

#language

Darstellung jedes Wortes in einem Wortsatz, der in einem Einbettungsvektor enthalten ist, d.h.jedes Wort als Vektor von Gleitkommawerten zwischen 0,0 und 1,0. Wörter mit ähnlicher Bedeutung haben ähnlichere Darstellungen als Wörter mit unterschiedlichen Bedeutungen. So würden beispielsweise karotten, celery und gurken relativ ähnliche Darstellungen geben, die sich stark von den Darstellungen von Flugzeug, Sonnenbrille und Zahnpasta unterscheiden würden.

Z

Zero-Shot-Prompt

#language
#generativeKI

Eine Eingabeaufforderung, die kein Beispiel dafür bietet, wie das Large-Language-Modell reagieren soll. Beispiel:

Bestandteile eines Prompts Notes
Was ist die offizielle Währung des angegebenen Landes? Die Frage, die das LLM beantworten soll.
Indien: Die eigentliche Abfrage.

Das Large-Language-Modell kann mit Folgendem antworten:

  • Rupie
  • INR
  • Indische Rupie
  • Die Rupie
  • Indische Rupie

Alle Antworten sind richtig, auch wenn Sie vielleicht ein bestimmtes Format bevorzugen.

Vergleichen Sie die Aufforderung mit Null-Aufnahme den folgenden Begriffen und stellen Sie sie gegenüber: