Auf dieser Seite finden Sie Begriffe aus dem Google Cloud-Glossar. Hier finden Sie alle Begriffe aus dem Glossar.
A
Beschleunigerchip
Eine Kategorie spezieller Hardwarekomponenten, die für die Ausführung wichtiger Berechnungen entwickelt wurden, die für Deep-Learning-Algorithmen erforderlich sind.
Beschleunigerchips (kurz Beschleuniger) können die Geschwindigkeit und Effizienz von Trainings- und Inferenzaufgaben im Vergleich zu einer allgemeinen CPU erheblich steigern. Sie eignen sich ideal für das Training von neuronalen Netzwerken und ähnlichen rechenintensiven Aufgaben.
Beispiele für Beschleunigerchips:
- Tensor Processing Units (TPUs) von Google mit spezieller Hardware für Deep Learning
- Die GPUs von NVIDIA, die ursprünglich für die Grafikverarbeitung entwickelt wurden, ermöglichen eine parallele Verarbeitung, was die Verarbeitungsgeschwindigkeit erheblich steigern kann.
B
Batch-Inferenz
Der Prozess, bei dem Vorhersagen für mehrere unbeschriftete Beispiele abgeleitet werden, die in kleinere Teilmengen („Batches“) unterteilt sind.
Bei der Batch-Inferenz können die Parallelisierungsfunktionen von Beschleunigerchips genutzt werden. Das bedeutet, dass mehrere Beschleuniger gleichzeitig Vorhersagen für verschiedene Batches von unlabelten Beispielen ableiten können, wodurch die Anzahl der Inferenzen pro Sekunde drastisch erhöht wird.
Weitere Informationen finden Sie im Machine Learning Crash Course unter Produktions-ML-Systeme: Statische und dynamische Inferenz.
C
Cloud TPU
Ein spezieller Hardwarebeschleuniger, der Arbeitslasten für maschinelles Lernen in Google Cloud beschleunigt.
D
Gerät
Ein überladener Begriff mit den folgenden beiden möglichen Definitionen:
- Eine Kategorie von Hardware, auf der eine TensorFlow-Sitzung ausgeführt werden kann, einschließlich CPUs, GPUs und TPUs.
- Beim Training eines ML-Modells auf Beschleunigerchips (GPUs oder TPUs) ist dies der Teil des Systems, der tatsächlich Tensoren und Embeddings manipuliert. Das Gerät wird mit Beschleunigerchips betrieben. Der Host wird dagegen in der Regel auf einer CPU ausgeführt.
H
Host
Beim Trainieren eines ML-Modells auf Beschleunigerchips (GPUs oder TPUs) ist dies der Teil des Systems, der Folgendes steuert:
- Den Gesamtablauf des Codes.
- Extrahieren und Transformieren der Eingabepipeline.
Der Host wird in der Regel auf einer CPU und nicht auf einem Beschleunigerchip ausgeführt. Das Gerät verarbeitet Tensoren auf den Beschleunigerchips.
M
Mesh-Netzwerk
Bei der parallelen Programmierung in der ML wird dieser Begriff verwendet, um TPU-Chips Daten und Modelle zuzuweisen und zu definieren, wie diese Werte geSharded oder repliziert werden.
„Mesh“ ist ein überlasteter Begriff, der Folgendes bedeuten kann:
- Ein physisches Layout von TPU-Chips.
- Ein abstraktes logisches Konstrukt zum Zuordnen der Daten und des Modells zu den TPU-Chips.
In beiden Fällen wird ein Mesh als Form angegeben.
S
Shard
Eine logische Aufteilung des Trainingsdatensatzes oder des Modells. Normalerweise werden Shards durch einen Prozess erstellt, bei dem die Beispiele oder Parameter in (in der Regel) gleich große Blöcke unterteilt werden. Jeder Shard wird dann einem anderen Computer zugewiesen.
Das Sharding eines Modells wird als Modellparallelität bezeichnet. Das Sharding von Daten wird als Datenparallelität bezeichnet.
T
Tensor Processing Unit (TPU)
Ein anwendungsspezifischer integrierter Schaltkreis (Application-Specific Integrated Circuit, ASIC), der die Leistung von Arbeitslasten für maschinelles Lernen optimiert. Diese ASICs werden als mehrere TPU-Chips auf einem TPU-Gerät bereitgestellt.
TPU
Abkürzung für Tensor Processing Unit.
TPU-Chip
Ein programmierbarer Beschleuniger für lineare Algebra mit On-Chip-Speicher mit hoher Bandbreite, der für Arbeitslasten für maschinelles Lernen optimiert ist. Mehrere TPU-Chips werden auf einem TPU-Gerät bereitgestellt.
TPU-Gerät
Eine Leiterplatte (Printed Circuit Board, PCB) mit mehreren TPU-Chips, Netzwerkschnittstellen mit hoher Bandbreite und Systemkühlungshardware.
TPU-Master
Der zentrale Koordinierungsprozess, der auf einem Hostcomputer ausgeführt wird und Daten, Ergebnisse, Programme, Leistungs- und Systemstatusinformationen an die TPU-Worker sendet und empfängt. Der TPU-Master verwaltet auch die Einrichtung und das Herunterfahren von TPU-Geräten.
TPU-Knoten
Eine TPU-Ressource in Google Cloud mit einem bestimmten TPU-Typ. Der TPU-Knoten stellt über ein Peer-VPC-Netzwerk eine Verbindung zu Ihrem VPC-Netzwerk her. TPU-Knoten sind eine in der Cloud TPU API definierte Ressource.
TPU-Pod
Eine bestimmte Konfiguration von TPU-Geräten in einem Google-Rechenzentrum. Alle Geräte in einem TPU-Pod sind über ein dediziertes Hochgeschwindigkeitsnetzwerk miteinander verbunden. Ein TPU-Pod ist die größte Konfiguration von TPU-Geräten, die für eine bestimmte TPU-Version verfügbar ist.
TPU-Ressource
Eine TPU-Entität in Google Cloud, die Sie erstellen, verwalten oder nutzen. Beispiele für TPU-Ressourcen sind TPU-Knoten und TPU-Typen.
TPU-Slice
Ein TPU-Slice ist ein Bruchteil der TPU-Geräte in einem TPU-Pod. Alle Geräte in einem TPU-Speil sind über ein dediziertes Hochgeschwindigkeitsnetzwerk miteinander verbunden.
TPU-Typ
Eine Konfiguration von einem oder mehreren TPU-Geräten mit einer bestimmten TPU-Hardwareversion. Sie wählen einen TPU-Typ aus, wenn Sie einen TPU-Knoten in Google Cloud erstellen. Ein v2-8-TPU-Typ ist beispielsweise ein einzelnes TPU v2-Gerät mit 8 Kernen. Ein v3-2048-TPU-Typ hat 256 vernetzte TPU v3-Geräte und insgesamt 2.048 Kerne. TPU-Typen sind Ressourcen, die in der Cloud TPU API definiert sind.
TPU-Worker
Ein Prozess, der auf einem Hostcomputer ausgeführt wird und Programme für maschinelles Lernen auf TPU-Geräten ausführt.