Diese Seite enthält Glossarbegriffe von Google Cloud. Alle Glossarbegriffe finden Sie hier.
A
Beschleunigerchip
Eine Kategorie spezialisierter Hardwarekomponenten, die für die Durchführung von Schlüsselberechnungen für Deep-Learning-Algorithmen entwickelt wurden.
Beschleunigerchips (oder kurz Beschleuniger) können die Geschwindigkeit und Effizienz von Trainings- und Inferenzaufgaben im Vergleich zu einer CPU für allgemeine Zwecke erheblich erhöhen. Sie sind ideal für das Trainieren neuronaler Netzwerke und ähnliche rechenintensive Aufgaben.
Beispiele für Beschleuniger-Chips:
- Tensor Processing Units (TPUs) von Google mit dedizierter Hardware für Deep Learning.
- Die GPUs von NVIDIA wurden zwar ursprünglich für die Grafikverarbeitung entwickelt, sind aber für die parallele Verarbeitung konzipiert, wodurch die Verarbeitungsgeschwindigkeit erheblich erhöht werden kann.
B
Batch-Inferenz
Das Ableiten von Vorhersagen aus mehreren Beispielen ohne Label, die in kleinere Teilmengen („Batches“) unterteilt sind.
Batchinferenzen können die Parallelisierungsfeatures von Beschleunigerchips nutzen. Das heißt, mehrere Beschleuniger können gleichzeitig Vorhersagen für verschiedene Batches von Beispielen ohne Label ableiten, was die Anzahl der Inferenzen pro Sekunde drastisch erhöht.
C
Cloud TPU
Spezialisierter Hardwarebeschleuniger zur Beschleunigung von ML-Arbeitslasten in Google Cloud
D
Gerät
Ein überladener Begriff mit den folgenden zwei möglichen Definitionen:
- Hardwarekategorie für die Ausführung einer TensorFlow-Sitzung, einschließlich CPUs, GPUs und TPUs.
- Beim Trainieren eines ML-Modells auf Beschleunigerchips (GPUs oder TPUs) ist der Teil des Systems, der Tensoren und Einbettungen tatsächlich manipuliert. Das Gerät wird auf Beschleunigerchips ausgeführt. Im Gegensatz dazu wird der Host normalerweise auf einer CPU ausgeführt.
H
Gastgeber
Beim Trainieren eines ML-Modells auf Beschleunigerchips (GPUs oder TPUs) wird der Teil des Systems verwendet, der die beiden folgenden Vorgänge steuert:
- Der gesamte Ablauf des Codes.
- Extraktion und Transformation der Eingabepipeline.
Der Host wird normalerweise auf einer CPU und nicht auf einem Beschleunigerchip ausgeführt. Das Gerät manipuliert Tensoren auf den Beschleunigerchips.
M
Mesh-Netzwerk
In der parallelen ML-Programmierung ein Begriff, der mit der Zuweisung der Daten und des Modells zu TPU-Chips und der Definition dessen, wie diese Werte fragmentiert oder repliziert werden, in Verbindung steht.
„Mesh“ ist ein überlasteter Begriff, der Folgendes bedeuten kann:
- Ein physisches Layout von TPU-Chips.
- Ein abstraktes logisches Konstrukt zum Zuordnen der Daten und des Modells zu den TPU-Chips.
In beiden Fällen wird ein Mesh-Netzwerk als Form angegeben.
S
Shard
Eine logische Division des Trainings-Datasets oder des Modells. In der Regel werden bei einigen Prozessen Shards erstellt, indem die Beispiele oder Parameter in (normalerweise) gleich große Blöcke unterteilt werden. Jeder Shard wird dann einem anderen Computer zugewiesen.
Das Fragmentieren eines Modells wird als Modellparallelität bezeichnet, das Fragmentieren von Daten als Datenparallelität.
T
Tensor Processing Unit (TPU)
Ein anwendungsspezifischer integrierter Schaltkreis (ASIC), der die Leistung von ML-Arbeitslasten optimiert. Diese ASICs werden als mehrere TPU-Chips auf einem TPU-Gerät bereitgestellt.
TPU
Abkürzung für Tensor Processing Unit.
TPU-Chip
Ein programmierbarer linearer Algebrabeschleuniger mit einem On-Chip-Arbeitsspeicher mit hoher Bandbreite, der für ML-Arbeitslasten optimiert ist. Auf einem TPU-Gerät werden mehrere TPU-Chips bereitgestellt.
TPU-Gerät
Eine Leiterplatte mit mehreren TPU-Chips, Netzwerkschnittstellen mit hoher Bandbreite und Hardware für die Systemkühlung.
TPU-Master
Der zentrale Koordinationsprozess, der auf einem Hostcomputer ausgeführt wird und Daten, Ergebnisse, Programme, Leistungs- und Systemzustandsinformationen an die TPU-Worker sendet und empfängt. Der TPU-Master verwaltet auch das Einrichten und Herunterfahren von TPU-Geräten.
TPU-Knoten
Eine TPU-Ressource in Google Cloud mit einem bestimmten TPU-Typ. Der TPU-Knoten stellt über ein Peer-VPC-Netzwerk eine Verbindung zu Ihrem VPC-Netzwerk her. TPU-Knoten sind eine in der Cloud TPU API definierte Ressource.
TPU-Pod
Eine spezifische Konfiguration von TPU-Geräten in einem Google-Rechenzentrum. Alle Geräte in einem TPU Pod sind über ein dediziertes Hochgeschwindigkeitsnetzwerk miteinander verbunden. Ein TPU-Pod ist die größte Konfiguration von TPU-Geräten, die für eine bestimmte TPU-Version verfügbar sind.
TPU-Ressource
Eine TPU-Entität in Google Cloud, die Sie erstellen, verwalten oder nutzen. TPU-Knoten und TPU-Typen sind beispielsweise TPU-Ressourcen.
TPU-Slice
Ein TPU-Slice ist ein Bruchteil der TPU-Geräte in einem TPU-Pod. Alle Geräte in einem TPU-Slice sind über ein dediziertes Hochgeschwindigkeitsnetzwerk miteinander verbunden.
TPU-Typ
Konfiguration mit einem oder mehreren TPU-Geräten mit einer bestimmten TPU-Hardwareversion. Sie wählen einen TPU-Typ aus, wenn Sie einen TPU-Knoten in Google Cloud erstellen. Ein v2-8-TPU-Typ ist beispielsweise ein einzelnes TPU v2-Gerät mit 8 Kernen. Ein v3-2048-TPU-Typ hat 256 mit dem Netzwerk verbundene TPU v3-Geräte und insgesamt 2.048 Kerne. TPU-Typen sind eine in der Cloud TPU API definierte Ressource.
TPU-Worker
Ein Prozess, der auf einem Hostcomputer und Programmen für maschinelles Lernen auf TPU-Geräten ausgeführt wird.