Questa pagina contiene i termini del glossario Google Cloud. Per tutti i termini del glossario, fai clic qui.
A
chip dell'acceleratore
Categoria di componenti hardware specializzati per i calcoli delle chiavi necessarie per gli algoritmi di deep learning.
I chip di acceleratore (o semplicemente gli acceleratori, in breve) possono aumentare significativamente la velocità e l'efficienza delle attività di addestramento e inferenza rispetto a una CPU per uso generico. Sono ideali per l'addestramento di reti neurali e attività simili con elevata intensità di calcolo.
Esempi di chip di acceleratore includono:
- TPU (Tensor Processing Unit) di Google con hardware dedicato per il deep learning.
- Le GPU di NVIDIA, sebbene inizialmente progettate per l'elaborazione grafica, sono progettate per consentire l'elaborazione parallela, il che può aumentare notevolmente la velocità di elaborazione.
B
inferenza batch
Il processo di detrazione delle previsioni su più esempi non etichettati suddiviso in sottoinsiemi più piccoli ("batch").
L'inferenza batch può sfruttare le funzionalità di parallelizzazione dei chip di acceleratore. Ciò significa che più acceleratori possono dedurre contemporaneamente le previsioni su diversi batch di esempi non etichettati, aumentando drasticamente il numero di inferenze al secondo.
C
Cloud TPU
Un acceleratore hardware specializzato per velocizzare i carichi di lavoro di machine learning su Google Cloud.
D
dispositivo
Un termine sovraccarico con le seguenti due possibili definizioni:
- Una categoria di hardware in grado di eseguire una sessione TensorFlow, che include CPU, GPU e TPU.
- Durante l'addestramento di un modello ML su chip di acceleratori (GPU o TPU), la parte del sistema che manipola effettivamente i tensori e gli incorporamenti. Il dispositivo viene eseguito su chip di accelerazione. Al contrario, l'host di solito viene eseguito su una CPU.
V
organizzatore
Durante l'addestramento di un modello di ML su chip di acceleratore (GPU o TPU), la parte del sistema che controlla entrambi i seguenti aspetti:
- Il flusso complessivo del codice.
- Estrazione e trasformazione della pipeline di input.
In genere l'host viene eseguito su una CPU, non su un chip di acceleratore; il dispositivo manipola i tensori sui chip dell'acceleratore.
L
mesh
Nella programmazione parallela di ML, termine associato all'assegnazione di dati e modello ai chip TPU e alla definizione del modo in cui questi valori verranno messi in shard o replicati.
Mesh è un termine di sovraccarico che può indicare una delle seguenti situazioni:
- Un layout fisico dei chip TPU.
- Un costrutto logico astratto per la mappatura di dati e modello ai chip TPU.
In entrambi i casi, un mesh viene specificato come forma.
S
shard
Una divisione logica del set di addestramento o del modello. In genere, un processo crea shard dividendo gli esempi o i parametri in blocchi (di solito) di dimensioni uguali. Ogni shard viene quindi assegnato a una macchina diversa.
Lo sharding di un modello è chiamato Parallelismo del modello, mentre lo sharding dei dati è chiamato Parallelismo dei dati.
T
Tensor Processing Unit (TPU)
Un circuito integrato specifico per l'applicazione (ASIC) che ottimizza le prestazioni dei carichi di lavoro di machine learning. Questi ASIC vengono distribuiti come più chip TPU su un dispositivo TPU.
TPU
Abbreviazione di Tensor Processing Unit.
Chip TPU
Un acceleratore di algebra lineare programmabile con memoria su chip ad alta larghezza di banda, ottimizzato per i carichi di lavoro di machine learning. Su un dispositivo TPU è stato eseguito il deployment di più chip TPU.
Dispositivo TPU
Una scheda per circuiti stampati (PCB) con più chip TPU, interfacce di rete a larghezza di banda elevata e hardware di raffreddamento del sistema.
Master TPU
Il processo di coordinamento centrale in esecuzione su una macchina host che invia e riceve dati, risultati, programmi, prestazioni e informazioni sullo stato del sistema ai worker TPU. Il master TPU gestisce anche la configurazione e l'arresto dei dispositivi TPU.
Nodo TPU
Una risorsa TPU su Google Cloud con un tipo di TPU specifico. Il nodo TPU si connette alla tua rete VPC da una rete VPC peer. I nodi TPU sono una risorsa definita nell'API Cloud TPU.
pod di TPU
Una configurazione specifica dei dispositivi TPU in un data center di Google. Tutti i dispositivi in un pod TPU sono connessi tra loro tramite una rete dedicata ad alta velocità. Un pod TPU è la configurazione più grande di dispositivi TPU disponibile per una versione di TPU specifica.
Risorsa TPU
Un'entità TPU su Google Cloud che crei, gestisci o utilizzi. Ad esempio, i nodi TPU e i tipi TPU sono risorse TPU.
Sezione TPU
Una sezione TPU è una parte frazionata dei dispositivi TPU in un pod TPU. Tutti i dispositivi nella sezione TPU sono connessi tra loro tramite una rete dedicata ad alta velocità.
Tipo di TPU
Una configurazione di uno o più dispositivi TPU con una versione hardware TPU specifica. Selezioni un tipo di TPU quando crei
un nodo TPU su Google Cloud. Ad esempio, un tipo di TPU v2-8 è un singolo dispositivo TPU v2 con 8 core. Un tipo di TPU v3-2048 ha 256
dispositivi TPU v3 in rete e un totale di 2048 core. I tipi di TPU sono una risorsa
definita nell'API Cloud TPU.
worker TPU
Un processo che viene eseguito su una macchina host ed esegue programmi di machine learning su dispositivi TPU.