Earth Engine si basa sugli strumenti e sui servizi di Google per l'esecuzione di calcoli su larga scala. Per semplificare l'esecuzione di analisi geospaziali su larga scala, la piattaforma e l'API Earth Engine nascondono gran parte della complessità dell'infrastruttura di elaborazione parallela sottostante.
EECU
Panoramica
Un'unità di calcolo di Earth Engine (EECU) è un meccanismo per rappresentare una quantità di potenza di elaborazione istantanea. Earth Engine monitora l'impatto computazionale totale delle attività in funzione del loro utilizzo di EECU nel tempo (secondi EECU, ore EECU e così via). Poiché Google dispone di molti tipi diversi di core di processori, architetture e così via, Le EECU sono un'astrazione utile per parlare di potenza di calcolo.
Motivazione
Gli utenti di EE spesso vogliono fare stime sulla quantità di potenza di elaborazione richiesta per i loro workflow e le EECU forniscono una metrica coerente per fare confronti.
Confronto con le metriche della CPU
Il numero, il tipo e l'architettura delle macchine che lavorano su un determinato risultato possono cambiare nel tempo. Poiché i diversi core fisici possono avere caratteristiche di prestazioni diverse, Earth Engine astrae tutta l'elaborazione utilizzando le EECU. Un'ora EECU (o qualsiasi altra unità di tempo EECU) non corrisponde a un'ora dell'orologio, quindi un job che consuma 10 ore EECU potrebbe avere un tempo di esecuzione osservato di soli pochi minuti.
Stabilità e prevedibilità
L'invio di richieste uguali (o simili) a Earth Engine a volte può comportare quantità di calcolo molto diverse. I fattori più comuni che determinano le differenze includono:
- Memorizzazione nella cache, ad esempio il riutilizzo dei risultati di calcoli precedenti (inclusi i risultati parziali o intermedi)
- dati di base diversi, come un numero variabile di immagini satellitari, geometrie di complessità diversa e così via.
- modifiche agli algoritmi sulla piattaforma EE, tra cui ottimizzazioni delle prestazioni, correzioni di bug e così via.
- modifiche alle librerie client, in particolare se dipendi dal codice o dai pacchetti EE di altri utenti
Benchmark
Esplora i benchmark di calcolo di Earth Engine di esempio.
Metriche per le richieste non riuscite
Earth Engine non fornisce metriche sul rendimento per le richieste/le attività non riuscite, poiché questi numeri sarebbero imprecisi o fuorvianti. Ad esempio, se un job non riesce perché un'attività worker non risponde, il consumo di elaborazione di quel worker non può essere incluso nel totale.
Profiler
Il profiler fornisce informazioni sul tempo EECU e sulla memoria utilizzata (per algoritmo e asset) risultanti dal calcolo eseguito mentre è abilitato. Ogni riga nell'output del profiler corrisponde a un algoritmo, un calcolo, un caricamento di asset o un'operazione di overhead, come descritto nella colonna "Descrizione". Le colonne del profiler sono:
- Descrizione
- Una descrizione testuale del calcolo, dell'algoritmo, del caricamento degli asset o dell'overhead di cui viene eseguito il profiling.
- Conteggio
- Un indicatore proporzionale al numero di volte in cui è stata richiamata l'operazione descritta in "Descrizione".
- Computing
- Un indicatore del tempo EECU impiegato dalle operazioni.
- Memoria attuale
Questa colonna viene visualizzata solo se si è verificato un errore perché lo script
ha utilizzato troppa memoria. Mostra la quantità di memoria in uso su un singolo nodo di computing nel momento in cui si è verificato l'errore.
- Memoria di picco
Memoria massima utilizzata su un singolo nodo di computing per l'operazione.
Abilitazione del profiler
Editor di codice
Utilizza il pulsante "Esegui con Profiler", come descritto nella guida dell'editor di codice.
Python
Includi il seguente codice nello script Python per attivare il profiler:
with ee.profilePrinting():
print(ee.Number(3.14).add(0.00159).getInfo())
Il profilo verrà stampato al termine del contesto, indipendentemente dal fatto che si siano verificati o meno errori all'interno del contesto.
Per acquisire il profilo come stringa, scrivilo in un buffer di stringhe:
import io
out = io.StringIO()
with ee.profilePrinting(destination=out) as p:
print(ee.Number(3.14).add(0.00159).getInfo())
print('Output:')
print(out.getvalue())
Ecco un suggerimento per trasformare la stringa del profilo in una tabella per un'analisi più semplice in Colab e nei blocchi note Jupyter (tieni presente che questo è solo un approccio e potrebbe non essere adatto a tutti i casi):
import re
import pandas as pd
lines = out.getvalue().split('\n')
column_names = re.split(r'\s{1,}', lines[0])
column_names = [name.strip() for name in column_names if name.strip()]
data = [
[element for element in re.split(r'\s{2,}', line) if element.strip()]
for line in lines[1:-1]
]
df = pd.DataFrame(data, columns=column_names)
display(df)