Types de quotas
La plate-forme Earth Engine applique un certain nombre de limites de quota pour s'assurer que les ressources sont réparties équitablement entre les utilisateurs. Étant donné qu'il existe de nombreux types de ressources différents dans Earth Engine (calcul, stockage, etc.), il existe de nombreux types de limites de quota.
La principale distinction entre les différents types de quotas est de savoir s'ils sont ajustables. Pour certains types de quotas, nous pouvons modifier les limites par utilisateur ou par projet, tandis que d'autres types sont des limites à l'échelle du système qui ne peuvent pas être modifiées.
Limites de quota ajustables
Les limites suivantes s'appliquent par projet.
| Type de quota | Valeur par défaut (par projet) |
|---|---|
| Nombre maximal de requêtes simultanées (point de terminaison standard) | 40 requêtes simultanées |
| Nombre maximal de requêtes simultanées (point de terminaison à volume élevé) | 40 requêtes simultanées |
| Taux maximal de requêtes (par projet) | 100 requêtes/s (6 000 requêtes/min) |
| Taux maximal de requêtes (par compte) | 100 requêtes/s (6 000 requêtes/min) |
| Nombre moyen de tâches par lot simultanées | 2 tâches (en moyenne) |
| Espace de stockage maximal des assets | 250 Go |
| Nombre maximal de composants | 10 000 |
| Temps de calcul Earth Engine (temps d'EECU) par jour en secondes | Illimité |
Requêtes interactives simultanées
Chaque projet peut envoyer des requêtes interactives en parallèle, dans la limite d'un quota. Si la limite est dépassée, Earth Engine renvoie des erreurs "HTTP 429 : trop de requêtes". En général, ces erreurs sont gérées par la bibliothèque cliente Earth Engine, qui encapsule les requêtes dans un intervalle exponentiel entre les tentatives, en relançant la requête jusqu'à ce qu'elle aboutisse. La bibliothèque cliente Earth Engine relancera la requête jusqu'à cinq fois.
Pour éviter de recevoir ces erreurs 429, vous pouvez activer la mise en cache pour votre application, par exemple à l'aide de memcache, afin d'éviter les requêtes redondantes lorsque cela est possible. Si vous utilisez une ancienne version de la bibliothèque cliente Earth Engine qui ne relance pas automatiquement les requêtes, ou si une requête n'est toujours pas terminée après cinq tentatives, vous devrez peut-être implémenter un intervalle exponentiel entre les tentatives pour les requêtes.
Taux de requêtes (RPS)
En plus des limites de simultanéité, Earth Engine limite le taux de requêtes interactives au niveau du projet et de l'utilisateur. Ces paramètres peuvent être ajustés dans la console Cloud.
Tâches par lot simultanées
Les tâches par lot sont limitées à un faible niveau de parallélisme, car elles utilisent plus de ressources que les requêtes interactives.
Lorsque vous utilisez Earth Engine à des fins non commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est déterminé par votre niveau non commercial.
Lorsque vous utilisez Earth Engine à des fins commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est déterminé par le forfait, bien qu'il puisse être encore réduit en définissant la limite de simultanéité des tâches par lot par projet. Par défaut, la limite de simultanéité des tâches par lot sur un projet est définie sur le maximum autorisé par le forfait payant configuré sur le compte de facturation du projet. Pour afficher ou modifier cette limite sur un projet, consultez la documentation de l'outil de ligne de commande.
Quota de stockage des assets
Chaque élément Earth Engine possède une taille de stockage de données correspondante, mesurée en octets. Les éléments peuvent appartenir à des projets cloud ou à des personnes physiques (éléments anciens). Chaque élément est comptabilisé dans la limite Earth Engine de son propriétaire en termes de stockage global et de nombre d'éléments.
Pour demander un quota de stockage d'éléments supplémentaire pour une utilisation non commerciale ou de recherche, consultez Utilisation non commerciale ou de recherche.
Temps d'EECU par jour
Si vous souhaitez contrôler les coûts, vous pouvez limiter le temps d'EECU qu'un projet est autorisé à consommer sur Earth Engine par jour. Par défaut, ce quota est illimité. Les administrateurs de quotas peuvent définir cette limite dans la console Cloud en filtrant la métrique de quota earthengine.googleapis.com/daily_eecu_usage_time. Une fois défini, ce quota cumule le temps EECU consommé par les requêtes Earth Engine réussies de tous les utilisateurs d'un projet. Lorsque le quota est dépassé, les requêtes échouent jusqu'à ce que le quota soit réinitialisé le jour suivant ou que la limite soit augmentée. Pour en savoir plus sur la définition de ce quota, consultez le guide sur le contrôle des coûts.
Limites de quota fixes
Ces types de limites de quota sont définis au niveau de la plate-forme. Ils ne peuvent donc pas être ajustés par utilisateur ou par projet. Il est peu probable qu'elles changent de manière significative au fil du temps.
Temps de calcul
Les différents types de requêtes ont des durées maximales différentes, qui sont détaillées dans la documentation sur les environnements de traitement.
Pour obtenir de l'aide sur la résolution des erreurs de délai avant expiration, consultez le guide de débogage.
Espace mémoire utilisé par requête
Lorsqu'une requête échoue avec le message "User memory limit exceeded" (Limite de mémoire utilisateur dépassée), cela signifie qu'Earth Engine n'a pas pu calculer la réponse dans l'espace mémoire autorisé. La plate-forme de calcul EE dispose d'une quantité limitée de RAM et, pour garantir la stabilité du système, chaque requête ne peut en utiliser qu'une certaine quantité. La quantité maximale de mémoire disponible dépend du type de requête (par exemple, plus pour une tâche par lot que pour une tuile de carte), mais il s'agit de limites à l'échelle du système.
Pour obtenir de l'aide sur la résolution des erreurs de mémoire, consultez le guide de débogage.
Agrégations
Lors du traitement des requêtes Earth Engine, nous séparons certains types de sous-calculs qui, nous le savons, sont gourmands en ressources de calcul. Ces sous-calculs sont appelés "agrégations" et sont gérés de manière spécifique dans le système EE. Les résultats des agrégations sont mis en cache pour éviter d'avoir à les recalculer.
Agrégations simultanées
Pour éviter une distribution incontrôlée des calculs, nous limitons le nombre d'agrégations qu'un utilisateur peut exécuter simultanément. Cette limite ne peut pas être modifiée. Lorsqu'une requête échoue avec le message "Trop d'agrégations simultanées", cela signifie que le demandeur avait trop d'agrégations en cours d'exécution en même temps.
Pour obtenir de l'aide sur la résolution des erreurs d'agrégation simultanée, consultez le guide de débogage.
Résultats d'agrégation volumineux
Lorsqu'une requête échoue avec le message "Valeur calculée trop élevée", cela signifie que l'agrégation a renvoyé un résultat trop volumineux pour tenir dans notre cache. La taille des résultats calculés est limitée à 100 Mio, et cette limite s'applique à l'ensemble du système.
Limites d'importation des tables
Les limites d'importation de tables sont expliquées dans le guide d'importation de données de table.
Taille de la charge utile de la requête
Une seule requête adressée à Earth Engine est limitée à 10 Mo. Cette limite n'est généralement dépassée que lorsqu'un grand nombre de données supplémentaires sont incluses directement dans la requête, comme un fichier de forme ou une structure GeoJSON intégrée à la requête. Ces objets doivent plutôt être importés et convertis en un élément FeatureCollection, puis référencés par l'ID d'élément.
Longueur de la file d'attente des tâches
Les tâches en attente de planification (à l'état READY) forment la "file d'attente de tâches". La file d'attente de chaque projet accepte un maximum de 3 000 tâches. Cela signifie qu'il n'est pas possible d'avoir plus de 3 000 tâches à l'état READY.
Limites de quota des fonctions matricielles BigQuery
Les quotas suivants s'appliquent aux appels à Earth Engine depuis BigQuery, par exemple lorsque vous utilisez la fonction SQL ST_REGIONSTATS.
| Type de quota | Valeur par défaut (par projet) |
|---|---|
| Temps d'emplacement BigQuery par jour | 1 260 000 secondes d'utilisation des emplacements (350 heures d'utilisation des emplacements) |
Temps d'emplacement BigQuery par jour
Le quota de temps d'emplacement BigQuery par jour est un quota personnalisé qui vous permet de limiter la quantité de temps d'emplacement que les fonctions matricielles BigQuery sont autorisées à consommer sur Earth Engine un jour donné pour un projet donné. Le quota quotidien cumule la durée totale de toutes les requêtes, même celles qui échouent. Vous pouvez afficher le quota dans la console Cloud sous la métrique earthengine.googleapis.com/bigquery_slot_usage_time. Un administrateur de quotas peut ajuster la valeur à la hausse ou à la baisse. Pour augmenter la valeur au-delà de la valeur par défaut, créez une demande d'augmentation de quota, qui sera automatiquement approuvée. La modification devrait prendre effet dans un délai de 10 minutes.
Si vous dépassez ce quota, BigQuery renvoie le message d'erreur suivant :
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
Une fois le quota dépassé, les appels ST_REGIONSTATS échoueront jusqu'à ce que le quota soit réinitialisé le jour suivant ou que la limite soit augmentée par un administrateur.