Виды квот
Платформа Earth Engine имеет ряд квотных ограничений, обеспечивающих справедливое распределение ресурсов между пользователями. Поскольку в Earth Engine доступно множество различных типов ресурсов (вычислительные ресурсы, хранилище и т. д.), существует множество различных типов квотных ограничений.
Основное различие между различными типами квот заключается в том, можно ли их регулировать. Для некоторых типов квот мы можем изменять лимиты для каждого пользователя или проекта, в то время как другие типы представляют собой системные ограничения, которые изменить нельзя.
Регулируемые лимиты квот
Следующие ограничения применяются к каждому проекту отдельно.
| Тип квоты | Значение по умолчанию (для каждого проекта) |
|---|---|
| Максимальное количество одновременных запросов (стандартная конечная точка) | 40 одновременных запросов |
| Максимальное количество одновременных запросов (для конечных точек с большим объемом запросов) | 40 одновременных запросов |
| Максимальное количество запросов (на проект) | 100 запросов/с (6000 запросов/мин) |
| Максимальная частота запросов (на один аккаунт) | 100 запросов/с (6000 запросов/мин) |
| Среднее количество одновременно выполняемых пакетных задач | 2 задачи (в среднем) |
| Максимальное пространство для хранения активов | 250 ГБ |
| Максимальное количество активов | 10 000 |
| Время вычислений Earth Engine (время EECU) в секунду в сутки | Без ограничений |
Одновременные интерактивные запросы
Каждый проект может отправлять интерактивные запросы параллельно, в пределах установленного лимита квоты. Если лимит превышен, Earth Engine вернет ошибку "HTTP 429: Too Many Requests" . Как правило, эти ошибки обрабатываются клиентской библиотекой Earth Engine, которая использует экспоненциальную задержку при обработке запросов, повторяя запрос до тех пор, пока он не будет успешным. Клиентская библиотека Earth Engine может повторить запрос до пяти раз.
Чтобы избежать ошибок 429, вы можете включить кэширование для своего приложения, например, используя memcache, чтобы по возможности избегать повторных запросов. Если вы используете более старую версию клиентской библиотеки Earth Engine, которая не повторяет запросы автоматически, или если запрос не завершается после пяти попыток, вам может потребоваться реализовать экспоненциальную задержку обработки запросов.
Частота запросов (QPS)
Помимо ограничений на количество одновременных запросов , Earth Engine ограничивает скорость интерактивных запросов на уровне проекта и пользователя. Эти настройки можно изменить в консоли Cloud Console.
Параллельные пакетные задачи
Пакетные задачи характеризуются ограниченным уровнем параллелизма, поскольку используют больше ресурсов, чем интерактивные запросы .
При использовании Earth Engine в некоммерческих целях максимальное количество одновременно запускаемых пакетных задач определяется вашим некоммерческим тарифным планом .
При коммерческом использовании Earth Engine максимальное количество одновременно выполняемых пакетных задач определяется тарифным планом , хотя его можно дополнительно снизить, установив лимит параллельного выполнения пакетных задач для каждого проекта. По умолчанию лимит параллельного выполнения пакетных задач для проекта устанавливается на максимально допустимое значение, установленное в тарифном плане, настроенном в учетной записи для выставления счетов по проекту. Чтобы просмотреть или изменить этот лимит для проекта, см. документацию по инструменту командной строки .
Квота на хранение активов
Каждому ресурсу Earth Engine соответствует определенный объем хранилища данных, измеряемый в байтах. Ресурсы могут принадлежать облачным проектам или отдельным лицам (устаревшие ресурсы), и каждый ресурс учитывается в общем лимите хранилища и количества ресурсов Earth Engine, установленном для его владельца.
Время EECU в сутки
Если вы хотите контролировать расходы, вы можете ограничить количество времени EECU, которое проект может использовать в Earth Engine в день. По умолчанию эта квота неограничена. Администраторы квот могут установить это ограничение в облачной консоли , отфильтровав данные по метрике квоты earthengine.googleapis.com/daily_eecu_usage_time . После установки эта квота будет накапливать время EECU, использованное для успешных запросов Earth Engine от всех пользователей в проекте. При превышении квоты запросы будут завершаться с ошибкой до тех пор, пока квота не будет сброшена на следующий день или лимит не будет увеличен. Дополнительные сведения о настройке этой квоты см. в руководстве по контролю затрат .
Фиксированные квотные лимиты
Эти ограничения по квотам устанавливаются на уровне платформы, поэтому их нельзя изменять для каждого пользователя или проекта отдельно. Вряд ли они существенно изменятся со временем.
Время вычислений
Для разных типов запросов установлены разные максимальные сроки выполнения, которые подробно описаны в документации по средам обработки .
Для получения помощи по устранению ошибок тайм-аута см. руководство по отладке .
Объем памяти, используемый для каждого запроса
Если запрос завершается ошибкой «Превышен лимит памяти пользователя», это означает, что Earth Engine не смог вычислить ответ в рамках допустимого объема памяти. Вычислительная платформа EE имеет ограниченный объем доступной оперативной памяти, и для обеспечения стабильности системы каждый запрос может использовать только определенный объем. Максимальный объем доступной памяти зависит от типа запроса (например, больше для пакетной задачи, чем для фрагмента карты), но это общесистемные ограничения.
Для получения помощи по устранению ошибок памяти см. руководство по отладке .
Агрегации
При обработке запросов Earth Engine мы выделяем определенные типы подвычислений, которые, как нам известно, требуют больших вычислительных ресурсов. Эти подвычисления называются «агрегациями», и в системе EE они обрабатываются особым образом. Результаты агрегаций кэшируются, чтобы избежать повторных вычислений.
Одновременные агрегации
Чтобы избежать неконтролируемого распределения вычислительных ресурсов, мы ограничиваем количество агрегаций, которые может одновременно выполнять один пользователь, и это ограничение не подлежит изменению. Если запрос завершается ошибкой «Слишком много одновременных агрегаций», это означает, что запрашивающий выполнял слишком много агрегаций одновременно.
Для получения помощи в устранении ошибок параллельной агрегации см. руководство по отладке .
Результаты крупной агрегации
Если запрос завершается ошибкой "Вычисленное значение слишком велико", это означает, что агрегация вернула результат, который не помещается в наш кэш. Ограничение на размер вычисляемых результатов составляет 100 МиБ, и это общесистемное ограничение.
Ограничения на импорт таблиц
Ограничения на загрузку таблиц описаны в руководстве по импорту данных таблиц .
Размер запрашиваемой полезной нагрузки
Размер одного запроса к Earth Engine ограничен 10 МБ. Это ограничение обычно превышается только в том случае, если в запрос непосредственно включается какой-либо большой объем дополнительных данных, например, шейп-файл или структура GeoJSON, встроенная в запрос. Эти объекты следует загружать и преобразовывать в ресурс FeatureCollection, ссылаясь на него по идентификатору ресурса.
Длина очереди задач
Задачи, ожидающие планирования (находящиеся в состоянии READY ), образуют «очередь задач». Очередь каждого проекта поддерживает максимум 3000 задач. Это означает, что в состоянии READY не может находиться более 3000 задач.
Ограничения квот для растровых функций BigQuery
К вызовам Earth Engine из BigQuery, например, при использовании SQL-функции ST_REGIONSTATS , применяются следующие квоты.
| Тип квоты | Значение по умолчанию (для каждого проекта) |
|---|---|
| Время выполнения запроса BigQuery в день | 1 260 000 слот-секунд (350 слот-часов) |
Время выполнения запроса BigQuery в день
Квота BigQuery на использование слотов в день — это настраиваемая квота, позволяющая ограничить количество времени, которое растровые функции BigQuery могут использовать в Earth Engine в течение дня для данного проекта. Ежедневная квота суммирует общее время выполнения всех запросов, даже тех, которые завершились с ошибкой. Вы можете просмотреть квоту в Cloud Console в разделе earthengine.googleapis.com/bigquery_slot_usage_time , а значение может быть изменено администратором квот. Чтобы увеличить значение выше значения по умолчанию, создайте запрос на увеличение квоты , который будет автоматически одобрен. Изменение должно вступить в силу в течение 10 минут.
Если вы превысите эту квоту, BigQuery вернет следующее сообщение об ошибке:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
После превышения квоты вызовы ST_REGIONSTATS будут завершаться с ошибкой до тех пор, пока квота не будет сброшена на следующий день или лимит не будет увеличен администратором.