Типы квот
На платформе Earth Engine действует ряд ограничений, которые обеспечивают справедливое распределение ресурсов между пользователями. Поскольку в Earth Engine доступно множество различных типов ресурсов (вычисления, хранилище и т. д.), существует множество различных типов ограничений квот.
Основное различие между разными типами квот заключается в том, можно ли их настраивать. Для некоторых типов квот мы можем изменить лимиты для отдельных пользователей или проектов, тогда как другие типы квот являются общесистемными и не могут быть изменены.
Настраиваемые лимиты квот
Для каждого проекта действуют следующие ограничения:
| Тип квоты | Значение по умолчанию (для каждого проекта) |
|---|---|
| Максимальное количество параллельных запросов (стандартная конечная точка) | 40 параллельных запросов; |
| Максимальное количество параллельных запросов (конечная точка с большим объемом трафика) | 40 параллельных запросов; |
| Максимальная частота запросов (на проект) | 100 запросов в секунду (6000 запросов в минуту) |
| Максимальное количество запросов (на аккаунт) | 100 запросов в секунду (6000 запросов в минуту) |
| Среднее количество одновременных пакетных задач | 2 задачи (в среднем) |
| Максимальный объем хранилища объектов | 250 ГБ |
| Максимальное количество объектов | 10 000 |
| Время вычислений Earth Engine (EECU-time) в день в секундах | Без ограничений |
Одновременные интерактивные запросы
В каждом проекте можно параллельно выполнять интерактивные запросы в пределах квоты. Если лимит превышен, Earth Engine возвращает ошибку HTTP 429: слишком много запросов. Обычно эти ошибки обрабатываются клиентской библиотекой Earth Engine, которая упаковывает запросы в экспоненциальную выдержку, повторяя запрос до тех пор, пока он не будет выполнен успешно. Клиентская библиотека Earth Engine повторит запрос до пяти раз.
Чтобы избежать ошибок 429, включите кеширование в приложении, например с помощью memcache. Это позволит избежать лишних запросов. Если вы используете более старую версию клиентской библиотеки Earth Engine, которая не повторяет запросы автоматически, или если запрос не выполняется после пяти повторных попыток, вам может потребоваться реализовать экспоненциальную выдержку для запросов.
Частота запросов (запросов/сек)
Помимо ограничений на параллельные запросы, в Earth Engine действуют ограничения на частоту интерактивных запросов на уровне проекта и пользователя. Эти настройки можно изменить в Cloud Console.
Параллельные пакетные задачи
Пакетные задачи ограничены небольшим количеством параллельных процессов, поскольку они используют больше ресурсов, чем интерактивные запросы.
При некоммерческом использовании Earth Engine максимальное количество пакетных задач, которые можно выполнять одновременно, определяется вашим некоммерческим уровнем.
При коммерческом использовании Earth Engine максимальное количество пакетных задач, которые можно выполнять одновременно, определяется тарифным планом, но его можно уменьшить, задав лимит одновременных пакетных задач для проекта. По умолчанию лимит параллельных пакетных задач в проекте устанавливается на максимальное значение, разрешенное тарифным планом, настроенным в платежном аккаунте проекта. Чтобы посмотреть или изменить это ограничение для проекта, ознакомьтесь с документацией по инструменту командной строки.
Квота на хранение объектов
Каждый объект Earth Engine имеет соответствующий размер хранилища данных, измеряемый в байтах. Объекты могут принадлежать облачным проектам или отдельным пользователям (устаревшие объекты). Каждый объект учитывается в лимите владельца на общее хранилище и количество объектов в Earth Engine.
Чтобы подать заявку на дополнительное место для хранения объектов в некоммерческих или исследовательских целях, ознакомьтесь с разделом Некоммерческое или исследовательское использование.
Время EECU в день
Если вы хотите контролировать расходы, то можете ограничить количество времени EECU, которое проект может использовать в Earth Engine за день. По умолчанию квота не ограничена. Администраторы квот могут установить это ограничение в Cloud Console, отфильтровав показатель квоты earthengine.googleapis.com/daily_eecu_usage_time. После настройки эта квота накапливает время EECU, потребленное успешными запросами Earth Engine всех пользователей в проекте. Если квота превышена, запросы не будут выполняться, пока она не будет сброшена на следующий день или пока не будет увеличен лимит. Подробную информацию о настройке этой квоты можно найти в руководстве по управлению расходами.
Фиксированные лимиты квот
Эти квоты устанавливаются на уровне платформы, поэтому их нельзя изменить для отдельных пользователей или проектов. Они вряд ли значительно изменятся со временем.
Время вычислений
Максимальная продолжительность зависит от типа запроса. Подробную информацию можно найти в документации по средам обработки.
Подробнее о том, как устранять ошибки, связанные с превышением времени ожидания…
Объем потребляемой памяти на запрос
Если запрос не выполняется с ошибкой "Превышен лимит памяти пользователя", это означает, что Earth Engine не удалось вычислить ответ в пределах допустимого объема памяти. Вычислительная платформа EE имеет ограниченный объем доступной ОЗУ, и для обеспечения стабильности системы каждый запрос может использовать только определенный объем. Максимальный объем доступной памяти зависит от типа запроса (например, для пакетной задачи он больше, чем для фрагмента карты), но эти ограничения действуют на уровне системы.
Инструкции по устранению ошибок памяти приведены в руководстве по отладке.
Мои данные
При обработке запросов Earth Engine мы отделяем определенные типы подвычислений, которые, как мы знаем, требуют больших вычислительных ресурсов. Эти подвычисления называются агрегациями и обрабатываются в системе EE особым образом. Результаты агрегирования кешируются, чтобы избежать повторных вычислений.
Параллельное агрегирование
Чтобы избежать неконтролируемого разветвления вычислений, мы ограничиваем количество агрегаций, которые отдельный пользователь может запускать одновременно. Это ограничение нельзя изменить. Если запрос отклоняется с ошибкой "Слишком много одновременных агрегирований", это означает, что у отправителя запроса одновременно выполняется слишком много агрегирований.
Подробнее о том, как устранять ошибки параллельного агрегирования…
Большие результаты агрегирования
Если запрос не выполняется и вы видите сообщение "Вычисленное значение слишком велико", это означает, что агрегирование вернуло результат, который не помещается в кеш. Максимальный размер вычисленных результатов составляет 100 МиБ. Это ограничение действует на уровне системы.
Ограничения на импорт таблиц
Ограничения на загрузку таблиц описаны в руководстве по импорту табличных данных.
Размер полезной нагрузки запроса
Размер одного запроса к Earth Engine не должен превышать 10 МБ. Обычно это ограничение превышается, только если в запрос напрямую включен большой объем дополнительных данных, например встроенная структура shape-файла или GeoJSON. Вместо этого такие объекты следует загрузить и преобразовать в объект FeatureCollection, а затем сослаться на них по идентификатору объекта.
Длина очереди задач
Задачи, ожидающие планирования (в состоянии READY), формируют очередь задач. В очереди каждого проекта может быть не более 3000 задач. Это означает,что в состоянии READY не может быть более 3000 задач.
Ограничения квот на функции растровых изображений BigQuery
Для вызовов Earth Engine из BigQuery, например при использовании SQL-функции ST_REGIONSTATS, действуют следующие квоты:
| Тип квоты | Значение по умолчанию (для каждого проекта) |
|---|---|
| Время слота BigQuery в день | 1 260 000 секунд (350 часов) |
Время слота BigQuery в день
Квота на время работы слотов BigQuery в день – это настраиваемая квота, которая позволяет ограничить время работы слотов, которое растровые функции BigQuery могут использовать в Earth Engine в определенный день для определенного проекта. В суточной квоте учитывается общее время выполнения всех запросов, даже тех, которые завершились ошибкой. Вы можете посмотреть квоту в Cloud Console в разделе показателя earthengine.googleapis.com/bigquery_slot_usage_time. Администратор квот может изменить ее значение. Чтобы увеличить значение по умолчанию, создайте запрос на увеличение квоты, который будет одобрен автоматически. Изменения вступят в силу в течение 10 минут.
Если вы превысите эту квоту, BigQuery вернет следующее сообщение об ошибке:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
После превышения квоты вызовы ST_REGIONSTATS будут завершаться ошибкой, пока квота не будет сброшена на следующий день или пока администратор не увеличит лимит.