Прогнозы с помощью TensorFlow и ИИ-платформы Cloud

TensorFlow – это платформа машинного обучения с открытым исходным кодом, которая поддерживает продвинутые методы машинного обучения, такие как глубокое обучение. На этой странице описаны функции TensorFlow, относящиеся к Earth Engine. Хотя модели TensorFlow разрабатываются и обучаются за пределами Earth Engine, API Earth Engine предоставляет методы для экспорта данных обучения и тестирования в формате TFRecord, а также для импорта и экспорта изображений в формате TFRecord. Дополнительную информацию о том, как разрабатывать конвейеры для использования TensorFlow с данными из Earth Engine, можно найти на странице с примерами TensorFlow. Подробнее о том, как Earth Engine записывает данные в файлы TFRecord, читайте на странице TFRecord.

ee.Model

Пакет ee.Model обрабатывает взаимодействие с моделями машинного обучения на базе TensorFlow.

Взаимодействие с моделями, размещенными на ИИ-платформе

Новый экземпляр ee.Model можно создать с помощью ee.Model.fromAiPlatformPredictor(). Это объект ee.Model, который упаковывает данные Earth Engine в тензоры, пересылает их в виде запросов на прогнозирование в Google AI Platform, а затем автоматически преобразует ответы в типы данных Earth Engine. Обратите внимание, что в зависимости от размера и сложности модели и ее входных данных вам может потребоваться настроить минимальный размер узла ИИ-платформы, чтобы обеспечить обработку большого объема прогнозов.

Для работы с Earth Engine модели ИИ-платформы должны использовать формат SavedModel TensorFlow. Чтобы размещенная модель могла взаимодействовать с Earth Engine, ее входные и выходные данные должны быть совместимы с форматом обмена TensorProto, в частности с сериализованными TensorProto в base64. Чтобы упростить эту задачу, в интерфейсе командной строки Earth Engine есть команда model prepare, которая добавляет в существующую модель SavedModel необходимые операции для преобразования форматов ввода и вывода.

Чтобы использовать модель с ee.Model.fromAiPlatformPredictor(), у вас должны быть необходимые разрешения. В частности, вам (или любому, кто использует модель) нужна как минимум роль пользователя модели ML Engine. Проверить и настроить разрешения для модели можно на странице моделей в Cloud Console.

Регионы

Для моделей следует использовать региональные конечные точки, указывая регион при создании модели, создании версии и в ee.Model.fromAiPlatformPredictor(). Подойдет любой регион (не используйте глобальный), но предпочтительным является us-central1. Не указывайте параметр REGIONS. Если вы создаете модель в Cloud Console, убедитесь, что установлен флажок региона.

Расходы

Прогнозы по изображениям

Используйте model.predictImage(), чтобы делать прогнозы на ee.Image с помощью размещенной модели. Тип возвращаемого значения predictImage() – ee.Image, который можно добавить на карту, использовать в других вычислениях, экспортировать и т. д. Earth Engine автоматически разбивает входные полосы на фрагменты и корректирует выходную проекцию для изменения масштаба и чрезмерного разбиения на фрагменты по мере необходимости. Подробнее о том, как работает разбиение на фрагменты, рассказывается в документации по TFRecord. Обратите внимание, что Earth Engine всегда будет пересылать в вашу модель трехмерные тензоры, даже если каналы скалярные (последнее измерение будет равно 1).

Почти все сверточные модели имеют фиксированную входную проекцию (данных, на которых обучалась модель). В этом случае при вызове ee.Model.fromAiPlatformPredictor() задайте для параметра fixInputProj значение true. При визуализации прогнозов будьте осторожны, уменьшая масштаб модели с фиксированной входной проекцией. Причина та же, что и в предыдущем случае. В частности, масштабирование до большого пространственного охвата может привести к запросам слишком большого объема данных и может проявляться в виде замедления или отклонения со стороны ИИ-платформы.