機器學習 API
機器學習 (ML) 是分析地球觀測資料的強大技術。Earth Engine 內建功能,可讓使用者針對常見情境,透過容易使用的 API 建構及使用機器學習模型。
常見的機器學習工作是將衛星圖像中的像素分為兩個以上的類別。這種方法適用於土地利用土地覆蓋對應和其他熱門應用程式。
- 監督式分類:其中一種土地分類機器學習技術,是使用基準真相範例,教導模型區分不同類別。Earth Engine 內建的監督式分類器可支援這項程序。
- 非監督式分類:在非監督式分類中,訓練演算法不會獲得任何基準真相範例。而是根據固有差異,將可用資料分成多個叢集。如果沒有基準真相資料、不知道最終類別數量,或想快速實驗,Earth Engine 的非監督式分類器特別實用。
- 迴歸:分類模型會嘗試將每個輸入內容歸入不連續的類別,而迴歸模型則會嘗試預測每個輸入內容的連續變數。舉例來說,迴歸模型可以預測水質、森林覆蓋率、雲層覆蓋率或作物產量。詳情請參閱 ee.Reducers 的線性迴歸一節。
在 Earth Engine 外部訓練模型及預測
深度學習和類神經網路是機器學習技術,適用於衛星圖像等複雜資料。Earth Engine 的機器學習 API 不支援深度學習和類神經網路。如要使用這些模型,您必須使用 TensorFlow 或 PyTorch 等架構,並在 Earth Engine 外部訓練模型。
如果您已熟悉 scikit-learn (用於傳統機器學習) 或 XGBoost (用於梯度提升決策樹) 等架構,也可以在 Earth Engine 外部進行訓練。
最後,如果資料集非常龐大,且超出下方所述的限制,建議您在 Earth Engine 外部訓練模型。
從 Earth Engine 匯出資料用於訓練
- TFRecord 資料格式已針對 TensorFlow 訓練進行最佳化。機器學習範例頁面包含多個 TensorFlow 工作流程,示範如何使用 TFRecord 訓練模型。
- 或者,如要查看如何使用 Apache Beam (託管於 Google Cloud Dataflow) 下載資料,然後在 Vertex AI 中使用 TensorFlow 訓練模型的範例,請參閱土地覆蓋分類教學課程,並按照 Colab 筆記本中的步驟操作。
從 Earth Engine 外部的模型取得預測結果
如果您在 Earth Engine 外部訓練模型,可以透過幾種方式取得該模型的預測結果。
-
Earth Engine 的
ee.Model套件可讓您使用 Earth Engine 中的資料,以及託管於 Google Vertex AI 的訓練模型進行預測。您可以在 Vertex AI 中託管自訂訓練模型,並使用ee.Model.fromVertexAi直接在 Earth Engine 中執行推論。詳情請參閱圖片預測指南或表格預測指南。 - 或者,您也可以參閱土地覆蓋分類教學課程,瞭解如何使用 Cloud Functions 等雲端服務進行預測。
在 Earth Engine 外部訓練模型的其他原因
除了熟悉度和偏好設定外,如果您想使用 Earth Engine 機器學習 API 不支援的模型架構 (例如卷積類神經網路)、想使用更多 Vertex AI 功能,或遇到 Earth Engine 機器學習 API 的擴充限制,也可以在 Earth Engine 外部訓練模型。
訓練集限制
使用 ee.Classifier 或 ee.Clusterer 訓練時,資料集大小不超過 100 MB 通常能達到良好效果。粗略來說,假設精確度為 32 位元 (即浮點數),則可容納符合以下條件的訓練資料集 (其中 n 是樣本數,b 是波段數):
nb ≤ (100 * 2 20) / 4
舉例來說,如果您使用 100 個波段進行訓練,則用於訓練的樣本數量應少於 200,000 個。
推論限制
Earth Engine 會處理 256x256 的圖片圖塊,因此圖片的推論要求必須少於 400 個波段 (同樣假設圖片為 32 位元精確度)。
您可以多次重新訓練分類器,讓每次訓練執行的資料集保持在限制範圍內。
var trainings = ee.List.sequence(0, 3).map(function(cover) { return image.addBands(landcover.eq(cover).stratifiedSample(…) }) var classifier = ee.Classifier.smileCart() .train(trainings.get(0), "cover") .train(trainings.get(1), "cover") .train(trainings.get(2), "cover") .train(trainings.get(3), "cover")
模型大小限制
此外,模型本身的大小必須小於 100 MB。許多分類器都可以設定為限制其複雜度,進而限制其大小。例如:
var classifier = ee.Classifier.smileRandomForest({ numberOfTrees: 10, minLeafPopulation: 10, maxNodes: 10000 })