API học máy
Học máy (ML) là một kỹ thuật hiệu quả để phân tích dữ liệu Quan sát Trái Đất. Earth Engine có các chức năng tích hợp sẵn cho phép người dùng xây dựng và sử dụng các mô hình học máy cho các tình huống phổ biến bằng các API dễ sử dụng.
Một nhiệm vụ học máy phổ biến là phân loại các pixel trong hình ảnh vệ tinh thành hai hoặc nhiều danh mục. Phương pháp này rất hữu ích cho việc lập bản đồ Mục đích sử dụng đất và Lớp phủ bề mặt đất cũng như các ứng dụng phổ biến khác.
- Phân loại có giám sát: Một kỹ thuật học máy để phân loại đất là sử dụng các ví dụ thực tế để dạy mô hình cách phân biệt giữa các lớp. Trình phân loại có giám sát tích hợp sẵn của Earth Engine hỗ trợ quy trình này.
- Phân loại không giám sát: Trong phân loại không giám sát, không có ví dụ thông tin thực tế nào được cung cấp cho thuật toán huấn luyện. Thay vào đó, thuật toán sẽ chia dữ liệu có sẵn thành các cụm dựa trên sự khác biệt vốn có. Trình phân loại không giám sát của Earth Engine đặc biệt hữu ích khi không có thông tin thực tế, khi bạn không biết số lượng lớp cuối cùng hoặc khi bạn muốn thử nghiệm nhanh.
- Hồi quy: Trong khi mô hình phân loại cố gắng phân nhóm từng dữ liệu đầu vào vào một lớp riêng biệt, thì mô hình hồi quy cố gắng dự đoán một biến liên tục cho từng dữ liệu đầu vào. Ví dụ: mô hình hồi quy có thể dự đoán chất lượng nước, tỷ lệ phần trăm độ che phủ của rừng, tỷ lệ phần trăm độ che phủ của mây hoặc năng suất cây trồng. Để biết thêm thông tin, vui lòng tham khảo phần Hồi quy tuyến tính của ee.Reducers.
Huấn luyện và dự đoán mô hình bên ngoài Earth Engine
Học sâu và mạng nơ-ron là các kỹ thuật học máy có thể hoạt động hiệu quả đối với dữ liệu phức tạp như hình ảnh vệ tinh. Cả học sâu và mạng nơron đều không được hỗ trợ trong API Học máy của Earth Engine. Thay vào đó, để tận dụng các mô hình này, bạn cần sử dụng một khung như TensorFlow hoặc PyTorch và huấn luyện mô hình bên ngoài Earth Engine.
Bạn cũng có thể huấn luyện bên ngoài Earth Engine nếu đã quen thuộc với một khung như scikit-learn cho công nghệ học máy cổ điển hoặc XGBoost cho cây quyết định tăng cường độ dốc.
Cuối cùng, bạn có thể huấn luyện một mô hình bên ngoài Earth Engine nếu tập dữ liệu của bạn rất lớn và vượt quá giới hạn được ghi lại bên dưới.
Xuất dữ liệu từ Earth Engine để huấn luyện
- Định dạng dữ liệu TFRecord được tối ưu hoá cho việc huấn luyện trong TensorFlow. Trang ví dụ về học máy có một số quy trình công việc của TensorFlow minh hoạ cách huấn luyện mô hình bằng TFRecord.
- Ngoài ra, để xem ví dụ về cách tải dữ liệu xuống bằng Apache Beam, được lưu trữ trong Google Cloud Dataflow, sau đó huấn luyện trong Vertex AI bằng TensorFlow, vui lòng truy cập vào hướng dẫn Phân loại lớp phủ bề mặt đất và làm theo sổ tay Colab.
Nhận kết quả dự đoán từ một mô hình bên ngoài Earth Engine
Nếu huấn luyện một mô hình bên ngoài Earth Engine, bạn có một vài lựa chọn để nhận thông tin dự đoán từ mô hình đó.
-
Gói
ee.Modelcủa Earth Engine cho phép đưa ra dự đoán bằng cách sử dụng dữ liệu trong Earth Engine và một mô hình đã huấn luyện được lưu trữ trên Vertex AI của Google. Bạn có thể lưu trữ mô hình được huấn luyện tuỳ chỉnh trong Vertex AI và thực hiện suy luận trực tiếp trong Earth Engine bằng cách sử dụngee.Model.fromVertexAi. Hãy xem hướng dẫn về dự đoán hình ảnh hoặc hướng dẫn về dự đoán bảng để biết thêm thông tin. - Ngoài ra, hướng dẫn Phân loại lớp phủ bề mặt đất minh hoạ cách bạn có thể đưa ra dự đoán bằng một dịch vụ đám mây như Cloud Functions.
Các lý do khác để huấn luyện mô hình bên ngoài Earth Engine
Ngoài mức độ quen thuộc và lựa chọn ưu tiên, bạn có thể huấn luyện một mô hình bên ngoài Earth Engine nếu muốn sử dụng các cấu trúc mô hình (ví dụ: mạng nơron tích chập) không được API Học máy của Earth Engine hỗ trợ, nếu muốn sử dụng nhiều tính năng hơn của Vertex AI hoặc nếu bạn gặp phải giới hạn về quy mô khi sử dụng API Học máy của Earth Engine.
Giới hạn của tập dữ liệu huấn luyện
Việc huấn luyện bằng ee.Classifier hoặc ee.Clusterer thường hiệu quả với các tập dữ liệu có kích thước tối đa 100 MB. Theo nguyên tắc chung, giả sử độ chính xác là 32 bit (tức là số thực), thì điều này có thể phù hợp với các tập dữ liệu huấn luyện đáp ứng (trong đó n là số lượng ví dụ và b là số lượng dải):
nb ≤ (100 * 2 20) / 4
Ví dụ: nếu bạn huấn luyện bằng 100 dải, thì số lượng ví dụ dùng để huấn luyện phải ít hơn 200.000.
Giới hạn suy luận
Vì Earth Engine xử lý các ô hình ảnh 256x256, nên các yêu cầu suy luận về hình ảnh phải có ít hơn 400 dải (một lần nữa, giả sử độ chính xác 32 bit của hình ảnh).
Bạn có thể huấn luyện lại một thuật toán phân loại nhiều lần để giữ cho tập dữ liệu của mỗi lần huấn luyện nằm trong giới hạn.
var trainings = ee.List.sequence(0, 3).map(function(cover) { return image.addBands(landcover.eq(cover).stratifiedSample(…) }) var classifier = ee.Classifier.smileCart() .train(trainings.get(0), "cover") .train(trainings.get(1), "cover") .train(trainings.get(2), "cover") .train(trainings.get(3), "cover")
Giới hạn về kích thước mô hình
Ngoài ra, bản thân mô hình phải nhỏ hơn 100 MB. Nhiều thuật toán phân loại của chúng tôi có thể được định cấu hình để giới hạn độ phức tạp và do đó, giới hạn kích thước. Ví dụ:
var classifier = ee.Classifier.smileRandomForest({ numberOfTrees: 10, minLeafPopulation: 10, maxNodes: 10000 })