Công cụ earthengine là một chương trình tiện ích cho phép bạn quản lý các tài sản và tác vụ của Earth Engine từ dòng lệnh. Thư viện này sẽ tự động cài đặt khi bạn cài đặt Python API. Để kiểm tra xem công cụ đã được cài đặt và hoạt động đúng cách hay chưa, hãy nhập nội dung sau vào dòng lệnh:
earthengine
Nếu được cài đặt đúng cách, công cụ này sẽ in ra một bản tóm tắt ngắn về các lệnh có sẵn. Để được trợ giúp về một lệnh cụ thể, hãy sử dụng:
earthengine command -h
Khi cài đặt Python API lần đầu tiên, bạn cần đăng nhập bằng lệnh authenticate như mô tả bên dưới. Các phần sau đây mô tả chi tiết hơn về các lệnh có sẵn.
Thông tin đăng nhập của tài khoản dịch vụ
Để sử dụng CLI bằng thông tin đăng nhập của tài khoản dịch vụ, hãy dùng cờ service_account_file để trỏ đến một tệp JSON chứa khoá của tài khoản dịch vụ.
earthengine --service_account_file=service_account_creds.json
Sử dụng trong Colab
Công cụ dòng lệnh Earth Engine được cài đặt sẵn và sẵn sàng sử dụng trong Google Colab.
Xác thực
Xác thực cho mỗi phiên Colab mới hoặc nếu máy ảo hết hạn do không hoạt động (thông tin đăng nhập không được lưu trên các phiên).
Nhập thư viện ứng dụng Python và gọi ee.Authenticate() để kích hoạt quy trình xác thực. Làm theo lời nhắc để hoàn tất quy trình xác thực. auth_mode mặc định trong Colab là colab, hãy xem Hướng dẫn xác thực để biết các lựa chọn khác.
import ee
ee.Authenticate()
Thực thi lệnh
Để chạy các tiện ích dòng lệnh, chẳng hạn như Earth Engine CLI, bạn cần thêm dấu chấm than vào trước các lệnh gọi.
!earthengine -h
Thiết lập dự án trên đám mây
Sử dụng lựa chọn --project để đặt một dự án trên đám mây cho từng lệnh earthengine riêng lẻ.
!earthengine --project my-project <command>
Ngoài ra, hãy đặt một dự án mặc định để tất cả các lệnh gọi earthengine đều sử dụng bằng lệnh set_project. Dự án sẽ được thêm vào một tệp thông tin đăng nhập (~/.config/earthengine/credentials) và được dùng cho các lệnh tiếp theo, trừ phi bị ghi đè bằng lựa chọn --project
!earthengine set_project my-project
Thông tin tham khảo về lệnh
xác thực
Xác thực công cụ dòng lệnh và thư viện ứng dụng Python với Earth Engine. Ví dụ:
earthengine authenticate
Earth Engine sử dụng giao thức OAuth 2.0 để xác thực ứng dụng. Lệnh xác thực earthengine sẽ nhắc bạn thực hiện quy trình xác thực bằng trình duyệt web.
Bạn cần cài đặt gcloud nếu đang sử dụng chế độ xác thực gcloud mặc định. Xem các chế độ xác thực khác có sẵn thông qua tham số auth_mode trong hướng dẫn xác thực.
acl
In hoặc cập nhật danh sách kiểm soát quyền truy cập (ACL) của một tài sản Earth Engine. ACL kiểm soát những người có thể đọc hoặc ghi vào một tài sản. Ví dụ:
earthengine acl get projects/my-project/assets/asset_id
earthengine acl set public projects/my-project/assets/asset_id
earthengine acl ch -u username@gmail.com:R projects/my-project/assets/asset_id
Lệnh phụ get sẽ in nội dung mô tả JSON về ACL. Lệnh phụ set sẽ đặt một ACL được cung cấp trong một tệp có cùng định dạng JSON. Bạn có thể sao chép một ACL từ tài sản này sang tài sản khác bằng cách lưu đầu ra từ get và cung cấp đầu ra đó cho set.
Lệnh phụ set cũng chấp nhận hai tên ACL đặc biệt:
private: Xoá quyền của tất cả mọi người, ngoại trừ chủ sở hữu.public: Cấp quyền đọc cho tất cả người dùng.
Lệnh phụ ch cho phép bạn thực hiện các thay đổi riêng lẻ đối với một ACL. Để cấp quyền đọc, hãy chỉ định -u username@gmail.com:R, để cấp quyền ghi, hãy chỉ định -u username@gmail.com:W và để xoá quyền của người dùng, hãy chỉ định -d
username@gmail.com. Bạn có thể sử dụng giá trị nhận dạng người dùng đặc biệt AllUsers để cấp hoặc thu hồi quyền đọc đối với tất cả người dùng. (Xin lưu ý rằng việc thu hồi quyền AllUsers không thu hồi bất kỳ quyền bổ sung nào mà bạn cũng có thể đã cấp cho từng người dùng.)
thành phần
In hoặc cập nhật siêu dữ liệu được liên kết với một tài sản trên Earth Engine. Ví dụ:
earthengine asset info projects/my-project/assets/asset_id
earthengine asset set -p name=value projects/my-project/assets/asset_id
Lệnh phụ info in thông tin chi tiết về tài sản, bao gồm cả siêu dữ liệu của tài sản, ở dạng JSON. Lệnh phụ set đặt các thuộc tính siêu dữ liệu riêng lẻ trên một tài sản.
Giá trị của các thuộc tính siêu dữ liệu mà bạn đặt có thể là số hoặc chuỗi.
Khi đặt tên thuộc tính bằng cờ --property hoặc -p, hãy phân tách tên và giá trị thuộc tính bằng dấu bằng. Loại dữ liệu được tự động phát hiện hoặc bạn có thể chỉ định một cách rõ ràng bằng cách thêm tiền tố (string), (number) hoặc (date) vào tên thuộc tính. Ví dụ: thao tác này đặt một thuộc tính có giá trị chuỗi với giá trị "42":
earthengine asset set -p '(string)name=42' projects/my-project/assets/asset_id
(Dấu ngoặc kép trong ví dụ này ngăn trình bao diễn giải dấu ngoặc đơn. Bạn có thể cần hoặc không cần các lệnh này, tuỳ thuộc vào trình bao và nền tảng của bạn.)
Để tạo các thuộc tính đặc biệt cho hình ảnh trực quan của dải phân loại, bạn có thể lưu trữ danh sách các giá trị và màu sắc dưới dạng các chuỗi được phân tách bằng dấu phẩy. Ví dụ: để đặt giá trị bảng màu và giá trị lớp cho một dải tần có tên là landcover:
earthengine asset set -p 'landcover_class_palette=ff0000,00ff00,0000ff' projects/my-project/assets/asset_id
earthengine asset set -p 'landcover_class_values=1,2,3' projects/my-project/assets/asset_id
Để xoá một thuộc tính, hãy đặt thuộc tính đó thành null mà không có kiểu:
earthengine asset set -p name=null projects/my-project/assets/asset_id
Thuộc tính ngày chỉ là các con số biểu thị số mili giây kể từ mốc thời gian UNIX (tức là nửa đêm ngày 1 tháng 1 năm 1970) và có thể được chỉ định trực tiếp dưới dạng một con số hoặc theo một trong các định dạng sau:
YYYY-MM-DD
YYYY-MM-DDThh:mm:ss
YYYY-MM-DDThh:mm:ss.f
Múi giờ được giả định là UTC. Bạn có thể đặt các thuộc tính thời gian bắt đầu và kết thúc đặc biệt bằng cách sử dụng cờ --time_start và --time_end:
earthengine asset set --time_start 1978-10-15T12:34:56 projects/my-project/assets/asset_id
cp
Sao chép một thành phần. Ví dụ:
earthengine cp projects/my-project/assets/asset_id projects/my-project/assets/new_asset_id
create
Tạo thư mục và bộ sưu tập hình ảnh mới. Ví dụ:
earthengine create folder projects/my-project/assets/folder_id
earthengine create collection projects/my-project/assets/collection_id
Sử dụng lệnh phụ folder để tạo thư mục và collection để tạo bộ sưu tập hình ảnh. Bạn có thể chỉ định tuỳ chọn -p để tạo đệ quy các thư mục mẹ khi cần. Theo mặc định, các thư mục và hình ảnh mới tạo sẽ có ACL riêng tư.
ls
Liệt kê nội dung của một hoặc nhiều thư mục hoặc bộ sưu tập. Ví dụ:
earthengine ls users/username
Lựa chọn -l yêu cầu một định dạng dài có thêm thông tin về từng tài sản (hiện chỉ có loại tài sản). Bạn có thể chỉ định --max_items number (hoặc -m cho ngắn gọn) để giới hạn số lượng mục từ mỗi thư mục hoặc bộ sưu tập mà bạn liệt kê:
earthengine ls -m 10 projects/my-project/assets/my_large_collection
Khi chạy lệnh ls mà không có đối số, bạn sẽ thấy danh sách các thư mục cấp cao nhất mà bạn sở hữu.
kiểu máy
Công cụ để thao tác với các mô hình đã lưu của TensorFlow.
model prepare
Chuẩn bị một mô hình đã lưu để phân phát trong Earth Engine. Cụ thể, thao tác này sẽ chuyển đổi SavedModel của bạn thành một biểu mẫu phù hợp để xử lý các yêu cầu từ Earth Engine. (Tìm hiểu thêm về SavedModel.)
earthengine model prepare my_source_dir my_dest_dir '{"Conv2D:0":"my_input_band"}' '{"Sigmoid:0":"my_output_band"}'
Tìm hiểu thêm về các mô hình AI Platform tại đây. Xem ví dụ đầy đủ tại đây.
mv
Di chuyển hoặc đổi tên một thành phần. Ví dụ:
earthengine mv projects/my-project/assets/asset_id projects/my-project/assets/new_asset_id
project_config
Đặt các giá trị cấu hình dự án. Trước khi dùng lệnh này, hãy nhớ thiết lập một dự án bằng cách dùng set_project.
get
Để xem cấu hình dự án, hãy dùng lệnh phụ get:
earthengine alpha project_config get
Nếu bạn có quyền xem chế độ cài đặt tác vụ hàng loạt của dự án, thì đầu ra sẽ chứa:
maxConcurrentExports: một số cho biết số lượng tối đa các tác vụ hàng loạt có thể chạy song song trên tất cả người dùng cho dự án đã cho. Theo mặc định, giá trị này được đặt thành mức tối đa mà gói thuê bao của tài khoản thanh toán được liên kết cho phép.
Ngoài ra, nếu bạn có quyền xem cấu hình kế hoạch, thì đầu ra sẽ chứa:
planMaxConcurrentExports, một số cho biết số lượng tối đa các tác vụ hàng loạt có thể chạy song song trên tất cả người dùng và dự án sử dụng tài khoản thanh toán.
đặt
Để cập nhật cấu hình của dự án, hãy dùng lệnh phụ set. Bạn có thể định cấu hình các chế độ cài đặt sau:
max_concurrent_exports, để kiểm soát mức song song tối đa của tác vụ hàng loạt- cần có quyền phù hợp
Ví dụ: để định cấu hình một dự án sao cho chỉ cho phép 10 tác vụ chạy song song cho dự án đã cho:
earthengine alpha project_config set --max_concurrent_exports=10
Đầu ra hiển thị cấu hình dự án đã cập nhật, giống hệt với những gì get trả về.
Để biết thêm thông tin về tính song song của tác vụ hàng loạt, hãy xem trang Hạn mức của Earth Engine.
rm
Xoá một hoặc nhiều thành phần. Ví dụ:
earthengine rm projects/my-project/assets/asset_id
earthengine rm -r projects/my-project/assets/folder_id
Bạn có thể dùng cờ -r để xoá nội dung của một thư mục hoặc bộ sưu tập theo cách đệ quy. Để đảm bảo an toàn khi xoá nhiều thành phần, bạn có thể sử dụng cờ --dry_run để xác minh chính xác những thành phần sẽ bị xoá mà không thực sự xoá bất kỳ thành phần nào.
set_project
Đặt dự án trên đám mây của Google Cloud mà qua đó các yêu cầu tính toán được định tuyến.
earthengine set_project foo-project
Bạn cần có lệnh này trước khi chạy các lệnh yêu cầu chức năng trên đám mây, ví dụ: model.
việc cần làm
In thông tin về hoặc quản lý các tác vụ chạy trong thời gian dài. Ví dụ:
earthengine task list
earthengine task list -l
earthengine task info TASK_ID
earthengine task cancel TASK_ID
Lệnh phụ list liệt kê thông tin cơ bản về các tác vụ mà bạn đã gửi gần đây. Lựa chọn -l yêu cầu một định dạng dài có thêm thông tin về từng nhiệm vụ. Lệnh phụ info in thông tin chi tiết về từng tác vụ. Lệnh phụ cancel sẽ huỷ một hoặc nhiều tác vụ đang chạy.
tải lên
Tải hình ảnh hoặc bảng từ Google Cloud Storage lên Earth Engine hoặc tạo các tài sản được hỗ trợ bằng hình ảnh bên ngoài.
hình ảnh
Cách tải thành phần hình ảnh lên bằng chế độ cài đặt mặc định:
earthengine upload image --asset_id=projects/my-project/assets/asset_id gs://bucket/image.tif
Nếu bạn chỉ định nhiều tệp hình ảnh đầu vào, các tệp đó sẽ được diễn giải dưới dạng các ô của một thành phần hình ảnh duy nhất. Bạn có thể tìm hiểu thêm về các lựa chọn tải hình ảnh lên Earth Engine trong bài viết Tải thành phần hình ảnh lên: Các lựa chọn nâng cao.
Bạn có thể chỉ định chính sách giảm kim tự tháp bằng cờ --pyramiding_policy. Cờ này có thể được đặt thành một trong các giá trị mean (mặc định), sample, mode, min hoặc max. Tham số này sẽ kiểm soát cách Earth Engine tạo ra kim tự tháp gồm các phiên bản có độ phân giải thấp hơn của hình ảnh:
earthengine upload image --asset_id=projects/my-project/assets/asset_id --pyramiding_policy=sample gs://bucket/image.tif
Bạn có thể dùng --last_band_alpha để cho biết rằng mặt nạ cho hình ảnh phải được lấy từ một kênh alpha trong dải tần cuối cùng:
earthengine upload image --asset_id=projects/my-project/assets/asset_id --last_band_alpha gs://bucket/image.tif
Bạn có thể chỉ định giá trị không có dữ liệu bằng cách sử dụng cờ --nodata_value. Thao tác này sẽ che mọi pixel trong hình ảnh có giá trị đó:
earthengine upload image --asset_id=users/myuser/asset --nodata_value=255 gs://bucket/image.tif
Bạn cũng có thể chỉ định các thuộc tính siêu dữ liệu để đặt trên tài sản bằng cách sử dụng các cờ tương tự mà lệnh asset set được mô tả ở trên chấp nhận.
Các lựa chọn này cũng được mô tả trong hướng dẫn về Tệp kê khai hình ảnh.
bàn
Để tải Shapefile, CSV hoặc TFRecord từ Google Cloud Storage lên một tài sản bảng Earth Engine, bạn có thể sử dụng bất kỳ phương thức nào sau đây:
earthengine upload table --asset_id=projects/my-project/assets/myUploadedShapefile gs://bucket/foo.shp
earthengine upload table --asset_id=projects/my-project/assets/myUploadedCSV gs://bucket/foo.csv
earthengine upload table --asset_id=projects/my-project/assets/myUploadedTFRecord gs://bucket/foo.tfrecord
Có nhiều lựa chọn liên quan đến cách diễn giải các tệp CSV và TFRecord. Bạn có thể xem danh sách đầy đủ các lựa chọn tải bảng lên bằng cách truy cập vào hướng dẫn Tệp kê khai bảng hoặc bằng cách:
earthengine upload table -h
external_image
Để tạo một tài sản được hỗ trợ bằng hình ảnh từ bên ngoài, hãy chạy lệnh upload_image bằng một tệp kê khai:
earthengine upload external_image --manifest /tmp/foo.json
Sau đây là một ví dụ về tệp kê khai:
{
"name": "projects/{project}/assets/cogdemo1",
"tilesets": [
{ "id": "0", "sources": [{ "uris": ["gs://ee-docs-demos/COG_demo.tif"] }] }
],
"properties": {
"source": "https://code.earthengine.google.com/d541cf8b268b2f9d8f834c255698201d"
},
"startTime": "2016-01-01T00:00:00.000000000Z",
"endTime": "2016-12-31T15:01:23.000000000Z"
}
Hãy xem hướng dẫn về Cloud GeoTIFF và hướng dẫn về Tệp kê khai hình ảnh để biết thêm thông tin chi tiết về cách tạo tệp kê khai.