Các loại hạn mức
Nền tảng Earth Engine có một số hạn mức để đảm bảo tài nguyên được phân phối công bằng cho người dùng. Vì có nhiều loại tài nguyên khác nhau trong Earth Engine (tính toán, lưu trữ, v.v.), nên có nhiều loại hạn mức khác nhau.
Điểm khác biệt chính giữa các loại hạn mức là liệu chúng có thể điều chỉnh được hay không. Đối với một số loại hạn mức, chúng tôi có thể thay đổi giới hạn theo từng người dùng hoặc từng dự án, trong khi các loại khác là giới hạn trên toàn hệ thống và không thể thay đổi.
Hạn mức có thể điều chỉnh
Các hạn mức sau đây áp dụng cho từng dự án.
| Loại hạn mức | Giá trị mặc định (mỗi dự án) |
|---|---|
| Số yêu cầu đồng thời tối đa (điểm cuối tiêu chuẩn) | 40 yêu cầu đồng thời |
| Số yêu cầu đồng thời tối đa (điểm cuối có lưu lượng truy cập cao) | 40 yêu cầu đồng thời |
| Tốc độ yêu cầu tối đa (mỗi dự án) | 100 yêu cầu/giây (6.000 yêu cầu/phút) |
| Tỷ lệ yêu cầu tối đa (mỗi tài khoản) | 100 yêu cầu/giây (6.000 yêu cầu/phút) |
| Số tác vụ theo lô đồng thời trung bình | 2 việc cần làm (trung bình) |
| Dung lượng lưu trữ tối đa cho thành phần | 250 GB |
| Số lượng thành phần tối đa | 10.000 |
| Thời gian tính toán của Earth Engine (thời gian EECU) mỗi ngày, tính bằng giây | Không giới hạn |
Yêu cầu tương tác đồng thời
Mỗi dự án có thể đưa ra yêu cầu tương tác song song, tối đa là giới hạn hạn mức. Nếu vượt quá giới hạn, Earth Engine sẽ trả về lỗi "HTTP 429: Quá nhiều yêu cầu". Nhìn chung, các lỗi này được thư viện ứng dụng Earth Engine xử lý. Thư viện này gói các yêu cầu trong thuật toán thời gian đợi luỹ thừa, thử lại truy vấn cho đến khi thành công. Thư viện ứng dụng Earth Engine sẽ thử gửi lại yêu cầu tối đa 5 lần.
Để tránh gặp phải lỗi 429, bạn nên bật tính năng lưu vào bộ nhớ đệm cho ứng dụng, chẳng hạn như sử dụng memcache, để tránh các truy vấn thừa khi có thể. Nếu đang sử dụng phiên bản cũ của thư viện ứng dụng Earth Engine không tự động thử lại truy vấn hoặc nếu truy vấn vẫn chưa hoàn tất sau 5 lần thử lại, bạn có thể cần triển khai thuật toán thời gian đợi luỹ thừa cho các yêu cầu.
Tỷ lệ yêu cầu (QPS)
Ngoài giới hạn về tính đồng thời, Earth Engine còn giới hạn tốc độ của yêu cầu tương tác ở cấp dự án và cấp người dùng. Bạn có thể điều chỉnh các chế độ cài đặt này trong Cloud Console
Tác vụ theo lô đồng thời
Tác vụ theo lô bị giới hạn ở một mức độ song song nhỏ, vì chúng sử dụng nhiều tài nguyên hơn so với yêu cầu tương tác.
Khi sử dụng Earth Engine cho mục đích phi thương mại, số lượng tác vụ theo lô tối đa mà bạn có thể chạy đồng thời được xác định theo bậc phi thương mại của bạn.
Khi sử dụng Earth Engine cho mục đích thương mại, số lượng tác vụ theo lô tối đa mà bạn có thể chạy đồng thời được xác định theo gói giá, mặc dù số lượng này có thể giảm thêm bằng cách đặt giới hạn đồng thời cho tác vụ theo lô cho mỗi dự án. Theo mặc định, giới hạn đồng thời của tác vụ theo lô trên một dự án được đặt ở mức tối đa mà gói có tính phí được định cấu hình trên tài khoản thanh toán của dự án cho phép. Để xem hoặc cập nhật hạn mức này cho một dự án, hãy xem tài liệu về công cụ dòng lệnh.
Hạn mức bộ nhớ cho thành phần
Mỗi tài sản Earth Engine đều có kích thước lưu trữ dữ liệu tương ứng, được đo bằng byte. Tài sản có thể thuộc sở hữu của Dự án trên đám mây hoặc của cá nhân (tài sản cũ) và mỗi tài sản đều được tính vào giới hạn của chủ sở hữu trên Earth Engine về tổng dung lượng lưu trữ và số lượng tài sản.
Để đăng ký thêm hạn mức bộ nhớ cho tài sản sử dụng cho mục đích phi thương mại hoặc nghiên cứu, hãy xem phần Sử dụng cho mục đích phi thương mại hoặc nghiên cứu.
Thời gian EECU mỗi ngày
Nếu muốn kiểm soát chi phí, bạn có thể giới hạn thời gian EECU mà một dự án được phép sử dụng trên Earth Engine mỗi ngày. Theo mặc định, hạn mức này là không giới hạn. Quản trị viên hạn mức có thể đặt hạn mức này trong Cloud Console bằng cách lọc chỉ số hạn mức earthengine.googleapis.com/daily_eecu_usage_time. Sau khi được đặt, hạn mức này sẽ tích luỹ thời gian EECU mà các yêu cầu thành công của Earth Engine của tất cả người dùng trong một dự án đã sử dụng. Khi vượt quá hạn mức, các yêu cầu sẽ không thành công cho đến khi hạn mức được đặt lại vào ngày hôm sau hoặc giới hạn được tăng lên. Hãy xem hướng dẫn kiểm soát chi phí để biết thêm thông tin về cách đặt hạn mức này.
Hạn mức cố định
Các loại hạn mức này được đặt ở cấp nền tảng, vì vậy, bạn không thể điều chỉnh theo từng người dùng hoặc từng dự án. Những thông tin này khó có thể thay đổi đáng kể theo thời gian.
Thời gian tính toán
Mỗi loại yêu cầu có thời lượng tối đa khác nhau, được trình bày chi tiết trong tài liệu về Môi trường xử lý.
Để được trợ giúp khắc phục lỗi hết thời gian chờ, hãy xem hướng dẫn gỡ lỗi.
Mức sử dụng bộ nhớ cho mỗi yêu cầu
Khi một yêu cầu không thành công và có thông báo "Vượt quá giới hạn bộ nhớ của người dùng", điều này có nghĩa là Earth Engine không thể tính toán câu trả lời trong mức sử dụng bộ nhớ cho phép. Nền tảng tính toán của EE có dung lượng RAM giới hạn và để đảm bảo hệ thống luôn ổn định, mỗi yêu cầu chỉ có thể sử dụng một lượng RAM nhất định. Dung lượng bộ nhớ tối đa hiện có phụ thuộc vào loại yêu cầu (ví dụ: nhiều hơn cho một tác vụ theo lô so với một ô bản đồ), nhưng đây là các giới hạn trên toàn hệ thống.
Để được trợ giúp khắc phục lỗi bộ nhớ, hãy xem hướng dẫn gỡ lỗi.
Tổng hợp
Khi xử lý các yêu cầu của Earth Engine, chúng tôi tách riêng một số loại phép tính phụ mà chúng tôi biết là cần nhiều tài nguyên tính toán. Các phép tính phụ này được gọi là "phép tổng hợp" và được xử lý đặc biệt trong hệ thống EE. Kết quả của các phép tổng hợp được lưu vào bộ nhớ đệm để tránh phải tính toán lại.
Tổng hợp đồng thời
Để tránh tình trạng phân tán tính toán không kiểm soát được, chúng tôi giới hạn số lượng dữ liệu tổng hợp mà một người dùng có thể chạy đồng thời và không thể thay đổi giới hạn này. Khi một yêu cầu không thành công và có thông báo "Too many concurrent aggregations" (Quá nhiều yêu cầu tổng hợp đồng thời), tức là người yêu cầu có quá nhiều yêu cầu tổng hợp đang chạy cùng một lúc.
Để được trợ giúp khắc phục lỗi tổng hợp đồng thời, hãy xem hướng dẫn gỡ lỗi.
Kết quả tổng hợp lớn
Khi một yêu cầu không thành công và có thông báo "Giá trị được tính toán quá lớn", tức là kết quả của phép tổng hợp quá lớn nên không vừa với bộ nhớ đệm của chúng tôi. Giới hạn kích thước đối với kết quả được tính toán là 100 MiB và đây là giới hạn trên toàn hệ thống.
Giới hạn nhập bảng
Giới hạn tải bảng lên được giải thích trong hướng dẫn nhập dữ liệu bảng.
Kích thước tải trọng của yêu cầu
Một truy vấn duy nhất đến Earth Engine bị giới hạn ở kích thước 10 MB. Giới hạn này thường chỉ bị vượt quá khi một số dữ liệu bổ sung lớn được đưa trực tiếp vào truy vấn, chẳng hạn như tệp shapefile hoặc cấu trúc GeoJSON được đưa cùng dòng vào truy vấn. Thay vào đó, bạn nên tải các đối tượng này lên và chuyển thành một tài sản FeatureCollection, sau đó tham chiếu bằng mã tài sản.
Độ dài hàng đợi tác vụ
Các tác vụ đang chờ được lên lịch (ở trạng thái READY) sẽ tạo thành "hàng đợi tác vụ". Hàng đợi của mỗi dự án hỗ trợ tối đa 3.000 nhiệm vụ. Điều này có nghĩa là
bạn không thể có hơn 3.000 việc cần làm ở trạng thái READY.
Hạn mức cho các hàm raster của BigQuery
Các hạn mức sau đây áp dụng cho các lệnh gọi đến Earth Engine từ BigQuery, chẳng hạn như khi sử dụng hàm SQL ST_REGIONSTATS.
| Loại hạn mức | Giá trị mặc định (mỗi dự án) |
|---|---|
| Thời gian sử dụng khe BigQuery mỗi ngày | 1.260.000 giây khe (350 giờ khe) |
Thời gian sử dụng khe BigQuery mỗi ngày
Hạn mức thời gian sử dụng khe BigQuery mỗi ngày là một hạn mức tuỳ chỉnh cho phép bạn giới hạn lượng thời gian sử dụng khe mà các hàm raster của BigQuery được phép sử dụng trên Earth Engine vào một ngày nhất định cho một dự án nhất định. Hạn mức hằng ngày tích luỹ tổng thời gian của tất cả các truy vấn, kể cả những truy vấn không thành công. Bạn có thể xem hạn mức trong Cloud Console trong chỉ số earthengine.googleapis.com/bigquery_slot_usage_time và Quản trị viên hạn mức có thể điều chỉnh tăng hoặc giảm giá trị này. Để tăng giá trị
vượt quá giá trị mặc định, hãy tạo yêu cầu tăng
hạn mức.
Yêu cầu này sẽ được tự động phê duyệt. Thay đổi này sẽ có hiệu lực trong vòng 10 phút.
Nếu bạn vượt quá hạn mức này, BigQuery sẽ trả về thông báo lỗi sau:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
Sau khi vượt quá hạn mức, các lệnh gọi ST_REGIONSTATS sẽ không thành công cho đến khi hạn mức được đặt lại vào ngày hôm sau hoặc quản trị viên tăng hạn mức.