Rodzaje limitów
Platforma Earth Engine ma szereg limitów, które zapewniają sprawiedliwy podział zasobów między użytkowników. W Earth Engine dostępnych jest wiele różnych typów zasobów (obliczenia, miejsce na dane itp.), dlatego istnieje wiele różnych typów limitów.
Główną różnicą między różnymi typami limitów jest to, czy można je dostosować. W przypadku niektórych typów limitów możemy zmieniać limity na poziomie użytkownika lub projektu, podczas gdy inne typy to limity systemowe, których nie można zmienić.
Regulowane limity
W przypadku poszczególnych projektów obowiązują podane niżej limity.
| Typ limitu | Wartość domyślna (na projekt) |
|---|---|
| Maksymalna liczba żądań równoczesnych (standardowy punkt końcowy) | 40 żądań równoczesnych, |
| Maksymalna liczba żądań równoczesnych (punkt końcowy o dużej liczbie żądań) | 40 żądań równoczesnych, |
| Maksymalna liczba żądań (na projekt) | 100 żądań/s (6000 żądań/min) |
| Maksymalna liczba żądań (na konto) | 100 żądań/s (6000 żądań/min) |
| Średnia liczba równoczesnych zadań wsadowych | 2 zadania (średnio) |
| Maksymalna ilość miejsca na zasoby | 250 GB |
| Maksymalna liczba komponentów | 10 000 |
| Czas obliczeniowy Earth Engine (EECU-time) dziennie w sekundach | Bez ograniczeń |
Równoczesne żądania interaktywne
Każdy projekt może wysyłać równolegle żądania interaktywne, aż do osiągnięcia limitu. Jeśli limit zostanie przekroczony, Earth Engine zwróci błędy „HTTP 429: zbyt wiele żądań”. Zwykle te błędy są obsługiwane przez bibliotekę klienta Earth Engine, która opakowuje żądania we wzrastający czas do ponowienia i ponawia zapytanie, dopóki nie zostanie ono wykonane. Biblioteka klienta Earth Engine ponowi próbę wysłania żądania maksymalnie 5 razy.
Aby uniknąć błędów 429, możesz włączyć buforowanie w aplikacji, na przykład za pomocą memcache, aby w miarę możliwości unikać nadmiarowych zapytań. Jeśli używasz starszej wersji biblioteki klienta Earth Engine, która nie ponawia automatycznie zapytań, lub jeśli zapytanie nadal nie zostało ukończone po 5 próbach, może być konieczne wdrożenie wzrastającego czasu do ponowienia w przypadku żądań.
Częstotliwość żądań (zapytania na sekundę)
Oprócz limitów równoczesności Earth Engine ogranicza liczbę interaktywnych żądań na poziomie projektu i użytkownika. Te ustawienia można zmienić w konsoli Cloud.
Równoczesne zadania zbiorcze
Zadania wsadowe są ograniczone do niewielkiego poziomu równoległości, ponieważ zużywają więcej zasobów niż żądania interaktywne.
Gdy korzystasz z Earth Engine do zastosowań niekomercyjnych, maksymalna liczba zadań wsadowych, które możesz uruchamiać jednocześnie, jest określana przez Twój poziom niekomercyjny.
Gdy używasz Earth Engine do celów komercyjnych, maksymalna liczba zadań wsadowych, które możesz uruchomić jednocześnie, jest określana przez abonament, ale można ją dodatkowo zmniejszyć, ustawiając limit równoczesności zadań wsadowych na projekt. Domyślnie limit równoczesności zadań wsadowych w projekcie jest ustawiony na maksymalną wartość dozwoloną przez subskrypcję skonfigurowaną na koncie rozliczeniowym projektu. Aby wyświetlić lub zaktualizować ten limit w projekcie, zapoznaj się z dokumentacją narzędzia wiersza poleceń.
Limit miejsca na dane zasobów
Każdy zasób Earth Engine ma odpowiadający mu rozmiar magazynu danych mierzony w bajtach. Zasoby mogą należeć do projektów w chmurze lub do osób (starsze zasoby), a każdy zasób wlicza się do limitu Earth Engine właściciela dotyczącego ogólnej ilości miejsca na dane i liczby zasobów.
Aby poprosić o dodatkowy limit miejsca na dane do zastosowań niekomercyjnych lub badawczych, zapoznaj się z artykułem Zastosowania niekomercyjne lub badawcze.
Czas EECU dziennie
Jeśli chcesz kontrolować koszty, możesz ograniczyć ilość czasu EECU, który projekt może wykorzystać w Earth Engine dziennie. Domyślnie ten limit jest nieograniczony. Administratorzy limitów mogą ustawić ten limit w konsoli Cloud, filtrując według wskaźnika limitu earthengine.googleapis.com/daily_eecu_usage_time. Po ustawieniu ten limit obejmuje czas EECU wykorzystany przez udane żądania Earth Engine wszystkich użytkowników w projekcie. Po przekroczeniu limitu żądania będą odrzucane, dopóki limit nie zostanie zresetowany następnego dnia lub zwiększony. Więcej informacji o ustawianiu tego limitu znajdziesz w przewodniku po kontroli kosztów.
Stałe limity
Te typy limitów są ustawiane na poziomie platformy, więc nie można ich dostosowywać na poziomie użytkownika ani projektu. Jest mało prawdopodobne, że z czasem ulegną one znacznym zmianom.
Czas obliczeń
Różne typy żądań mają różne maksymalne czasy trwania, które są szczegółowo opisane w dokumentacji środowisk przetwarzania.
Pomoc dotyczącą naprawiania błędów związanych z przekroczeniem limitu czasu znajdziesz w przewodniku po debugowaniu.
Wykorzystanie pamięci na żądanie
Jeśli żądanie nie powiedzie się i pojawi się komunikat „Przekroczono limit pamięci użytkownika”, oznacza to, że Earth Engine nie był w stanie obliczyć odpowiedzi w ramach dozwolonego wykorzystania pamięci. Platforma obliczeniowa EE ma ograniczoną ilość pamięci RAM, a aby zapewnić stabilność systemu, każde żądanie może wykorzystać tylko określoną ilość. Maksymalna ilość dostępnej pamięci zależy od typu żądania (np. więcej w przypadku zadania zbiorczego niż kafelka mapy), ale są to limity obowiązujące w całym systemie.
Pomoc dotyczącą naprawiania błędów pamięci znajdziesz w przewodniku po debugowaniu.
Agregacje
Podczas przetwarzania żądań Earth Engine oddzielamy niektóre typy obliczeń podrzędnych, które są bardzo wymagające pod względem mocy obliczeniowej. Te obliczenia podrzędne są nazywane „agregacjami” i są traktowane w systemie EE w szczególny sposób. Wyniki agregacji są przechowywane w pamięci podręcznej, aby uniknąć ponownego obliczania.
Agregacje równoczesne
Aby uniknąć niekontrolowanego rozgałęzienia obliczeniowego, ograniczamy liczbę agregacji, które pojedynczy użytkownik może uruchamiać jednocześnie. Tego ograniczenia nie można zmienić. Jeśli żądanie nie powiedzie się z powodu błędu „Zbyt wiele równoczesnych agregacji”, oznacza to, że zgłaszający miał zbyt wiele agregacji uruchomionych w tym samym czasie.
Pomoc dotyczącą naprawiania błędów równoczesnej agregacji znajdziesz w przewodniku po debugowaniu.
Duża ilość wyników agregacji
Jeśli żądanie nie powiedzie się i pojawi się komunikat „Obliczona wartość jest zbyt duża”, oznacza to, że agregacja zwróciła wynik, który jest zbyt duży, aby zmieścić się w naszej pamięci podręcznej. Limit rozmiaru obliczonych wyników wynosi 100 MiB i jest to limit obowiązujący w całym systemie.
Limity importu tabel
Limity przesyłania tabel są opisane w przewodniku po importowaniu danych tabeli.
Rozmiar ładunku żądania
Pojedyncze zapytanie do Earth Engine może mieć maksymalnie 10 MB. Ten limit jest zwykle przekraczany tylko wtedy, gdy do zapytania dołączone są duże dodatkowe dane, np. plik shapefile lub struktura GeoJSON, które zostały wstawione do zapytania. Zamiast tego obiekty te należy przesłać i przekształcić w zasób FeatureCollection, a następnie odwoływać się do nich za pomocą identyfikatora zasobu.
Długość kolejki zadań
Zadania, które czekają na zaplanowanie (w stanie READY), tworzą „kolejkę zadań”. Kolejka każdego projektu może zawierać maksymalnie 3000 zadań. Oznacza to,że nie można mieć więcej niż 3000 zadań w stanie READY.
Limity funkcji rastrowych BigQuery
Te limity dotyczą wywołań Earth Engine z BigQuery, np. podczas korzystania z funkcji SQL ST_REGIONSTATS.
| Typ limitu | Wartość domyślna (na projekt) |
|---|---|
| Czas przedziału BigQuery dziennie | 1 260 000 sekund przedziałów (350 godzin przedziałów) |
Czas przedziału BigQuery dziennie
Limit czasu przedziału BigQuery na dzień to niestandardowy limit, który pozwala ograniczyć ilość czasu przedziału, jaką funkcje rastrowe BigQuery mogą wykorzystać w Earth Engine w danym dniu w danym projekcie. Limit dzienny obejmuje łączny czas wszystkich zapytań, nawet tych, które się nie powiodły. Limit możesz wyświetlić w konsoli Cloud w sekcji ze wskaźnikiem earthengine.googleapis.com/bigquery_slot_usage_time. Administrator limitów może dostosować jego wartość w górę lub w dół. Aby zwiększyć wartość powyżej wartości domyślnej, utwórz prośbę o zwiększenie limitu, która zostanie automatycznie zatwierdzona. Zmiana powinna zacząć obowiązywać w ciągu 10 minut.
Jeśli przekroczysz ten limit, BigQuery zwróci ten komunikat o błędzie:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
Po przekroczeniu limitu wywołania ST_REGIONSTATS będą kończyć się niepowodzeniem, dopóki limit nie zostanie zresetowany następnego dnia lub zwiększony przez administratora.