Earth Engine के कोटा

कोटा के टाइप

Earth Engine प्लैटफ़ॉर्म पर कोटा की कई सीमाएं तय की गई हैं. इससे यह पक्का किया जाता है कि सभी उपयोगकर्ताओं को संसाधनों का सही तरीके से ऐक्सेस मिले. Earth Engine में कई तरह के संसाधन उपलब्ध हैं. जैसे, कंप्यूटेशन, स्टोरेज वगैरह. इसलिए, कोटा की सीमाएं भी कई तरह की होती हैं.

अलग-अलग तरह के कोटा के बीच मुख्य अंतर यह है कि उन्हें अडजस्ट किया जा सकता है या नहीं. कुछ तरह के कोटा के लिए, हम हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से सीमाएं बदल सकते हैं. वहीं, कुछ कोटा के लिए, सिस्टम के हिसाब से सीमाएं तय होती हैं. इन्हें बदला नहीं जा सकता.

चेतावनी: कोटा से जुड़ी पाबंदियां इसलिए लगाई जाती हैं, ताकि Earth Engine की पूरी कम्यूनिटी के लिए कंप्यूटिंग रिसॉर्स उपलब्ध रहें. एक से ज़्यादा Google खातों का इस्तेमाल करके, कोटा से जुड़ी पाबंदियों को बायपास करने की कोशिश करना, Earth Engine की सेवा की शर्तों का उल्लंघन है.

कोटा की सीमाओं में बदलाव करने की सुविधा

हर प्रोजेक्ट के हिसाब से ये सीमाएं लागू होती हैं.

कोटा टाइप	डिफ़ॉल्ट वैल्यू (हर प्रोजेक्ट के लिए)
एक साथ किए जाने वाले अनुरोधों की ज़्यादा से ज़्यादा संख्या (स्टैंडर्ड एंडपॉइंट)	एक साथ 40 अनुरोध
एक साथ किए जाने वाले अनुरोधों की ज़्यादा से ज़्यादा संख्या (ज़्यादा वॉल्यूम वाला एंडपॉइंट)	एक साथ 40 अनुरोध
अनुरोधों की ज़्यादा से ज़्यादा दर (हर प्रोजेक्ट के लिए)	हर सेकंड 100 अनुरोध (हर मिनट 6,000 अनुरोध)
अनुरोधों की ज़्यादा से ज़्यादा दर (हर खाते के लिए)	हर सेकंड 100 अनुरोध (हर मिनट 6,000 अनुरोध)
एक ही समय पर बैच में पूरे किए जाने वाले टास्क की औसत संख्या	औसतन दो टास्क
ऐसेट के लिए ज़्यादा से ज़्यादा स्टोरेज	250 जीबी
ऐसेट की ज़्यादा से ज़्यादा संख्या	10,000
Earth Engine के कंप्यूट टाइम (ईईसीयू-टाइम) की हर दिन की अवधि, सेकंड में	बजट को अनलिमिटेड रखना

एक साथ कई इंटरैक्टिव अनुरोध

हर प्रोजेक्ट, कोटे की सीमा तक एक साथ कई इंटरैक्टिव अनुरोध कर सकता है. अगर तय सीमा से ज़्यादा अनुरोध किए जाते हैं, तो Earth Engine "एचटीटीपी 429: बहुत ज़्यादा अनुरोध" गड़बड़ी दिखाएगा. आम तौर पर, इन गड़बड़ियों को Earth Engine क्लाइंट लाइब्रेरी मैनेज करती है. यह लाइब्रेरी, अनुरोधों को एक्स्पोनेंशियल बैकऑफ़ में रैप करती है और क्वेरी को तब तक फिर से कोशिश करती है, जब तक कि वह सफल न हो जाए. Earth Engine क्लाइंट लाइब्रेरी, अनुरोध को पांच बार फिर से भेजने की कोशिश करेगी.

429 गड़बड़ियां न मिलें, इसके लिए अपने ऐप्लिकेशन के लिए कैश मेमोरी चालू करें. उदाहरण के लिए, memcache का इस्तेमाल करें, ताकि ज़रूरत न होने पर क्वेरी न की जाएं. अगर Earth Engine क्लाइंट लाइब्रेरी के किसी पुराने वर्शन का इस्तेमाल किया जा रहा है, जो क्वेरी को अपने-आप फिर से नहीं भेजता है या पांच बार कोशिश करने के बाद भी क्वेरी पूरी नहीं होती है, तो आपको अनुरोधों के लिए एक्स्पोनेंशियल बैकऑफ़ लागू करना पड़ सकता है.

अनुरोधों की दर (क्यूपीएस)

एक साथ कई अनुरोध करने की सीमाओं के अलावा, Earth Engine, प्रोजेक्ट और उपयोगकर्ता के लेवल पर इंटरैक्टिव अनुरोधों की दर को भी सीमित करता है. इन सेटिंग को Cloud Console में जाकर बदला जा सकता है

एक साथ कई बैच टास्क

बैच टास्क को एक साथ चलाने की सुविधा सीमित होती है, क्योंकि ये इंटरैक्टिव अनुरोधों की तुलना में ज़्यादा संसाधनों का इस्तेमाल करते हैं.

Earth Engine का इस्तेमाल गैर-व्यावसायिक तौर पर करने पर, एक साथ चलाए जा सकने वाले बैच टास्क की ज़्यादा से ज़्यादा संख्या, आपके गैर-व्यावसायिक टियर से तय होती है.

Earth Engine का व्यावसायिक तौर पर इस्तेमाल करने पर, एक साथ चलाए जा सकने वाले बैच टास्क की ज़्यादा से ज़्यादा संख्या, कीमत तय करने के प्लान के हिसाब से तय होती है. हालांकि, हर प्रोजेक्ट के लिए एक साथ चलाए जा सकने वाले बैच टास्क की सीमा सेट करके, इसे और कम किया जा सकता है. डिफ़ॉल्ट रूप से, किसी प्रोजेक्ट पर एक साथ कई बैच टास्क चलाने की सीमा, प्रोजेक्ट के बिलिंग खाते पर कॉन्फ़िगर किए गए पेमेंट प्लान के हिसाब से तय की जाती है. किसी प्रोजेक्ट के लिए इस सीमा को देखने या अपडेट करने के लिए, कमांड लाइन टूल का दस्तावेज़ देखें.

ऐसेट का स्टोरेज कोटा

हर Earth Engine ऐसेट के लिए, डेटा स्टोरेज का साइज़ बाइट में मेज़र किया जाता है. ऐसेट का मालिकाना हक, क्लाउड प्रोजेक्ट या किसी व्यक्ति (लेगसी ऐसेट) के पास हो सकता है. साथ ही, हर ऐसेट को उसके मालिक के Earth Engine स्टोरेज और ऐसेट की संख्या की सीमा के हिसाब से गिना जाता है.

अगर आपको गैर-व्यावसायिक या रिसर्च के मकसद से ऐसेट स्टोरेज का अतिरिक्त कोटा चाहिए, तो गैर-व्यावसायिक या रिसर्च के मकसद से इस्तेमाल करना देखें.

हर दिन के लिए ईईसीयू-टाइम

अगर आपको लागत को कंट्रोल करना है, तो Earth Engine पर किसी प्रोजेक्ट के लिए, हर दिन इस्तेमाल किए जाने वाले ईईसीयू-टाइम को सीमित किया जा सकता है. डिफ़ॉल्ट रूप से, यह कोटा अनलिमिटेड होता है. कोटा एडमिन, Cloud Console में यह सीमा सेट कर सकते हैं. इसके लिए, उन्हें earthengine.googleapis.com/daily_eecu_usage_time कोटा मेट्रिक को फ़िल्टर करना होगा. सेट होने के बाद, यह कोटा किसी प्रोजेक्ट में सभी उपयोगकर्ताओं के Earth Engine के सफल अनुरोधों से इस्तेमाल किए गए ईईसीयू-टाइम को इकट्ठा करता है. कोटा खत्म होने पर, अनुरोध तब तक पूरे नहीं होंगे, जब तक कि अगले दिन कोटा रीसेट न हो जाए या सीमा न बढ़ा दी जाए. इस कोटे को सेट करने के बारे में ज़्यादा जानने के लिए, लागत कंट्रोल करने की गाइड देखें.

ध्यान दें: यह कोटा अनुमानित है. यह सुविधा, ज़रूरत से ज़्यादा खर्च होने से बचाती है. हालांकि, इसे ईईसीयू-टाइम को सख्ती से सीमित करने के लिए डिज़ाइन नहीं किया गया है. Earth Engine कभी-कभी ऐसी क्वेरी चला सकता है जो कोटे की सीमा से ज़्यादा हो.

कोटा की तय सीमाएं

इस तरह के कोटा की सीमाएं, प्लैटफ़ॉर्म के लेवल पर सेट की जाती हैं. इसलिए, इन्हें हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से बदला नहीं जा सकता. इनमें समय के साथ ज़्यादा बदलाव होने की संभावना नहीं है.

कैलकुलेशन में लगने वाला समय

अलग-अलग तरह के अनुरोधों के लिए, ज़्यादा से ज़्यादा समयसीमा अलग-अलग होती है. इसके बारे में ज़्यादा जानकारी, प्रोसेसिंग एनवायरमेंट के दस्तावेज़ में दी गई है.

टाइम आउट से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

हर अनुरोध के लिए मेमोरी फ़ुटप्रिंट

जब किसी अनुरोध के लिए "उपयोगकर्ता की मेमोरी की सीमा पार हो गई है" गड़बड़ी मिलती है, तो इसका मतलब है कि Earth Engine, तय की गई मेमोरी फ़ुटप्रिंट के अंदर जवाब का हिसाब नहीं लगा सका. EE कंप्यूटेशन प्लैटफ़ॉर्म में सीमित रैम उपलब्ध होती है. साथ ही, सिस्टम को स्टेबल बनाए रखने के लिए, हर अनुरोध के लिए सिर्फ़ तय रैम का इस्तेमाल किया जा सकता है. उपलब्ध मेमोरी की ज़्यादा से ज़्यादा मात्रा, अनुरोध के टाइप पर निर्भर करती है.उदाहरण के लिए, मैप टाइल के मुकाबले बैच टास्क के लिए ज़्यादा मेमोरी उपलब्ध होती है. हालांकि, ये सीमाएं पूरे सिस्टम पर लागू होती हैं.

मेमोरी से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

एग्रीगेशन

Earth Engine के अनुरोधों को प्रोसेस करते समय, हम कुछ तरह के सब-कंप्यूटेशन को अलग कर देते हैं. हमें पता है कि इनमें कंप्यूटेशन की ज़्यादा ज़रूरत होती है. इन सब-कंप्यूटेशन को "एग्रीगेशन" कहा जाता है. EE सिस्टम में इन्हें खास तौर पर मैनेज किया जाता है. एग्रीगेशन के नतीजों को कैश मेमोरी में सेव किया जाता है, ताकि उन्हें फिर से कैलकुलेट न करना पड़े.

एक साथ कई एग्रीगेशन

अनकंट्रोल कंप्यूटेशनल फ़ैनआउट से बचने के लिए, हम एग्रीगेशन की संख्या को सीमित करते हैं. कोई उपयोगकर्ता, एक साथ कई एग्रीगेशन चला सकता है. हालांकि, इस संख्या को बदला नहीं जा सकता. जब कोई अनुरोध "एक साथ कई एग्रीगेशन" की वजह से पूरा नहीं हो पाता, तो इसका मतलब है कि अनुरोध करने वाले के पास एक ही समय में कई एग्रीगेशन चल रहे थे.

एक साथ कई एग्रीगेशन से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

ज़्यादा एग्रीगेशन नतीजे

जब "कंप्यूट की गई वैल्यू बहुत ज़्यादा है" गड़बड़ी की वजह से कोई अनुरोध पूरा नहीं हो पाता है, तो इसका मतलब है कि एग्रीगेशन से मिला नतीजा इतना बड़ा है कि उसे हमारी कैश मेमोरी में सेव नहीं किया जा सकता. कंप्यूट किए गए नतीजों के साइज़ की सीमा 100 MiB है. यह सीमा पूरे सिस्टम पर लागू होती है.

टेबल इंपोर्ट करने की सीमाएं

टेबल अपलोड करने की सीमाओं के बारे में, टेबल डेटा इंपोर्ट करने की गाइड में बताया गया है.

अनुरोध के पेलोड का साइज़

Earth Engine में एक क्वेरी का साइज़ 10 एमबी तक हो सकता है. आम तौर पर, यह सीमा तब पार होती है, जब क्वेरी में सीधे तौर पर कोई बड़ा डेटा शामिल किया जाता है. जैसे, क्वेरी में इनलाइन की गई कोई शेपफ़ाइल या GeoJSON स्ट्रक्चर. इसके बजाय, इन ऑब्जेक्ट को अपलोड करके FeatureCollection ऐसेट में बदलना चाहिए. साथ ही, ऐसेट के आईडी की मदद से इन्हें रेफ़रंस के तौर पर इस्तेमाल करना चाहिए.

टास्क की सूची में एलिमेंट की संख्या

शेड्यूल किए जाने का इंतज़ार कर रहे टास्क (READY स्थिति में), "टास्क सूची" बनाते हैं. हर प्रोजेक्ट की सूची में ज़्यादा से ज़्यादा 3,000 टास्क जोड़े जा सकते हैं. इसका मतलब है कि READY स्थिति में 3,000 से ज़्यादा टास्क नहीं हो सकते.

BigQuery के रास्टर फ़ंक्शन के कोटे की सीमाएं

BigQuery से Earth Engine को किए जाने वाले कॉल पर, ये कोटा लागू होते हैं. जैसे, ST_REGIONSTATS एसक्यूएल फ़ंक्शन का इस्तेमाल करते समय.

कोटा टाइप	डिफ़ॉल्ट वैल्यू (हर प्रोजेक्ट के लिए)
हर दिन के लिए BigQuery स्लॉट-टाइम	12,60,000 स्लॉट-सेकंड (350 स्लॉट-घंटे)

हर दिन के लिए BigQuery स्लॉट-टाइम

हर दिन के लिए BigQuery स्लॉट-टाइम का कोटा, एक कस्टम कोटा है. इसकी मदद से, BigQuery रास्टर फ़ंक्शन के लिए स्लॉट-टाइम की सीमा तय की जा सकती है. इससे यह तय किया जा सकता है कि किसी प्रोजेक्ट के लिए, Earth Engine पर BigQuery रास्टर फ़ंक्शन, एक दिन में कितना स्लॉट-टाइम इस्तेमाल कर सकते हैं. रोज़ाना के कोटे में, सभी क्वेरी पर खर्च किया गया कुल समय शामिल होता है. इसमें वे क्वेरी भी शामिल होती हैं जो पूरी नहीं हो पाती हैं. Cloud Console में, earthengine.googleapis.com/bigquery_slot_usage_time मेट्रिक के तहत कोटा देखा जा सकता है. साथ ही, कोटे का एडमिन, कोटे की वैल्यू को कम या ज़्यादा कर सकता है. डिफ़ॉल्ट वैल्यू से ज़्यादा वैल्यू बढ़ाने के लिए, कोटा बढ़ाने का अनुरोध करें. इसे अपने-आप मंज़ूरी मिल जाएगी. बदलाव 10 मिनट में लागू हो जाएगा.

अगर यह कोटा पार हो जाता है, तो BigQuery गड़बड़ी का यह मैसेज दिखाएगा:

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

कोटा खत्म होने के बाद, ST_REGIONSTATS कॉल नहीं किए जा सकेंगे. ऐसा तब तक होगा, जब तक कि अगले दिन कोटा रीसेट नहीं हो जाता या एडमिन कोटा नहीं बढ़ा देता.

ध्यान दें: BigQuery की कस्टम क्वेरी के कोटा की तरह ही, यह कोटा भी अनुमानित होता है. यह ज़्यादा खर्च होने से बचाता है. हालांकि, इसे स्लॉट के समय को सख्ती से सीमित करने के लिए डिज़ाइन नहीं किया गया है. BigQuery कभी-कभी ऐसी क्वेरी चला सकता है जो कोटे की सीमा से ज़्यादा हो.