मशीन लर्निंग एपीआई
मशीन लर्निंग (एमएल), पृथ्वी की अलग-अलग जगहों के डेटा का विश्लेषण करने की एक बेहतरीन तकनीक है. Earth Engine में पहले से मौजूद सुविधाएं हैं. इनकी मदद से, उपयोगकर्ता इस्तेमाल में आसान एपीआई के ज़रिए, सामान्य स्थितियों के लिए एमएल मॉडल बना सकते हैं और उनका इस्तेमाल कर सकते हैं.
एमएल का एक सामान्य टास्क, सैटलाइट से ली गई तस्वीरों में मौजूद पिक्सल को दो या इससे ज़्यादा कैटगरी में बांटना है. यह तरीका, लैंड यूज़ लैंड कवर मैपिंग और अन्य लोकप्रिय ऐप्लिकेशन के लिए मददगार है.
- सुपरवाइज़्ड क्लासिफ़िकेशन: ज़मीन को अलग-अलग कैटगरी में बांटने के लिए, एमएल की एक तकनीक का इस्तेमाल किया जाता है. इसमें ज़मीनी हकीकत के उदाहरणों का इस्तेमाल करके, मॉडल को अलग-अलग कैटगरी के बीच अंतर करना सिखाया जाता है. Earth Engine में पहले से मौजूद सुपरवाइज़्ड क्लासिफ़ायर इस प्रोसेस में मदद करते हैं.
- अनसुपरवाइज़्ड क्लासिफ़िकेशन: अनसुपरवाइज़्ड क्लासिफ़िकेशन में, ट्रेनिंग एल्गोरिदम को ज़मीनी हकीकत के उदाहरण नहीं दिए जाते. इसके बजाय, एल्गोरिदम उपलब्ध डेटा को उसमें मौजूद अंतर के आधार पर क्लस्टर में बांटता है. Earth Engine के अनसुपरवाइज़्ड क्लासिफ़ायर खास तौर पर तब काम आते हैं, जब कोई ज़मीनी हकीकत डेटा मौजूद न हो, आपको क्लास की कुल संख्या न पता हो या आपको तुरंत एक्सपेरिमेंट करना हो.
- रिग्रेशन: क्लासिफ़िकेशन मॉडल, हर इनपुट को अलग-अलग क्लास में बांटने की कोशिश करता है. वहीं, रिग्रेशन मॉडल हर इनपुट के लिए, लगातार बदलने वाले वैरिएबल का अनुमान लगाने की कोशिश करता है. उदाहरण के लिए, रिग्रेशन मॉडल से पानी की क्वालिटी, जंगल के दायरे का प्रतिशत, बादलों के दायरे का प्रतिशत या फ़सल की पैदावार का अनुमान लगाया जा सकता है. ज़्यादा जानकारी के लिए, कृपया ee.Reducers का लीनियर रिग्रेशन सेक्शन देखें.
Earth Engine के बाहर मॉडल को ट्रेनिंग देना और अनुमान लगाना
डीप लर्निंग और न्यूरल नेटवर्क, मशीन लर्निंग की ऐसी तकनीकें हैं जो सैटलाइट से ली गई तस्वीरों जैसे जटिल डेटा के लिए अच्छी तरह से काम कर सकती हैं. Earth Engine के मशीन लर्निंग एपीआई में, डीप लर्निंग और न्यूरल नेटवर्क, दोनों का इस्तेमाल नहीं किया जा सकता. इसके बजाय, इनका फ़ायदा लेने के लिए, आपको TensorFlow या PyTorch जैसे फ़्रेमवर्क का इस्तेमाल करना होगा. साथ ही, Earth Engine के बाहर अपने मॉडल को ट्रेनिंग देनी होगी.
अगर आपको पहले से ही क्लासिकल मशीन लर्निंग के लिए scikit-learn या ग्रेडिएंट बूस्टेड डिसिज़न ट्री के लिए XGBoost जैसे फ़्रेमवर्क के बारे में पता है, तो Earth Engine के बाहर भी ट्रेनिंग ली जा सकती है.
अगर आपका डेटा सेट बहुत बड़ा है और यहां बताई गई सीमाओं से ज़्यादा है, तो हो सकता है कि आपको Earth Engine के बाहर किसी मॉडल को ट्रेन करना पड़े.
ट्रेनिंग के लिए, Earth Engine से डेटा एक्सपोर्ट करना
- TFRecord डेटा फ़ॉर्मैट को TensorFlow में ट्रेनिंग के लिए ऑप्टिमाइज़ किया गया है. मशीन लर्निंग के उदाहरण वाले पेज पर, TensorFlow के कई वर्कफ़्लो शामिल हैं. इनसे पता चलता है कि TFRecords का इस्तेमाल करके, किसी मॉडल को कैसे ट्रेन किया जाता है.
- इसके अलावा, Google Cloud Dataflow में होस्ट किए गए Apache Beam का इस्तेमाल करके डेटा डाउनलोड करने और फिर TensorFlow का इस्तेमाल करके Vertex AI में ट्रेनिंग देने का उदाहरण देखने के लिए, कृपया लैंड कवर क्लासिफ़िकेशन ट्यूटोरियल पर जाएं और colab notebook के साथ आगे बढ़ें.
Earth Engine के बाहर मौजूद किसी मॉडल से अनुमान पाना
अगर आपने Earth Engine के बाहर किसी मॉडल को ट्रेनिंग दी है, तो उस मॉडल से अनुमान पाने के लिए आपके पास कुछ विकल्प हैं.
-
Earth Engine के
ee.Modelपैकेज की मदद से, Earth Engine में मौजूद डेटा और Google के Vertex AI पर होस्ट किए गए ट्रेन किए गए मॉडल का इस्तेमाल करके, अनुमान लगाए जा सकते हैं. Vertex AI में, पसंद के मुताबिक ट्रेनिंग दिए गए मॉडल को होस्ट किया जा सकता है. साथ ही,ee.Model.fromVertexAiका इस्तेमाल करके, सीधे Earth Engine में अनुमान लगाया जा सकता है. ज़्यादा जानकारी के लिए, इमेज के अनुमानों के लिए गाइड या टेबल के अनुमानों के लिए गाइड देखें. - इसके अलावा, लैंड कवर क्लासिफ़िकेशन ट्यूटोरियल में बताया गया है कि Cloud Functions जैसी क्लाउड सेवा का इस्तेमाल करके, अनुमान कैसे लगाए जा सकते हैं.
Earth Engine के बाहर मॉडल को ट्रेनिंग देने की अन्य वजहें
Earth Engine के बाहर किसी मॉडल को ट्रेन करने की कई वजहें हो सकती हैं. जैसे, आपको उस प्लैटफ़ॉर्म के बारे में ज़्यादा जानकारी हो या वह आपको ज़्यादा पसंद हो. इसके अलावा, अगर आपको ऐसे मॉडल आर्किटेक्चर (जैसे, कॉन्वोलूशनल न्यूरल नेटवर्क) इस्तेमाल करने हैं जो Earth Engine के मशीन लर्निंग एपीआई के साथ काम नहीं करते, तो भी ऐसा किया जा सकता है. साथ ही, अगर आपको Vertex AI की ज़्यादा सुविधाओं का इस्तेमाल करना है या Earth Engine के मशीन लर्निंग एपीआई के साथ स्केलिंग की सीमाओं का सामना करना पड़ता है, तो भी ऐसा किया जा सकता है.
ट्रेनिंग सेट की सीमाएं
आम तौर पर, ee.Classifier या ee.Clusterer का इस्तेमाल करके ट्रेनिंग देने पर, 100 एमबी तक के डेटासेट के साथ बेहतर नतीजे मिलते हैं. एक सामान्य दिशा-निर्देश के तौर पर, 32-बिट (यानी फ़्लोट) प्रिसिज़न को ध्यान में रखते हुए,
इसमें ट्रेनिंग डेटासेट को शामिल किया जा सकता है. इसके लिए, यह ज़रूरी है कि (जहां n उदाहरणों की संख्या है
और b बैंड की संख्या है):
nb ≤ (100 * 2 20) / 4
उदाहरण के लिए, अगर 100 बैंड का इस्तेमाल करके ट्रेनिंग दी जाती है, तो ट्रेनिंग के लिए इस्तेमाल किए जाने वाले उदाहरणों की संख्या 2,00,000 से कम होनी चाहिए.
अनुमान लगाने की सीमाएं
Earth Engine, 256x256 इमेज टाइल को प्रोसेस करता है. इसलिए, इमेज पर अनुमान लगाने के अनुरोधों में 400 से कम बैंड होने चाहिए. यह भी मान लें कि इमेज की सटीक जानकारी 32-बिट की है.
क्लासिफ़ायर को एक से ज़्यादा बार फिर से ट्रेन किया जा सकता है, ताकि हर ट्रेनिंग रन के लिए डेटासेट को तय सीमा में रखा जा सके.
var trainings = ee.List.sequence(0, 3).map(function(cover) { return image.addBands(landcover.eq(cover).stratifiedSample(…) }) var classifier = ee.Classifier.smileCart() .train(trainings.get(0), "cover") .train(trainings.get(1), "cover") .train(trainings.get(2), "cover") .train(trainings.get(3), "cover")
मॉडल के साइज़ की सीमाएं
इसके अलावा, मॉडल का साइज़ 100 एमबी से कम होना चाहिए. हमारे कई क्लासिफ़ायर को कॉन्फ़िगर किया जा सकता है, ताकि उनकी जटिलता और साइज़ को सीमित किया जा सके. उदाहरण के लिए:
var classifier = ee.Classifier.smileRandomForest({ numberOfTrees: 10, minLeafPopulation: 10, maxNodes: 10000 })