Earth Engine-এ মেশিন লার্নিং

মেশিন লার্নিং API

মেশিন লার্নিং (ML) হল আর্থ অবজারভেশন ডেটা বিশ্লেষণ করার একটি শক্তিশালী টেকনিক। Earth Engine-এ বিল্ট-ইন ক্ষমতা আছে যা ব্যবহারকারীদের সহজে ব্যবহারযোগ্য API-এর মাধ্যমে সাধারণ পরিস্থিতির জন্য ML মডেল তৈরি এবং ব্যবহার করতে দেয়।

স্যাটেলাইট ইমেজের পিক্সেলকে দুই বা তার বেশি বিভাগে ক্লাসিফাই করা হল একটি সাধারণ ML টাস্ক। এই পদ্ধতিটি ল্যান্ড ইউজ ল্যান্ড কভার ম্যাপিং এবং অন্যান্য জনপ্রিয় অ্যাপ্লিকেশনের জন্য উপযোগী।

  • তত্ত্বাবধানে থাকা ক্লাসিফিকেশন: জমি ক্লাসিফাই করার জন্য একটি ML টেকনিক হল বাস্তবিক সত্যের উদাহরণ ব্যবহার করে একটি মডেলকে বিভিন্ন ক্লাসের মধ্যে পার্থক্য করতে শেখানো। Earth Engine-এর বিল্ট-ইন তত্ত্বাবধান করা ক্লাসিফায়ার এই প্রসেসকে সাপোর্ট করে।
  • আনসুপারভাইজড ক্লাসিফিকেশন: আনসুপারভাইজড ক্লাসিফিকেশনে, ট্রেনিং অ্যালগরিদমকে কোনও বাস্তবিক সত্যের উদাহরণ প্রদান করা হয় না। পরিবর্তে, অ্যালগরিদম অন্তর্নিহিত পার্থক্যের উপর ভিত্তি করে উপলভ্য ডেটাকে ক্লাস্টারে ভাগ করে। Earth Engine-এর আনসুপারভাইজড ক্লাসিফায়ার বিশেষ করে তখন কাজে লাগে যখন কোনও বাস্তবিক সত্য ডেটা থাকে না, যখন আপনি ক্লাসের চূড়ান্ত সংখ্যা জানেন না অথবা যখন আপনি দ্রুত পরীক্ষা করতে চান।
  • রিগ্রেশন: যেখানে একটি ক্লাসিফিকেশন মডেল প্রতিটি ইনপুটকে একটি স্বতন্ত্র ক্লাসে বাকেট করার চেষ্টা করে, সেখানে একটি রিগ্রেশন মডেল প্রতিটি ইনপুটের জন্য একটি কন্টিনিউয়াস ভেরিয়েবল অনুমান করার চেষ্টা করে। যেমন, রিগ্রেশন মডেল জলের কোয়ালিটি, বনের আচ্ছাদনের শতাংশ, মেঘের আচ্ছাদনের শতাংশ বা ফসলের ফলনের পূর্বাভাস দিতে পারে। আরও তথ্যের জন্য, ee.Reducers-এর লিনিয়ার রিগ্রেশন বিভাগ দেখুন।

Earth Engine-এর বাইরে মডেল ট্রেনিং ও পূর্বাভাস

ডিপ লার্নিং ও নিউরাল নেটওয়ার্ক হল মেশিন লার্নিং টেকনিক যা স্যাটেলাইট ইমেজের মতো জটিল ডেটার ক্ষেত্রে ভালোভাবে কাজ করতে পারে। Earth Engine-এর মেশিন লার্নিং API-তে ডিপ লার্নিং বা নিউরাল নেটওয়ার্ক, কোনওটিই কাজ করে না। পরিবর্তে, এগুলির সুবিধা নিতে, আপনাকে TensorFlow বা PyTorch-এর মতো ফ্রেমওয়ার্ক ব্যবহার করতে হবে এবং Earth Engine-এর বাইরে আপনার মডেলকে ট্রেনিং দিতে হবে।

আপনি যদি ক্লাসিক্যাল মেশিন লার্নিংয়ের জন্য scikit-learn বা গ্রেডিয়েন্ট বুস্টেড ডিসিশন ট্রির জন্য XGBoost-এর মতো ফ্রেমওয়ার্কের সাথে পরিচিত হন, তাহলে আপনি Earth Engine-এর বাইরেও ট্রেনিং দিতে চাইতে পারেন।

অবশেষে, আপনার ডেটাসেট খুব বড় হলে এবং নিচে উল্লেখ করা সীমা অতিক্রম করলে, আপনি Earth Engine-এর বাইরে কোনও মডেলকে ট্রেনিং দিতে চাইতে পারেন।

ট্রেনিংয়ের জন্য Earth Engine থেকে ডেটা এক্সপোর্ট করুন

Earth Engine-এর বাইরে কোনও মডেল থেকে পূর্বাভাস পাওয়া

আপনি Earth Engine-এর বাইরে কোনও মডেলকে ট্রেনিং দিলে, সেই মডেল থেকে পূর্বাভাস পাওয়ার জন্য আপনার কাছে কয়েকটি বিকল্প আছে।

  • Earth Engine-এর ee.Model প্যাকেজ Earth Engine-এ ডেটা এবং Google-এর Vertex AI-তে হোস্ট করা একটি প্রশিক্ষিত মডেল ব্যবহার করে ভবিষ্যদ্বাণী করার অনুমতি দেয়। আপনি Vertex AI-তে কাস্টম ট্রেনিং দেওয়া মডেল হোস্ট করতে পারবেন এবং ee.Model.fromVertexAi ব্যবহার করে Earth Engine-এ সরাসরি ইনফারেন্স পারফর্ম করতে পারবেন। আরও তথ্যের জন্য ইমেজ প্রেডিকশন গাইড বা টেবিল প্রেডিকশন গাইড দেখুন।
  • অন্যথায়, ল্যান্ড কভার ক্লাসিফিকেশন টিউটোরিয়াল দেখায় যে Cloud Functions-এর মতো ক্লাউড পরিষেবা ব্যবহার করে আপনি কীভাবে পূর্বাভাস দিতে পারেন।

Earth Engine-এর বাইরে মডেল ট্রেনিংয়ের অন্যান্য কারণ

পরিচিতি এবং পছন্দের পাশাপাশি, আপনি Earth Engine-এর বাইরে একটি মডেলকে প্রশিক্ষণ দিতে চাইতে পারেন যদি আপনি মডেল আর্কিটেকচার ব্যবহার করতে চান (যেমন কনভোলিউশনাল নিউরাল নেটওয়ার্ক) যা Earth Engine-এর মেশিন লার্নিং API দ্বারা সমর্থিত নয়, আপনি যদি Vertex AI-এর আরও ফিচার ব্যবহার করতে চান অথবা আপনি যদি Earth Engine-এর মেশিন লার্নিং API-এর সাথে স্কেলিং সীমার সম্মুখীন হন।

ট্রেনিং সেটের সীমা

ee.Classifier বা ee.Clusterer ব্যবহার করে ট্রেনিং সাধারণত ১০০ এমবি পর্যন্ত ডেটাসেটের ক্ষেত্রে কার্যকর হয়। খুবই আনুমানিক নির্দেশিকা হিসেবে, ৩২-বিট (অর্থাৎ, ফ্লোট) প্রিসিশন ধরে নিয়ে, এটি ট্রেনিং ডেটাসেটকে জায়গা দিতে পারে যা (যেখানে n হল উদাহরণের সংখ্যা এবং b হল ব্যান্ডের সংখ্যা) পূরণ করে:

nb ≤ (১০০ * ২ ২০) / ৪

যেমন, আপনি যদি ১০০টি ব্যান্ড ব্যবহার করে ট্রেনিং দেন, তাহলে ট্রেনিংয়ের জন্য ব্যবহৃত উদাহরণের সংখ্যা ২০০,০০০-এর কম হতে হবে।

ইনফারেন্সের সীমা

যেহেতু Earth Engine ২৫৬x২৫৬ ইমেজ টাইল প্রসেস করে, তাই ইমেজারি সংক্রান্ত ইনফারেন্স অনুরোধে ৪০০টির কম ব্যান্ড থাকতে হবে (আবার, ইমেজারির ৩২-বিট প্রিসিশন ধরে নিয়ে)।

প্রতিটি ট্রেনিং রানের জন্য ডেটাসেট সীমার মধ্যে রাখতে আপনি একাধিকবার ক্লাসিফায়ারকে আবার ট্রেনিং দিতে পারেন।

      var trainings = ee.List.sequence(0, 3).map(function(cover) {
          return image.addBands(landcover.eq(cover).stratifiedSample(…)
      })

      var classifier = ee.Classifier.smileCart()
          .train(trainings.get(0), "cover")
          .train(trainings.get(1), "cover")
          .train(trainings.get(2), "cover")
          .train(trainings.get(3), "cover")
    

মডেলের সাইজের উপর সীমা

এছাড়াও, মডেলের সাইজ ১০০ এমবির কম হতে হবে। আমাদের অনেক ক্লাসিফায়ারকে কনফিগার করা যেতে পারে যাতে তাদের জটিলতা এবং সাইজ সীমিত করা যায়। যেমন:

      var classifier = ee.Classifier.smileRandomForest({
          numberOfTrees: 10,
          minLeafPopulation: 10,
          maxNodes: 10000
      })