আপনি যদি AutoML ব্যবহার করার কথা ভাবছেন, তাহলে এটি কীভাবে কাজ করে এবং শুরু করার জন্য আপনার কী পদক্ষেপ নেওয়া উচিত সে সম্পর্কে আপনার প্রশ্ন থাকতে পারে। এই বিভাগটি সাধারণ অটোএমএল প্যাটার্নগুলির গভীরে ডুব দেয়, অটোএমএল কীভাবে কাজ করে তা অন্বেষণ করে এবং আপনার প্রকল্পের জন্য অটোএমএল ব্যবহার শুরু করার আগে আপনাকে কী পদক্ষেপ নিতে হবে তা পরীক্ষা করে।
অটোএমএল টুলস
অটোএমএল টুল দুটি প্রধান বিভাগে পড়ে:
- যে সরঞ্জামগুলির জন্য কোন কোডিং প্রয়োজন হয় না সেগুলি সাধারণত ওয়েব অ্যাপ্লিকেশনগুলির আকার নেয় যা আপনাকে কোনও কোড না লিখেই আপনার ডেটার জন্য সেরা মডেল খুঁজে পেতে একটি ব্যবহারকারী ইন্টারফেসের মাধ্যমে পরীক্ষাগুলি কনফিগার করতে এবং চালাতে দেয়৷
- এপিআই এবং সিএলআই সরঞ্জামগুলি উন্নত অটোমেশন বৈশিষ্ট্যগুলি সরবরাহ করে, তবে আরও (কখনও কখনও উল্লেখযোগ্যভাবে বেশি) প্রোগ্রামিং এবং এমএল দক্ষতার প্রয়োজন হয়।
অটোএমএল সরঞ্জামগুলি যেগুলির জন্য কোডিং প্রয়োজন হয় তা নো-কোড সরঞ্জামগুলির চেয়ে আরও শক্তিশালী এবং আরও নমনীয় হতে পারে, তবে সেগুলি ব্যবহার করা আরও কঠিন হতে পারে। এই মডিউলটি মডেল ডেভেলপমেন্টের জন্য নো-কোড বিকল্পগুলির উপর ফোকাস করে, তবে সচেতন থাকুন যে আপনার কাস্টমাইজড অটোমেশনের প্রয়োজন হলে API এবং CLI বিকল্পগুলি সাহায্য করতে পারে।
অটোএমএল ওয়ার্কফ্লো
আসুন একটি সাধারণ ML কার্যপ্রবাহের মধ্য দিয়ে চলুন এবং আপনি যখন AutoML ব্যবহার করেন তখন জিনিসগুলি কীভাবে কাজ করে তা দেখুন। কর্মপ্রবাহের উচ্চ স্তরের ধাপগুলি আপনি কাস্টম প্রশিক্ষণের জন্য যেগুলি ব্যবহার করেন তার মতোই; প্রধান পার্থক্য হল যে AutoML আপনার জন্য কিছু কাজ পরিচালনা করে।
সমস্যার সংজ্ঞা
যেকোন এমএল ওয়ার্কফ্লোতে প্রথম ধাপ হল আপনার সমস্যাটি সংজ্ঞায়িত করা। আপনি যখন AutoML ব্যবহার করছেন, নিশ্চিত করুন যে আপনার বেছে নেওয়া টুলটি আপনার ML প্রকল্পের উদ্দেশ্য সমর্থন করতে পারে। বেশিরভাগ অটোএমএল টুলগুলি বিভিন্ন ধরণের তত্ত্বাবধানে থাকা মেশিন লার্নিং অ্যালগরিদম এবং ইনপুট ডেটা প্রকারগুলিকে সমর্থন করে।
সমস্যা ফ্রেমিং সম্পর্কে আরও তথ্যের জন্য, মেশিন লার্নিং সমস্যা ফ্রেমিংয়ের ভূমিকার মডিউলটি দেখুন।
তথ্য সংগ্রহ
আপনি একটি AutoML টুলের সাথে কাজ শুরু করার আগে, আপনাকে একটি একক ডেটা উৎসে আপনার ডেটা সংগ্রহ করতে হবে। আপনার টুল সমর্থন করে কিনা তা নিশ্চিত করতে পণ্যের ডকুমেন্টেশন পরীক্ষা করুন: আপনার ডেটা উৎস, আপনার ডেটাসেটের ডেটার ধরন, আপনার ডেটাসেটের আকার।
ডেটা প্রস্তুতি
ডেটা প্রস্তুতি এমন একটি ক্ষেত্র যেখানে অটোএমএল সরঞ্জামগুলি আপনাকে সাহায্য করতে পারে, তবে কোনও সরঞ্জামই স্বয়ংক্রিয়ভাবে সবকিছু করতে পারে না, তাই টুলটিতে আপনার ডেটা আমদানি করার আগে কিছু কাজ করার আশা করুন৷ অটোএমএল-এর জন্য ডেটা প্রস্তুতি একই রকম যা আপনাকে একটি মডেলকে ম্যানুয়ালি প্রশিক্ষণের জন্য করতে হবে। প্রশিক্ষণের জন্য আপনার ডেটা কীভাবে প্রস্তুত করবেন সে সম্পর্কে আপনার আরও জানার প্রয়োজন হলে, ডেটা প্রস্তুতি বিভাগটি দেখুন।
আপনার ডেটা প্রস্তুত করার বিষয়ে আরও তথ্যের জন্য, সংখ্যাসূচক ডেটার সাথে কাজ করা এবং শ্রেণীবদ্ধ ডেটা মডিউলগুলির সাথে কাজ করা দেখুন।
AutoML প্রশিক্ষণের জন্য আপনার ডেটা আমদানি করার আগে , আপনাকে এই পদক্ষেপগুলি সম্পূর্ণ করতে হবে:
আপনার ডেটা লেবেল করুন
আপনার ডেটাসেটের প্রতিটি উদাহরণের একটি লেবেল প্রয়োজন।
ডেটা পরিষ্কার এবং ফর্ম্যাট করুন
বাস্তব-বিশ্বের ডেটা অগোছালো হতে থাকে, তাই এটি ব্যবহার করার আগে আপনার ডেটা পরিষ্কার করার আশা করুন। এমনকি অটোএমএল-এর মাধ্যমে আপনাকে আপনার নির্দিষ্ট ডেটাসেট এবং সমস্যার জন্য সর্বোত্তম চিকিত্সা নির্ধারণ করতে হবে। আপনি সেরা ফলাফল পাওয়ার আগে এর জন্য কিছু অন্বেষণ এবং সম্ভাব্য একাধিক AutoML রানের প্রয়োজন হতে পারে।
বৈশিষ্ট্য রূপান্তর সঞ্চালন
কিছু AutoML সরঞ্জাম আপনার জন্য নির্দিষ্ট বৈশিষ্ট্য রূপান্তর পরিচালনা করে। কিন্তু, আপনি যে টুলটি ব্যবহার করছেন সেটি যদি আপনার প্রয়োজন এমন কোনো ফিচার ট্রান্সফর্মকে সমর্থন না করে বা এটিকে ভালোভাবে সমর্থন না করে, তাহলে আপনাকে সময়ের আগে রূপান্তরগুলি সম্পাদন করতে হতে পারে।
মডেল ডেভেলপমেন্ট (কোন-কোড অটোএমএল সহ)
প্রশিক্ষণের সময় AutoML আপনার জন্য কাজ করে। যাইহোক, আপনি প্রশিক্ষণ শুরু করার আগে, আপনাকে আপনার পরীক্ষা কনফিগার করতে হবে। একটি AutoML প্রশিক্ষণ রান সেট আপ করতে, আপনাকে সাধারণত এই উচ্চ স্তরের পদক্ষেপগুলি নির্দিষ্ট করতে হবে:
আপনার ডেটা আমদানি করুন
আপনার ডেটা আমদানি করতে, আপনার ডেটা উত্স নির্দিষ্ট করুন৷ আমদানি প্রক্রিয়া চলাকালীন, অটোএমএল টুল প্রতিটি ডেটা মানকে একটি শব্দার্থিক ডেটা টাইপ বরাদ্দ করে।
আপনার ডেটা বিশ্লেষণ করুন
অটোএমএল পণ্যগুলি সাধারণত প্রশিক্ষণের আগে এবং পরে আপনার ডেটাসেট বিশ্লেষণ করার জন্য সরঞ্জাম সরবরাহ করে। একটি সেরা অনুশীলন হিসাবে, আপনি একটি AutoML রান শুরু করার আগে আপনার ডেটা বুঝতে এবং যাচাই করতে এই বিশ্লেষণ সরঞ্জামগুলি ব্যবহার করতে চাইতে পারেন।
আপনার ডেটা পরিমার্জিত করুন
অটোএমএল সরঞ্জামগুলি প্রায়শই আপনাকে আমদানি করার পরে এবং প্রশিক্ষণের আগে আপনার ডেটা পরিমার্জিত করতে সহায়তা করার জন্য প্রক্রিয়া সরবরাহ করে। আপনার ডেটা পরিমার্জিত করার জন্য এখানে কয়েকটি কাজ আপনি সম্পূর্ণ করতে চাইতে পারেন:
শব্দার্থিক চেকিং: আমদানির সময়, অটোএমএল সরঞ্জামগুলি প্রতিটি বৈশিষ্ট্যের জন্য সঠিক শব্দার্থিক ধরন নির্ধারণ করার চেষ্টা করে, তবে এগুলি কেবল অনুমান। আপনার সমস্ত বৈশিষ্ট্যের জন্য মনোনীত প্রকারগুলি পরীক্ষা করা উচিত এবং যদি সেগুলি ভুলভাবে বরাদ্দ করা হয় তবে সেগুলি পরিবর্তন করুন৷
উদাহরণস্বরূপ, আপনার ডাটাবেসের একটি কলামে নম্বর হিসাবে পোস্টাল কোড সংরক্ষিত থাকতে পারে। বেশিরভাগ অটোএমএল সিস্টেম অবিচ্ছিন্ন সংখ্যাসূচক ডেটা হিসাবে ডেটা সনাক্ত করবে। এটি একটি পোস্টাল কোডের জন্য ভুল হবে এবং ব্যবহারকারী সম্ভবত এই বৈশিষ্ট্য কলামের জন্য অবিচ্ছিন্ন না হয়ে শব্দার্থিক প্রকারকে শ্রেণীগত পরিবর্তন করতে চাইবেন।
রূপান্তর: কিছু সরঞ্জাম ব্যবহারকারীদের পরিমার্জন প্রক্রিয়ার অংশ হিসাবে ডেটা রূপান্তর কাস্টমাইজ করার অনুমতি দেয়। কখনও কখনও এটির প্রয়োজন হয় যখন একটি ডেটাসেটে সম্ভাব্য ভবিষ্যদ্বাণীমূলক বৈশিষ্ট্য থাকে যা এমনভাবে রূপান্তরিত বা একত্রিত করা প্রয়োজন যা অটোএমএল সরঞ্জামগুলির সাহায্য ছাড়া নির্ধারণ করা কঠিন।
উদাহরণস্বরূপ, একটি হাউজিং ডেটাসেট বিবেচনা করুন যা আপনি একটি বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহার করছেন। ধরুন এমন একটি বৈশিষ্ট্য রয়েছে যা
descriptionনামে একটি বাড়ির তালিকার বিবরণকে উপস্থাপন করে এবং আপনিdescription_lengthনামে একটি নতুন বৈশিষ্ট্য তৈরি করতে এই ডেটা ব্যবহার করতে চান। কিছু AutoML সিস্টেম কাস্টম রূপান্তর ব্যবহার করার উপায় অফার করে। এই উদাহরণের জন্য, একটিLENGTHফাংশন থাকতে পারে এই মত একটি নতুন বর্ণনা দৈর্ঘ্যের বৈশিষ্ট্য তৈরি করতে:LENGTH(description)।
AutoML রান প্যারামিটার কনফিগার করুন
আপনার ট্রেনিং এক্সপেরিমেন্ট চালানোর আগে শেষ ধাপ হল টুলটিকে আপনি কিভাবে আপনার মডেলকে প্রশিক্ষিত করতে চান তা বলার জন্য কয়েকটি কনফিগারেশন সেটিংস বেছে নেওয়া। যদিও প্রতিটি অটোএমএল টুলের নিজস্ব কনফিগারেশন বিকল্পগুলির নিজস্ব সেট রয়েছে, এখানে কয়েকটি উল্লেখযোগ্য কনফিগারেশন কাজগুলি আপনাকে সম্পূর্ণ করতে হবে:
- আপনি যে ML সমস্যা সমাধানের পরিকল্পনা করছেন তা নির্বাচন করুন। উদাহরণস্বরূপ, আপনি একটি শ্রেণীবিভাগ বা রিগ্রেশন সমস্যা সমাধান করছেন?
- আপনার ডেটাসেটের কোন কলামটি লেবেল তা নির্বাচন করুন।
- মডেলকে প্রশিক্ষণ দিতে ব্যবহার করার জন্য বৈশিষ্ট্যগুলির সেট নির্বাচন করুন।
- মডেল অনুসন্ধানে AutoML বিবেচনা করে এমএল অ্যালগরিদমের সেট নির্বাচন করুন।
- সেরা মডেল নির্বাচন করতে AutoML ব্যবহার করে মূল্যায়ন মেট্রিক নির্বাচন করুন।
আপনার AutoML পরীক্ষা কনফিগার করার পরে, আপনি প্রশিক্ষণ চালানো শুরু করতে প্রস্তুত। প্রশিক্ষণ শেষ হতে কিছু সময় লাগতে পারে (ঘন্টার ক্রম অনুসারে)।
মডেল মূল্যায়ন
প্রশিক্ষণের পরে, আপনার অটোএমএল পণ্য আপনাকে সাহায্য করার জন্য সরবরাহ করে এমন সরঞ্জামগুলি ব্যবহার করে আপনি ফলাফলগুলি পরীক্ষা করতে পারেন:
- বৈশিষ্ট্য গুরুত্ব মেট্রিক্স পরীক্ষা করে আপনার বৈশিষ্ট্য মূল্যায়ন.
- এটি তৈরি করতে ব্যবহৃত আর্কিটেকচার এবং হাইপারপ্যারামিটারগুলি পরীক্ষা করে আপনার মডেলটি বুঝুন।
- আউটপুট মডেলের জন্য প্রশিক্ষণের সময় সংগৃহীত প্লট এবং মেট্রিক্স সহ শীর্ষ-স্তরের মডেলের কর্মক্ষমতা মূল্যায়ন করুন।
উৎপাদন
যদিও এটি এই মডিউলের সুযোগের বাইরে, কিছু অটোএমএল সিস্টেম আপনাকে আপনার মডেল পরীক্ষা এবং স্থাপনে সহায়তা করতে পারে।
মডেল পুনরায় প্রশিক্ষণ
আপনাকে নতুন ডেটা সহ মডেলটিকে পুনরায় প্রশিক্ষণের প্রয়োজন হতে পারে। আপনি আপনার AutoML ট্রেনিং চালানোর মূল্যায়ন করার পরে বা আপনার মডেল কিছু সময়ের জন্য উৎপাদনে থাকার পরে এটি ঘটতে পারে। যে কোনও উপায়ে, অটোএমএল সিস্টেমগুলি পুনরায় প্রশিক্ষণেও সহায়তা করতে পারে। অটোএমএল চালানোর পরে আপনার ডেটার দিকে আরেকবার নজর দেওয়া এবং একটি উন্নত ডেটাসেটের সাথে পুনরায় প্রশিক্ষণ দেওয়া অস্বাভাবিক নয়।
এরপর কি
এই মডিউলটি শেষ করার জন্য অভিনন্দন!
আমরা আপনাকে আপনার নিজস্ব গতি এবং আগ্রহে বিভিন্ন MLCC মডিউলগুলি অন্বেষণ করতে উত্সাহিত করি৷ আপনি যদি একটি প্রস্তাবিত আদেশ অনুসরণ করতে চান, তাহলে আমরা আপনাকে নিম্নলিখিত মডিউলে যাওয়ার পরামর্শ দিই: ML Fairness ।