কাঁচা ডেটা ফিচার ইঞ্জিনিয়ারড (রূপান্তরিত) হতে হবে। কখন আপনার ডেটা রূপান্তর করা উচিত? বিস্তৃতভাবে বলতে গেলে, আপনি নিম্নলিখিত দুটি সময়ের মধ্যে যেকোন একটিতে ফিচার ইঞ্জিনিয়ারিং করতে পারেন:
- মডেল প্রশিক্ষণ আগে .
- মডেল প্রশিক্ষণের সময় ।
প্রশিক্ষণের আগে ডেটা রূপান্তর করা
এই পদ্ধতিতে, আপনি দুটি পদক্ষেপ অনুসরণ করুন:
- কোড লিখুন বা কাঁচা ডেটা রূপান্তর করতে বিশেষ সরঞ্জামব্যবহার করুন।
- রূপান্তরিত ডেটা এমন জায়গায় সংরক্ষণ করুন যা মডেলটি গ্রহণ করতে পারে, যেমন ডিস্কে।
সুবিধাদি
- সিস্টেম শুধুমাত্র একবার কাঁচা তথ্য রূপান্তরিত.
- সর্বোত্তম রূপান্তর কৌশল নির্ধারণ করতে সিস্টেম সমগ্র ডেটাসেট বিশ্লেষণ করতে পারে।
অসুবিধা
- ভবিষ্যদ্বাণীর সময়ে আপনাকে অবশ্যই রূপান্তরগুলি পুনরায় তৈরি করতে হবে। ট্রেনিং-সার্ভিং তির্যক থেকে সাবধান!
যখন আপনার সিস্টেম গতিশীল (অনলাইন) অনুমান সম্পাদন করে তখন ট্রেনিং-সার্ভিং স্কু আরও বিপজ্জনক। গতিশীল অনুমান ব্যবহার করে এমন একটি সিস্টেমে, যে সফ্টওয়্যারটি কাঁচা ডেটাসেটকে রূপান্তরিত করে তা সাধারণত ভবিষ্যদ্বাণী পরিবেশনকারী সফ্টওয়্যার থেকে আলাদা হয়, যা প্রশিক্ষণ-সার্ভিং তির্যক হতে পারে। বিপরীতে, স্ট্যাটিক (অফলাইন) অনুমান ব্যবহার করে এমন সিস্টেমগুলি কখনও কখনও একই সফ্টওয়্যার ব্যবহার করতে পারে।
প্রশিক্ষণের সময় ডেটা পরিবর্তন করা
এই পদ্ধতিতে, রূপান্তরটি মডেল কোডের অংশ। মডেলটি কাঁচা ডেটা গ্রহণ করে এবং এটি রূপান্তরিত করে।
সুবিধাদি
- আপনি যদি রূপান্তর পরিবর্তন করেন তবে আপনি এখনও একই কাঁচা ডেটা ফাইল ব্যবহার করতে পারেন।
- আপনি প্রশিক্ষণ এবং ভবিষ্যদ্বাণীর সময়ে একই রূপান্তর নিশ্চিত করেছেন।
অসুবিধা
- জটিল রূপান্তর মডেল লেটেন্সি বাড়াতে পারে।
- প্রতিটি ব্যাচের জন্য রূপান্তর ঘটে।
প্রতি ব্যাচের ডেটা রূপান্তর করা কঠিন হতে পারে। উদাহরণস্বরূপ, ধরুন আপনি কাঁচা সংখ্যাসূচক ডেটা রূপান্তর করতে Z-স্কোর স্বাভাবিককরণ ব্যবহার করতে চান। Z-স্কোর স্বাভাবিককরণের জন্য বৈশিষ্ট্যটির গড় এবং মানক বিচ্যুতি প্রয়োজন। যাইহোক, প্রতি ব্যাচের রূপান্তর মানে আপনার কাছে শুধুমাত্র এক ব্যাচের ডেটাতে অ্যাক্সেস থাকবে, সম্পূর্ণ ডেটাসেটে নয়। সুতরাং, যদি ব্যাচগুলি উচ্চ বৈকল্পিক হয়, তাহলে বলুন, একটি ব্যাচে -2.5-এর একটি Z-স্কোর অন্য ব্যাচের -2.5-এর মতো একই অর্থ থাকবে না। একটি সমাধান হিসাবে, আপনার সিস্টেম সমগ্র ডেটাসেট জুড়ে গড় এবং মানক বিচ্যুতি প্রাক গণনা করতে পারে এবং তারপরে মডেলে ধ্রুবক হিসাবে ব্যবহার করতে পারে।