এমএল প্র্যাকটিকাম: পরিপ্রেক্ষিত API-এ ন্যায্যতা

জিগস টিম কীভাবে পার্সপেক্টিভ এপিআই ডেভেলপ করে Google এর কাউন্টার-অ্যাবিউজ টেকনোলজি টিমের সাথে অংশীদারিত্বে অনলাইন হয়রানি মোকাবেলা করেছে তা জানুন, যা বিষাক্ত মন্তব্য শনাক্ত করতে মেশিন লার্নিং ব্যবহার করে। তারপর, এমএল মডেলগুলি মূল্যায়ন করতে এবং প্রশিক্ষণের ডেটাতে অনাকাঙ্ক্ষিত পক্ষপাত কমাতে সাহায্য করার জন্য ন্যায্যতা সূচক ব্যবহার করুন।

ভূমিকা

জিগস হল বর্ণমালার মধ্যে একটি ইউনিট যা বিশ্বকে নিরাপদ করতে প্রযুক্তি তৈরি করে। 2017 সালে, দলটি অনলাইন হয়রানি মোকাবেলা করার জন্য রওনা হয়েছিল এবং দৃষ্টিকোণ API তৈরি করেছিল। Perspective API-এর লক্ষ্য হল স্কেলে অনলাইন কথোপকথনের অংশগ্রহণ, গুণমান এবং সহানুভূতি বৃদ্ধি করা। ডেভেলপার এবং প্রকাশকরা হুমকি, অপমান, অশ্লীলতা এবং বিষাক্ত ভাষা সহ সম্ভাব্য আপত্তিকর পাঠ্যের জন্য মন্তব্যের বিষয়বস্তু বিশ্লেষণ করে অনলাইন ফোরামে গঠনমূলক কথোপকথনকে বাধা দেয় এমন পাঠ্য সনাক্ত করতে এবং ফিল্টার করতে দৃষ্টিকোণ ব্যবহার করতে পারেন।

Perspective API কমেন্ট টেক্সটকে ইনপুট হিসেবে নেয় এবং 0 থেকে 1 পর্যন্ত একটি "স্কোর" প্রদান করে যেটি সম্ভাব্যতা নির্দেশ করে যে মন্তব্যটি অতীতে দেখা বিষাক্ত মন্তব্যের মতো। 0 এর স্কোর 0% সম্ভাব্যতা নির্দেশ করে যে মন্তব্যটি বিষাক্ত, 1 এর স্কোর 100% সম্ভাবনা নির্দেশ করে যে মন্তব্যটি বিষাক্ত, এবং 0.5 স্কোর 50% সম্ভাবনা নির্দেশ করে যে মন্তব্যটি বিষাক্ত (অর্থাৎ, মডেলটি নিশ্চিত না).

সমস্যা বিবৃতি

Perspective API-এর প্রাথমিক প্রবর্তনের পরে, বহিরাগত ব্যবহারকারীরা জাতি বা যৌন অভিযোজন এবং বিষাক্ততার স্কোর সম্পর্কিত তথ্য সম্বলিত পরিচয় পদগুলির মধ্যে একটি ইতিবাচক সম্পর্ক আবিষ্কার করেছেন। উদাহরণস্বরূপ, "আমি একজন সমকামী কালো মহিলা" বাক্যাংশটি 0.87 এর বিষাক্ত স্কোর পেয়েছে। এই ক্ষেত্রে, পরিচয় পদগুলি অপমানজনকভাবে ব্যবহার করা হচ্ছে না, তাই এই উদাহরণটি ভুলভাবে শ্রেণীবদ্ধ করা হয়েছে। কোথায় জিনিস ভুল হয়েছে?