आपको कैसे पता चलेगा कि एमएल को लागू करने से आपको फ़ायदा हुआ या नहीं? आपको कब से जश्न शुरू करना चाहिए: मॉडल के प्रोडक्शन में जाने और पहला अनुमान दिखाने के तुरंत बाद या संख्यात्मक कारोबार मेट्रिक के सही दिशा में बढ़ने के बाद?
कोई प्रोजेक्ट शुरू करने से पहले, अपनी सक्सेस मेट्रिक तय करना और जो काम पूरे किए जा सकते हैं उन पर सहमति देना ज़रूरी है. आपको नीचे दी गई दो तरह की मेट्रिक को तय और ट्रैक करना होगा:
कारोबार की मेट्रिक. कारोबार की परफ़ॉर्मेंस का आकलन करने वाली मेट्रिक, जैसे कि आय, क्लिक मिलने की दर (सीटीआर) या उपयोगकर्ताओं की संख्या.
मॉडल मेट्रिक. मॉडल की क्वालिटी का आकलन करने के लिए, मेट्रिक. जैसे, रूट मीन स्क्वेयर्ड एरर, सटीक या रीकॉल.
कारोबार की मेट्रिक
कारोबार की मेट्रिक सबसे अहम होती हैं. इसी वजह से मशीन लर्निंग का इस्तेमाल किया जा रहा है: आपको कारोबार को बेहतर बनाना है.
मेज़र किए जा सकने वाले प्रॉडक्ट या कारोबार की मेट्रिक से शुरू करें. मेट्रिक में ज़्यादा से ज़्यादा जानकारी और फ़ोकस होना चाहिए. कारोबार की उन मेट्रिक के उदाहरण नीचे दिए गए हैं जिनका इस्तेमाल करके उन कारोबार की परफ़ॉर्मेंस को मेज़र किया जा सकता है जिन्हें मापा जा सकता है:
- डेटासेंटर की हर महीने बिजली की लागत को 30 प्रतिशत तक कम करें.
- प्रॉडक्ट के सुझावों से मिलने वाले रेवेन्यू में 12 प्रतिशत की बढ़ोतरी करें.
- क्लिक मिलने की दर (सीटीआर) में 9 प्रतिशत तक की बढ़ोतरी करें.
- ऑप्ट-इन सर्वे की मदद से, ग्राहकों की दिलचस्पी 20 प्रतिशत तक बढ़ाएं.
- पेज पर बिताए जाने वाले समय को 4 प्रतिशत बढ़ाएं.
कारोबार की मेट्रिक ट्रैक करना
अगर आपको कारोबार की जिस मेट्रिक को बेहतर बनाना है उसे ट्रैक नहीं किया जा रहा है, तो इसके लिए इंफ़्रास्ट्रक्चर लागू करें. अगर फ़िलहाल, क्लिक मिलने की दर को मेज़र नहीं किया जा रहा है, तो क्लिक मिलने की दर (सीटीआर) को 15% बढ़ाने का लक्ष्य तय करना सही नहीं है.
इस बात का ध्यान रखें कि आप अपनी समस्या के लिए सही मेट्रिक माप रहे हों. उदाहरण के लिए, अगर सुझावों से मिलने वाला रेवेन्यू ज़्यादा अहम है, तो क्लिक मिलने की दर (सीटीआर) को ट्रैक करने के लिए, इंस्ट्रुमेंटेशन लिखने में समय न बर्बाद करें.
जैसे-जैसे आपका प्रोजेक्ट आगे बढ़ेगा, आपको महसूस होगा कि टारगेट सक्सेस मेट्रिक असल में सही टारगेट है या नहीं. कुछ मामलों में, हो सकता है कि आपको पहले से तय की गई सफलता मेट्रिक के आधार पर यह तय करना पड़े कि प्रोजेक्ट काम का नहीं है.
मॉडल मेट्रिक
आपको इस मॉडल को प्रोडक्शन में कब इस्तेमाल करना चाहिए? कब AUC एक खास वैल्यू पर होता है? जब मॉडल किसी खास F1 स्कोर तक पहुंच जाता है? इस सवाल का जवाब इस बात पर निर्भर करता है कि आपको किस तरह की समस्या को हल करना है और कारोबार की मेट्रिक को बेहतर बनाने के लिए आपको किस तरह की अनुमान की क्वालिटी चाहिए.
अपने मॉडल का आकलन किस मेट्रिक के आधार पर करना है, यह तय करते समय इन बातों का ध्यान रखें:
ऑप्टिमाइज़ करने के लिए एक मेट्रिक तय करें. उदाहरण के लिए, क्लासिफ़िकेशन मॉडल का आकलन कई तरह की मेट्रिक (AUC, AUC-PR वगैरह) के हिसाब से किया जा सकता है. जब अलग-अलग मॉडल अलग-अलग मॉडल में होते हैं, तो सबसे अच्छा मॉडल चुनना मुश्किल हो सकता है. इसलिए, मॉडल का आकलन करने के लिए एक ही मेट्रिक पर सहमति दें.
पूरा किए जाने वाले ऑफ़र स्वीकार करने के लक्ष्य तय करें. स्वीकार करने के लक्ष्य, मॉडल इवैलुएशन मेट्रिक से अलग होते हैं. ये लक्ष्य ऐसे लक्ष्यों के बारे में बताते हैं जिन्हें पूरा करने पर, मॉडल को सही इस्तेमाल के उदाहरण के लिए स्वीकार किया जाता है. उदाहरण के लिए, मंज़ूरी का लक्ष्य "0.1% से कम आउटपुट है" या "टॉप पांच कैटगरी को फिर से शामिल करने का लक्ष्य 97% से ज़्यादा है" हो सकता है.
उदाहरण के लिए, मान लें कि बाइनरी क्लासिफ़िकेशन मॉडल धोखाधड़ी वाले लेन-देन का पता लगाता है. हो सकता है कि इसकी ऑप्टिमाइज़ेशन मेट्रिक को रीकॉल किया जाए, जबकि इसे स्वीकार करने का लक्ष्य सटीक हो. दूसरे शब्दों में, हम किसी खास वैल्यू (असल धोखाधड़ी वाले लेन-देन की पहचान करना) के बराबर या उससे ज़्यादा वैल्यू देने के लिए, रीकॉल (ज़्यादातर समय के लिए, धोखाधड़ी की सही तरीके से पहचान करना) को प्राथमिकता देते हैं.
मॉडल मेट्रिक और कारोबार की मेट्रिक के बीच कनेक्शन
बुनियादी तौर पर, ऐसा मॉडल डेवलप करने की कोशिश की जा रही है, जिसकी अनुमानित क्वालिटी आपके कारोबार की मेट्रिक से जुड़ी होती हो. बेहतरीन मॉडल मेट्रिक का मतलब यह नहीं है कि कारोबार की मेट्रिक में बढ़ोतरी हुई है. हो सकता है कि आपकी टीम, बेहतरीन मेट्रिक वाला मॉडल बनाए, लेकिन मॉडल के अनुमान शायद कारोबार की मेट्रिक को बेहतर न बना पाएं.
अपने मॉडल के अनुमान की क्वालिटी से संतुष्ट होने पर, यह तय करने की कोशिश करें कि मॉडल की मेट्रिक, कारोबार की मेट्रिक पर किस तरह असर डालती हैं. आम तौर पर, टीमें 1% उपयोगकर्ताओं को मॉडल डिप्लॉय करेंगी और फिर कारोबार की मेट्रिक की निगरानी करेंगी.
उदाहरण के लिए, मान लें कि आपकी टीम ग्राहक के चर्न आउट का अनुमान लगाकर, रेवेन्यू बढ़ाने के लिए एक मॉडल डेवलप करती है. इस तरह, अगर आपको यह अंदाज़ा लग जाए कि कोई ग्राहक उस प्लैटफ़ॉर्म को छोड़ सकता है या नहीं, तो उन्हें उस प्लैटफ़ॉर्म पर बने रहने के लिए बढ़ावा दिया जा सकता है.
आपकी टीम, अनुमान की 95% क्वालिटी वाला मॉडल बनाती है और उपयोगकर्ताओं के एक छोटे सैंपल पर उसे टेस्ट करती है. हालांकि, आय में बढ़ोतरी नहीं होती. ग्राहक चर्न आउट की संख्या बढ़ती है. इसकी कुछ वजहें यहां दी गई हैं:
अनुमान इतनी जल्दी नहीं होते कि उन पर कार्रवाई की जा सके. मॉडल यह अनुमान लगा सकता है कि ग्राहक सात दिनों की अवधि में ही चर्न आउट करेंगे. हालांकि, यह इतनी जल्दी नहीं है कि उन्हें प्लैटफ़ॉर्म पर बनाए रखने के लिए इंसेंटिव दिया जा सके.
अधूरी सुविधाएं. अगर ग्राहकों के चर्न आउट की वजह ट्रेनिंग डेटासेट में शामिल नहीं है, तो हो सकता है कि अन्य वजहों से भी ऐसा हो.
थ्रेशोल्ड ज़्यादा नहीं है. मॉडल काम का हो, इसके लिए ज़रूरी है कि उसकी अनुमानित क्वालिटी 97% या उससे ज़्यादा हो.
इस आसान उदाहरण में, इन दो बातों को हाइलाइट किया गया है:
- मॉडल की मेट्रिक और कारोबार की मेट्रिक के बीच के संबंध को साबित करने (और समझने) के लिए, उपयोगकर्ताओं से ऐप्लिकेशन के रिलीज़ होने से पहले उसे टेस्ट करना ज़रूरी है.
- बेहतरीन मॉडल मेट्रिक, बेहतर कारोबार मेट्रिक की गारंटी नहीं देतीं.
जनरेटिव एआई
जनरेटिव एआई से मिले आउटपुट का आकलन करने में अनोखी चुनौतियां आती हैं. कई मामलों में, ओपन-एंडेड या क्रिएटिव आउटपुट, जैसे आम मशीन लर्निंग आउटपुट का आकलन करने से ज़्यादा मुश्किल होता है.
एलएलएम को कई तरह की मेट्रिक के हिसाब से मापा और उनका आकलन किया जा सकता है. आपके इस्तेमाल के उदाहरण के आधार पर, यह तय किया जा सकता है कि मॉडल को किन मेट्रिक के हिसाब से परखना है. ज़्यादा जानकारी के लिए, एलएलएम के आकलन के बारे में जानकारी देखें.
ध्यान रखें
मॉडल की सफलता और कारोबार की सफलता को लेकर भ्रम न हो. दूसरे शब्दों में, पुराना मेट्रिक वाला मॉडल कारोबार की सफलता की गारंटी नहीं देता.
कई कुशल इंजीनियर, बेहतर मेट्रिक वाले मॉडल बना सकते हैं. आम तौर पर, अच्छे मॉडल की ट्रेनिंग देने में यह समस्या नहीं होती. इसकी वजह यह है कि यह मॉडल कारोबार की मेट्रिक में सुधार नहीं करता. कारोबारी मेट्रिक और मॉडल मेट्रिक के बीच अलाइन न होने की वजह से, एमएल प्रोजेक्ट काम नहीं कर सकता.