आइडिया देने और प्लानिंग के दौरान, एमएल सलूशन के एलिमेंट की जांच की जाती है. फ़्रेमिंग में समस्या के दौरान, किसी समस्या को एमएल समाधान के तौर पर फ़्रेम किया जाता है. मशीन लर्निंग समस्या फ़्रेमिंग के बारे में जानकारी कोर्स में इन चरणों के बारे में विस्तार से बताया गया है. योजना के टास्क में, सॉल्यूशन की व्यावहारिकता का अनुमान लगाया जाता है, अप्रोच की योजना बनाई जाती है, और सफलता की मेट्रिक सेट की जाती हैं.
हालांकि, मशीन लर्निंग सैद्धांतिक तौर पर एक अच्छा समाधान हो सकता है, फिर भी आपको इसका अंदाज़ा लगाना होगा कि यह असल दुनिया में उपलब्ध है या नहीं. उदाहरण के लिए, हो सकता है कोई समाधान तकनीकी रूप से काम करे, लेकिन उसे लागू करना संभव या नामुमकिन हो. ये कारक प्रोजेक्ट की संभावना पर असर डालते हैं:
- डेटा की उपलब्धता
- सवाल हल करने में कठिनाई
- अनुमान की क्वालिटी
- तकनीकी ज़रूरतें
- कीमत
डेटा की उपलब्धता
एमएल मॉडल उतने ही बेहतर होते हैं जितने कि उन्हें ट्रेनिंग देने के लिए इस्तेमाल किया गया डेटा. उन्हें अच्छी क्वालिटी का अनुमान लगाने के लिए, बहुत अच्छी क्वालिटी के डेटा की ज़रूरत होती है. यहां दिए गए सवालों के जवाब देने से, आपको यह तय करने में मदद मिल सकती है कि आपके पास किसी मॉडल को ट्रेनिंग देने के लिए ज़रूरी डेटा है या नहीं:
संख्या. क्या आपको किसी मॉडल को ट्रेनिंग देने के लिए, अच्छी क्वालिटी का ज़रूरत के डेटा मिल सकता है? क्या लेबल किए गए उदाहरण कम हैं, मिलना मुश्किल है या बहुत महंगे हैं? उदाहरण के लिए, चिकित्सा से जुड़ी इमेज या दुर्लभ भाषाओं का अनुवाद पाना बहुत मुश्किल है. अच्छे अनुमान लगाने के लिए, क्लासिफ़िकेशन मॉडल में हर लेबल के लिए, कई उदाहरण ज़रूरी होते हैं. अगर ट्रेनिंग डेटासेट में कुछ लेबल के लिए सीमित उदाहरण हैं, तो मॉडल सही अनुमान नहीं लगा सकता.
विज्ञापन दिखाते समय इस सुविधा की उपलब्धता. क्या ट्रेनिंग में इस्तेमाल की गई सभी सुविधाएं, सेवा के दौरान उपलब्ध होंगी? टीमों ने ट्रेनिंग वाले मॉडल का काफ़ी समय लगाया और उन्हें सिर्फ़ यह समझने में बिताया कि कुछ सुविधाएं तब तक उपलब्ध नहीं थीं, जब तक मॉडल की ज़रूरत नहीं थी.
उदाहरण के लिए, मान लें कि कोई मॉडल यह अनुमान लगाता है कि कोई ग्राहक किसी यूआरएल पर क्लिक करेगा या नहीं. साथ ही, ट्रेनिंग में इस्तेमाल की गई सुविधाओं में
user_ageशामिल है. हालांकि, जब मॉडल कोई अनुमान दिखाता है, तोuser_ageउपलब्ध नहीं होता. इसकी वजह यह हो सकती है कि उपयोगकर्ता ने अब तक कोई खाता न बनाया हो.कानून. डेटा पाने और उसका इस्तेमाल करने के लिए क्या नियम और कानूनी शर्तें हैं? उदाहरण के लिए, कुछ ज़रूरतें, खास तरह के डेटा को सेव करने और इस्तेमाल करने के लिए सीमाएं तय करती हैं.
जनरेटिव एआई
जनरेटिव एआई मॉडल की मदद से, जनरेटिव एआई मॉडल को इस्तेमाल करने के लिए, चुने गए डेटासेट की ज़रूरत होती है, ताकि डोमेन के हिसाब से अलग-अलग टास्क में बेहतर तरीके से काम किया जा सके. आपको इन मामलों में डेटासेट की ज़रूरत पड़ सकती है:
-
प्रॉम्प्ट इंजीनियरिंग,
पैरामीटर की कुशल ट्यूनिंग, और
फ़ाइन-ट्यूनिंग.
इस्तेमाल के उदाहरण के आधार पर, आपको मॉडल के आउटपुट को और बेहतर बनाने के लिए, अच्छी क्वालिटी वाले 10 से 10,000 उदाहरणों की ज़रूरत पड़ सकती है. उदाहरण के लिए, अगर किसी मॉडल को
किसी खास टास्क में बेहतर तरीके से बदलाव करने की ज़रूरत है, जैसे कि चिकित्सा से जुड़े सवालों के जवाब
देने के लिए, तो आपको एक अच्छी क्वालिटी वाले डेटासेट की ज़रूरत होगी. डेटासेट से यह पता चलना चाहिए कि मॉडल से किस तरह के सवाल पूछे जाएंगे. साथ ही, उस मॉडल को किस तरह के जवाब दिए जाने चाहिए.
नीचे दी गई टेबल में, किसी तकनीक के लिए जनरेटिव एआई मॉडल के आउटपुट को बेहतर बनाने के लिए, ज़रूरी उदाहरणों की संख्या का अनुमान दिया गया है:
-
अप-टू-डेट जानकारी. पहले से ट्रेनिंग ले चुके जनरेटिव एआई मॉडल के पास पहले से तय नॉलेज बेस होता है. अगर मॉडल के डोमेन का कॉन्टेंट अक्सर बदलता रहता है,
तो आपको मॉडल को अप-टू-डेट रखने के लिए, रणनीति की ज़रूरत होगी. जैसे:
- फ़ाइन-ट्यूनिंग
- रीटेलिव-ऑग्मेंटेड जनरेशन (आरएजी)
- समय-समय पर प्री-ट्रेनिंग
| तकनीक | ज़रूरी उदाहरणों की संख्या |
|---|---|
| ज़ीरो-शॉट प्रॉम्प्ट | 0 |
| कुछ शॉट के लिए प्रॉम्प्ट करना | ~10–100 सेकंड |
| पैरामीटर की असरदार ट्यूनिंग 1 | ~100–10,000 सेकंड |
| फ़ाइन-ट्यूनिंग | ~1,000 से 10,000 सेकंड (या इससे ज़्यादा) के बीच |
सवाल हल करने में कठिनाई
किसी समस्या की कठिनाई का अनुमान लगाना मुश्किल हो सकता है. शुरुआत में जो तरीका काफ़ी भरोसेमंद लग रहा है वह असल में रिसर्च के बारे में एक सवाल बन सकता है. इसमें व्यावहारिक और संभव लगने वाली चीज़ें शामिल हो सकती हैं. इसके अलावा, यह भी हो सकता है कि जो चीज़ काम के लायक न हो या झूठे लगे. नीचे दिए गए सवालों के जवाब देकर, समस्या की मुश्किल का आकलन करने में मदद मिल सकती है:
क्या इसी तरह की कोई समस्या पहले ही हल हो चुकी है? उदाहरण के लिए, क्या आपके संगठन की टीम ने मॉडल बनाने के लिए मिलते-जुलते या एक जैसे डेटा का इस्तेमाल किया है? क्या आपके संगठन से बाहर के लोगों या टीम ने Kaggle या TensorFlow Hub में उदाहरण के लिए, इस तरह की समस्याओं को हल किया है? अगर ऐसा है, तो यह संभावना है कि आप अपने मॉडल बनाने के लिए उनके मॉडल के कुछ हिस्सों का इस्तेमाल कर पाएं.
क्या समस्या किस तरह की है? काम के मानवीय मानदंडों को जानने से समस्या की गंभीरता का स्तर पता चल सकता है. उदाहरण के लिए:
- इंसान यह बता सकते हैं कि किसी इमेज में किस तरह का जानवर दिखाया गया है. यह कैटगरी 95% सटीक होती है.
- इंसान, हाथ से लिखे गए अंकों की कैटगरी 99% सटीक कर सकते हैं.
पिछले डेटा से पता चलता है कि हाथ से लिखे जाने वाले अंकों को कैटगरी में बांटने के लिए, मॉडल बनाने के बजाय, जानवरों की कैटगरी तय करने वाला मॉडल बनाना ज़्यादा मुश्किल है.
क्या ऐसे लोग या ग्रुप हैं जो बुरे मकसद से काम करते हैं? क्या लोग लगातार आपके मॉडल का ग़लत इस्तेमाल करने की कोशिश करेंगे? अगर ऐसा है, तो मॉडल को अपडेट करने की लगातार कोशिश की जाएगी ताकि उसका गलत इस्तेमाल न किया जा सके. उदाहरण के लिए, जब कोई व्यक्ति वैध लगने वाले ईमेल बनाने के लिए मॉडल का गलत इस्तेमाल करता है, तो स्पैम फ़िल्टर नई तरह के स्पैम नहीं पकड़ सकते.
जनरेटिव एआई
जनरेटिव एआई मॉडल में जोखिम की आशंकाएं होती हैं, जो इन समस्याओं की मुश्किल को बढ़ा सकती हैं:
- सोर्स इनपुट करें. इनपुट कहां से मिलेगा? क्या मुश्किल परिस्थितियों का असर ट्रेनिंग डेटा, शुरुआती जानकारी देने वाला कॉन्टेंट, डेटाबेस कॉन्टेंट या टूल की जानकारी लीक होने की जानकारी दे सकता है?
- आउटपुट का इस्तेमाल. आउटपुट का इस्तेमाल कैसे किया जाएगा? क्या मॉडल ओरिजनल कॉन्टेंट देगा या कोई ऐसा इंटरमीडियरी तरीका होगा जो इसके सही की जांच और पुष्टि करे? उदाहरण के लिए, प्लग इन को रॉ आउटपुट देने से सुरक्षा से जुड़ी कई समस्याएं हो सकती हैं.
- फ़ाइन-ट्यूनिंग. खराब डेटासेट की मदद से फ़ाइन-ट्यूनिंग करने से, मॉडल के वेट पर बुरा असर पड़ सकता है. इस गड़बड़ी की वजह से, मॉडल को गलत, बुरा या भेदभाव वाला कॉन्टेंट दिखेगा. जैसा कि पहले बताया गया है, फ़ाइन-ट्यूनिंग के लिए ऐसे डेटासेट की ज़रूरत होती है जिसकी पुष्टि हो चुकी है, ताकि उसमें अच्छी क्वालिटी के उदाहरण शामिल किए जा सकें.
अनुमान की क्वालिटी
आपको ध्यान से इस बात पर ध्यान देना होगा कि मॉडल के अनुमान का आपके उपयोगकर्ताओं पर क्या असर पड़ेगा. साथ ही, आपको यह भी तय करना होगा कि मॉडल के लिए अनुमान की ज़रूरी क्वालिटी क्या है.
अनुमान की क्वालिटी, इस बात पर निर्भर करती है कि अनुमान किस तरह का है. उदाहरण के लिए, सुझाव देने वाले सिस्टम के लिए ज़रूरी अनुमान की क्वालिटी, नीति के उल्लंघनों को फ़्लैग करने वाले मॉडल के लिए ज़रूरी नहीं होगी. गलत वीडियो का सुझाव देने पर, उपयोगकर्ता को खराब अनुभव मिल सकता है. हालांकि, किसी वीडियो को गलती से किसी प्लैटफ़ॉर्म की नीतियों का उल्लंघन करने के तौर पर फ़्लैग करने से सहायता लागत बढ़ सकती है या उससे भी कानूनी शुल्क बढ़ सकता है.
क्या आपके मॉडल की पूर्वानुमान गुणवत्ता बहुत उच्च होनी चाहिए, क्योंकि गलत अनुमान बहुत महंगे होते हैं? आम तौर पर, अनुमान की क्वालिटी जितनी ज़्यादा होगी, समस्या उतनी ही ज़्यादा मुश्किल होगी. माफ़ करें, क्वालिटी को बेहतर बनाने की कोशिश करने पर, प्रोजेक्ट अक्सर कम नतीजों तक पहुंच जाते हैं. उदाहरण के लिए, किसी मॉडल की सटीक वैल्यू को 99.9% से 99.99% करने का मतलब है कि प्रोजेक्ट की लागत में 10 गुना बढ़ोतरी हो सकती है (अगर इससे ज़्यादा नहीं).
दूसरा डायग्राम. आम तौर पर, जैसे-जैसे एमएल प्रोजेक्ट को अनुमान की क्वालिटी बेहतर होती जाती है, ज़्यादा से ज़्यादा संसाधनों की ज़रूरत होती है.
जनरेटिव एआई
जनरेटिव एआई से मिले आउटपुट का विश्लेषण करते समय, इन बातों का ध्यान रखें:
-
तथ्यों की सटीक जानकारी. जनरेटिव एआई मॉडल, दिलचस्प और आसान कॉन्टेंट बना सकते हैं. हालांकि, इसकी कोई गारंटी नहीं है कि यह तथ्यों पर आधारित होगा. जनरेटिव एआई मॉडल से मिले गलत स्टेटमेंट को कॉन्फ़्रेंस कहा जाता है.
उदाहरण के लिए, जनरेटिव एआई मॉडल किसी जानकारी को आपस में जोड़कर, गलत जानकारी दे सकते हैं. साथ ही, गणित के सवालों के गलत जवाब या दुनिया के बारे में गलत स्टेटमेंट दे सकते हैं. इस्तेमाल के कई मामलों में, अब भी प्रोडक्शन एनवायरमेंट में इस्तेमाल करने से पहले,
जनरेटिव एआई आउटपुट की मानवीय पुष्टि की ज़रूरत होती है. जैसे, एलएलएम से जनरेट किया गया कोड.
पारंपरिक एमएल की तरह, तथ्यों के बारे में जितनी ज़्यादा सटीक जानकारी की ज़रूरत होगी, उसे डेवलप करने और बनाए रखने में उतना ही ज़्यादा खर्च आएगा.
- आउटपुट क्वालिटी. पक्षपातपूर्ण, नकल करके बनाए गए कॉन्टेंट या बुरे बर्ताव वाले कॉन्टेंट जैसे खराब कॉन्टेंट के कानूनी और वित्तीय नतीजे (या नैतिक तौर पर पैदा होने वाले नतीजे) क्या हैं?
तकनीकी ज़रूरतें
मॉडल में कई तकनीकी ज़रूरतें होती हैं, जो उनकी व्यावहारिकता पर असर डालती हैं. यहां कुछ मुख्य तकनीकी ज़रूरतें दी गई हैं, जिन्हें पूरा करने पर आपको अपने प्रोजेक्ट के सफल होने की संभावना का पता लगाना होगा:
- इंतज़ार का समय. इंतज़ार के समय से जुड़ी ज़रूरी शर्तें क्या हैं? सुझावों को कितनी तेज़ी से दिखाया जाना चाहिए?
- क्वेरी प्रति सेकंड (क्यूपीएस). क्यूपीएस की ज़रूरी शर्तें क्या हैं?
- रैम का इस्तेमाल. ट्रेनिंग और विज्ञापन दिखाने के लिए रैम से जुड़ी ज़रूरी शर्तें क्या हैं?
- प्लैटफ़ॉर्म. मॉडल कहां चलेगा: ऑनलाइन (RPC सर्वर को भेजी गई क्वेरी), WebML (वेब ब्राउज़र में), ODML (फ़ोन या टैबलेट पर) या ऑफ़लाइन (टेबल में सेव किए गए अनुमान)?
समझ में आने लायक. क्या सुझावों को समझ में आने लायक होना चाहिए? उदाहरण के लिए, क्या आपके प्रॉडक्ट को इस तरह के सवालों के जवाब देने होंगे: "किसी खास कॉन्टेंट को स्पैम के तौर पर क्यों मार्क किया गया?" या "किसी वीडियो को प्लैटफ़ॉर्म की नीति का उल्लंघन क्यों किया गया?"
फिर से ट्रेनिंग लेने की फ़्रीक्वेंसी. जब आपके मॉडल के लिए बुनियादी डेटा तेज़ी से बदलता है, तो बार-बार या लगातार फिर से ट्रेनिंग देना ज़रूरी हो सकता है. हालांकि, बार-बार फिर से ट्रेनिंग देने से ज़्यादा खर्च हो सकता है, जो मॉडल के अनुमानों को अपडेट करने के फ़ायदों से ज़्यादा हो सकता है.
ज़्यादातर मामलों में, आपको मॉडल की तकनीकी जानकारी का पालन करने के लिए उसकी क्वालिटी के साथ समझौता करना पड़ सकता है. ऐसे मामलों में, आपको यह तय करना होगा कि क्या आप अब भी ऐसा मॉडल बना सकते हैं जो प्रोडक्शन में जाने के लिए अच्छा हो.
जनरेटिव एआई
जनरेटिव एआई का इस्तेमाल करते समय, इन तकनीकी शर्तों को ध्यान में रखें:
- प्लैटफ़ॉर्म. पहले से ट्रेनिंग दिए गए कई मॉडल, कई तरह के साइज़ में आते हैं. इनसे उन्हें अलग-अलग कंप्यूटेशनल संसाधनों वाले अलग-अलग प्लैटफ़ॉर्म पर काम करने में मदद मिलती है. उदाहरण के लिए, पहले से ट्रेनिंग दिए गए मॉडल, डेटा सेंटर स्केल से लेकर फ़ोन पर फ़िट होने तक, अलग-अलग हो सकते हैं. मॉडल का साइज़ चुनते समय आपको अपने प्रॉडक्ट या सेवा के इंतज़ार का समय, निजता, और क्वालिटी से जुड़ी बातों का ध्यान रखना होगा. ये पाबंदियां अक्सर टकराव की स्थिति पैदा कर सकती हैं. उदाहरण के लिए, निजता से जुड़ी पाबंदियों के लिए यह ज़रूरी हो सकता है कि उपयोगकर्ता के डिवाइस पर अनुमान चलाए जाएं. हालांकि, आउटपुट की क्वालिटी खराब हो सकती है, क्योंकि डिवाइस में बेहतर नतीजे देने के लिए कंप्यूटेशनल रिसॉर्स मौजूद नहीं हैं.
- इंतज़ार का समय. मॉडल इनपुट और आउटपुट साइज़, इंतज़ार के समय पर असर डालते हैं. खास तौर पर, आउटपुट साइज़, इनपुट साइज़ की तुलना में इंतज़ार के समय पर ज़्यादा असर डालता है. मॉडल अपने इनपुट को साथ-साथ लोड कर सकते हैं, लेकिन ये आउटपुट सिर्फ़ क्रम से जनरेट कर सकते हैं. दूसरे शब्दों में, इंतज़ार का समय 500 या 10 शब्दों का इनपुट डालने के लिए एक जैसा हो सकता है, जबकि 10 शब्दों वाली खास जानकारी जनरेट करने के मुकाबले, 500 शब्दों वाली खास जानकारी जनरेट करने में ज़्यादा समय लगता है.
- टूल और एपीआई का इस्तेमाल. क्या मॉडल को किसी टास्क को पूरा करने के लिए, ऐसे टूल और एपीआई का इस्तेमाल करना होगा जैसे कि इंटरनेट खोजना, कैलकुलेटर का इस्तेमाल करना या ईमेल क्लाइंट ऐक्सेस करना? आम तौर पर, किसी टास्क को पूरा करने के लिए जितने ज़्यादा टूल की ज़रूरत होती है, गलतियां करने की संभावना बढ़ जाती है. साथ ही, मॉडल की जोखिम की आशंकाएं बढ़ जाती हैं.
कीमत
क्या मशीन लर्निंग को लागू करने में खर्च आएगा? ज़्यादातर एमएल प्रोजेक्ट को मंज़ूरी नहीं दी जाएगी, अगर एमएल सलूशन को लागू करने और रखरखाव में लगने वाले खर्च, उससे जनरेट होने वाले या सेव किए गए पैसे के मुकाबले ज़्यादा महंगे होते हैं. मशीन लर्निंग प्रोजेक्ट में, मैन्युअल और मशीन, दोनों का खर्चा आता है.
मानवीय लागत. प्रोजेक्ट को पूरी तरह से प्रोडक्शन तक पहुंचने में कितने लोग लगेंगे? जैसे-जैसे एमएल प्रोजेक्ट बेहतर होते जाते हैं, वैसे-वैसे खर्चे भी बढ़ते जाते हैं. उदाहरण के लिए, एमएल प्रोजेक्ट को प्रोटोटाइप बनाने के बजाय, प्रोडक्शन के लिए तैयार सिस्टम को डिप्लॉय करने और उसका रखरखाव करने के लिए ज़्यादा लोगों की ज़रूरत होती है. हर चरण में प्रोजेक्ट के लिए ज़रूरी भूमिकाओं की संख्या और अलग-अलग तरह की भूमिकाओं का अनुमान लगाने की कोशिश करें.
मशीन की लागत. मॉडल को ट्रेनिंग देने, डिप्लॉय करने, और उनके रखरखाव के लिए बहुत ज़्यादा कंप्यूट और मेमोरी की ज़रूरत होती है. उदाहरण के लिए, हो सकता है कि आपको ट्रेनिंग मॉडल और सर्विंग सुझावों के लिए TPU कोटा की ज़रूरत पड़े. साथ ही, डेटा पाइपलाइन के लिए ज़रूरी इन्फ़्रास्ट्रक्चर भी हो. डेटा को लेबल करने या डेटा लाइसेंस देने के लिए शुल्क देना पड़ सकता है. किसी मॉडल को ट्रेनिंग देने से पहले, मशीन की लागत का अनुमान लगाने के बारे में सोचें. इससे, मशीन लर्निंग की सुविधाओं को लंबे समय तक बनाने और उनका रखरखाव करने में मदद मिलेगी.
अनुमान की लागत. क्या मॉडल को सैकड़ों या हज़ारों अनुमान लगाने होंगे जिनकी लागत, जनरेट होने वाली आय से ज़्यादा हो?
ध्यान रखें
पिछले किसी भी विषय से जुड़ी समस्याओं का सामना करने पर, मशीन लर्निंग समाधान को लागू करने में परेशानी हो सकती है. हालांकि, समयसीमा कम करने से यह चुनौतियां बढ़ सकती हैं. समस्या की अनुमानित कठिनाई के हिसाब से पहले से प्लान करें और बजट तय करें. इसके बाद, एमएल प्रोजेक्ट के अलावा, किसी दूसरे प्रोजेक्ट के मुकाबले ज़्यादा समय रिज़र्व करने की कोशिश करें.