अगर आपको एमएल पाइपलाइन को प्रोडक्शन के लिए तैयार करना है, तो आपको ये काम करने होंगे:
- अपनी पाइपलाइन के लिए कंप्यूट रिसॉर्स का प्रावधान करें
- जानकारी लॉग करने, मॉनिटर करने, और चेतावनी देने की सुविधा लागू करें
कंप्यूट रिसॉर्स का प्रावधान किया जा रहा है
एमएल पाइपलाइन चलाने के लिए, रैम, सीपीयू, और जीपीयू/TPU जैसे कंप्यूट रिसॉर्स की ज़रूरत होती है. सही कंप्यूट के बिना, पाइपलाइन नहीं चलाई जा सकतीं. इसलिए, यह पक्का करें कि ताकि आपकी पाइपलाइन में ज़रूरी संसाधनों के प्रावधान के लिए काफ़ी कोटा हो प्रोडक्शन में ही चलना चाहिए.
विज्ञापन दिखाने, ट्रेनिंग देने, और पुष्टि करने वाले पाइपलाइन. इन पाइपलाइन के लिए ज़रूरी है TPU, जीपीयू या सीपीयू. आपके इस्तेमाल के उदाहरण के आधार पर, आपको ट्रेनिंग देनी होगी और अपनी या एक ही हार्डवेयर का इस्तेमाल करें. उदाहरण के लिए, ट्रेनिंग में सीपीयू पर होते हैं, लेकिन सेवा देने के लिए TPU का इस्तेमाल किया जा सकता है या TPU का इस्तेमाल भी किया जा सकता है. सामान्य तौर पर, यह है आम तौर पर, बड़े हार्डवेयर की मदद से ट्रेनिंग दी जाती है और फिर छोटे हार्डवेयर पर काम किया जाता है.
हार्डवेयर चुनते समय, इन बातों का ध्यान रखें:
- क्या आप सस्ते हार्डवेयर की मदद से ट्रेनिंग कर सकते हैं?
- क्या किसी दूसरे हार्डवेयर का इस्तेमाल करने से परफ़ॉर्मेंस को बेहतर बनाया जा सकता है?
- यह मॉडल कैसा है और इसकी परफ़ॉर्मेंस को कौनसा हार्डवेयर ऑप्टिमाइज़ करेगा?
- आपके मॉडल की बनावट के हिसाब से कौनसा हार्डवेयर सबसे सही रहेगा?
डेटा पाइपलाइन. डेटा पाइपलाइन को रैम और सीपीयू के लिए कोटा चाहिए आपको यह अनुमान लगाना होगा कि ट्रेनिंग और टेस्ट डेटासेट जनरेट करने के लिए, आपकी पाइपलाइन को कितना कोटा चाहिए.
ऐसा हो सकता है कि आप हर पाइपलाइन के लिए कोटा तय न कर पाएं. इसके बजाय, आप यह कर सकते हैं वह कोटा तय करें जो पाइपलाइन शेयर करते हैं. ऐसे मामलों में, आपके पास सभी पाइपलाइन चलाने, मॉनिटर करने और किसी एक पाइपलाइन को पूरा कोटा खर्च करने से रोकने के लिए, उसमें बदलाव करना.
कोटा का अनुमान लगाया जा रहा है
डेटा और ट्रेनिंग पाइपलाइन के लिए ज़रूरी कोटा का अनुमान लगाने के लिए, अनुमान के आधार पर तैयार किए जा सकते हैं. विज्ञापन दिखाने के कोटा का अनुमान लगाने के लिए, ये तरीके आज़माएं सेवा की क्वेरी प्रति सेकंड का अनुमान लगाएं. इन तरीकों से एक बेसलाइन तय होता है. जैसे प्रयोग के दौरान, किसी समाधान का प्रोटोटाइप बनाना शुरू करते हैं, तो ताकि कोटा का ज़्यादा सटीक अनुमान लगाया जा सके.
कोटा का अनुमान लगाते समय, कोटा का भी ध्यान रखें. ऐसा सिर्फ़ प्रोडक्शन ट्रैक के साथ नहीं किया जा सकता बल्कि मौजूदा प्रयोगों के लिए भी इस्तेमाल किए जा सकते हैं.
अपनी समझ को परखें
लॉगिंग, निगरानी, और सूचना
प्रोडक्शन मॉडल के काम करने के तरीके को लॉग करना और उसे मॉनिटर करना बहुत ज़रूरी होता है. Robust मॉनिटरिंग इन्फ़्रास्ट्रक्चर से इस बात की पुष्टि होती है कि आपके मॉडल भरोसेमंद तरीके से काम कर रहे हैं, मदद मिलती है.
जानकारी इकट्ठा करने और निगरानी करने के अच्छे तरीके, मशीन लर्निंग का इस्तेमाल करने में आने वाली समस्याओं का पता लगाने में मदद करते हैं पाइपलाइन बनाने और कारोबार पर पड़ने वाले संभावित असर को कम करने के लिए किया जा सकता है. समस्याएं आने पर, सूचनाएं पाने की सुविधा को सूचित कर सकता है, और व्यापक लॉग से समस्या का पता लगाना आसान हो जाता है की मुख्य वजह.
आपको इन समस्याओं का पता लगाने के लिए, डेटा इकट्ठा करने की प्रोसेस और मॉनिटरिंग की सुविधा लागू करनी चाहिए एमएल पाइपलाइन के साथ:
| पाइपलाइन | निगरानी |
|---|---|
| सेवा में है |
|
| Data |
|
| ट्रेनिंग |
|
| पुष्टि |
|
आपको इन बातों के लिए जानकारी देनी चाहिए और जानकारी भी देनी होगी:
- इंतज़ार का समय. सुझाव देने में कितना समय लगता है?
- गड़बड़ी. क्या मॉडल ने सुझाव देना बंद कर दिया है?
अपनी समझ को परखें
मॉडल को डिप्लॉय करना
मॉडल डिप्लॉयमेंट के लिए, आपको इन चीज़ों का दस्तावेज़ बनाना होगा:
- डिप्लॉयमेंट शुरू करने और रोल आउट बढ़ाने के लिए अनुमतियां ज़रूरी हैं.
- किसी मॉडल को प्रोडक्शन में कैसे शामिल किया जाए.
- मॉडल कहां डिप्लॉय किया जाता है. उदाहरण के लिए, अगर स्टेजिंग या कैनरी हो का इस्तेमाल करें.
- डिप्लॉयमेंट पूरा न होने पर क्या करें.
- प्रोडक्शन में पहले से मौजूद मॉडल को रोलबैक करने का तरीका.
मॉडल ट्रेनिंग को ऑटोमेट करने के बाद, आपको की पुष्टि और डिप्लॉयमेंट. अपने-आप डिप्लॉयमेंट की सुविधा इससे डिप्लॉयमेंट में रुकावट आने की संभावना कम हो जाती है. साथ ही, एक व्यक्ति. यह संभावित गलतियों को भी कम करता है, क्षमता बढ़ाता है, और भरोसेमंद है. साथ ही, यह ऑन-कॉल रोटेशन और एसआरई सपोर्ट को चालू करता है.
आम तौर पर, उपयोगकर्ताओं के किसी सबसेट के लिए नए मॉडल डिप्लॉय किए जाते हैं, ताकि यह पता लगाया जा सके कि मॉडल उम्मीद के मुताबिक काम करना. अगर ऐसा है, तो डिप्लॉयमेंट जारी रखें. अगर ऐसा नहीं है, आप डिप्लॉयमेंट को रोल बैक करते हैं और समस्याओं की पहचान और उन्हें डीबग करना शुरू करते हैं.