बैकप्रोपगेशन न्यूरल नेटवर्क के लिए सबसे सामान्य ट्रेनिंग एल्गोरिदम. इससे कई लेयर वाले न्यूरल नेटवर्क के लिए ग्रेडिएंट ढलान संभव है. कई मशीन लर्निंग कोड लाइब्रेरी (जैसे कि Keras) अपने-आप बैकप्रोपगेशन मैनेज करें, ताकि आपको कोई काम करने की ज़रूरत न पड़े इस्तेमाल कर सकते हैं. जानने के लिए यह वीडियो देखें बैकप्रॉपगेशन के काम करने के तरीके के बारे में सैद्धांतिक तौर पर खास जानकारी:
न्यूरल नेटवर्क ट्रेनिंग के सबसे सही तरीके
इस सेक्शन में, बैक प्रोपगेशन के फ़ेल होने के मामलों और ज़्यादा से ज़्यादा न्यूरल नेटवर्क को रेगुलर करने का सामान्य तरीका बताया गया है.
वैनिशिंग ग्रेडिएंट
निचले न्यूरल के लिए ग्रेडिएंट नेटवर्क लेयर (जो इनपुट लेयर के करीब होती हैं) बहुत छोटी हो सकती हैं. डीप नेटवर्क में (ऐसे नेटवर्क जिनमें एक से अधिक छिपी हुई लेयर होती है), तो इन ग्रेडिएंट का आकलन करने में कई छोटे शब्दों का गुणनफल है.
जब निचली लेयर के लिए ग्रेडिएंट वैल्यू 0 पर आ जाती है, तो ग्रेडिएंट हो जाता है कहा गया हो, "खत्म हो जाओ". गायब होने वाले ग्रेडिएंट वाली लेयर बहुत धीरे-धीरे ट्रेन होती हैं या नहीं बिलकुल भी नहीं.
ReLU ऐक्टिवेशन फ़ंक्शन, गायब होने वाले ग्रेडिएंट को रोकने में मदद कर सकता है.
विस्फोटन ग्रेडिएंट
अगर किसी नेटवर्क में वेट बहुत ज़्यादा हैं, तो कम के लिए ग्रेडिएंट लेयर में कई बड़े शब्दों वाले प्रॉडक्ट शामिल होते हैं. इस मामले में आपके पास विस्फोट होने वाले ग्रेडिएंट: ऐसे ग्रेडिएंट जो एक जैसे दिखने के हिसाब से बहुत बड़े होते हैं.
बैच नॉर्मलाइज़ेशन की मदद से, विस्फोट वाले ग्रेडिएंट को रोका जा सकता है. साथ ही, सीखने की दर.
डेड रेएलयू यूनिट
जब ReLU इकाई का वेटेड योग 0 से कम हो जाता है, तो ReLU यूनिट को अटक गया है. यह 0 आउटपुट देता है और नेटवर्क के आउटपुट में कोई योगदान नहीं देता, और प्रोपगेशन के दौरान ग्रेडिएंट इसमें फ़्लो नहीं कर सकते. एक ग्रेडिएंट का सोर्स बंद हो जाता है, तो ReLU में मौजूद इनपुट में शायद कभी काफ़ी बदलाव नहीं होगा 0 से ऊपर भारित योग को वापस लाने के लिए.
लर्निंग रेट को कम करने से, ReLU यूनिट को खत्म होने से बचाया जा सकता है.
ड्रॉपआउट रेगुलराइज़ेशन
रेगुलराइज़ेशन का एक और तरीका, ड्रॉपआउट रेगुलराइज़ेशन, न्यूरल नेटवर्क के लिए उपयोगी है. यह बिना किसी क्रम के "कुछ समय के लिए बंद हो जाता है" काम करता है एक ग्रेडिएंट चरण के लिए किसी नेटवर्क में इकाई सक्रियण. पेज को जितना ज़्यादा छोड़ा जाएगा, रेगुलराइज़ेशन उतना ही मज़बूत होगा:
- 0.0 = कैंपेन बीच में छोड़ने वाले उपयोगकर्ताओं के लिए कोई रेगुलराइज़ेशन सेट नहीं किया जाएगा.
- 1.0 = सभी नोड हटा दें. मॉडल कुछ नहीं सीखता.
- 0.0 और 1.0 के बीच की वैल्यू = ज़्यादा काम की है.