דף זה מכיל מונחי מונחים של מודלים של רצף. לכל המונחים במילון המונחים, לחצו כאן.
B
Bigram
N-gram שבו N=2.
ה.
בעיה עם צבע מדורג מתפוצץ
הנטייה של הדרגתיות ברשתות נוירונים עמוקות (במיוחד ברשתות נוירונים חוזרות) להיות תלולה באופן מפתיע (גבוה). לרוב, הדרגה תלולה גורמת לעדכונים גדולים מאוד במשקלים של כל צומת ברשת נוירונים עמוקה.
קשה או בלתי אפשרי לאמן מודלים שסובלים מבעיה של שיפוע מתפוצץ. אפשר לפתור את הבעיה הזו בעזרת חיתוך צבעים הדרגתי.
השוואה לבעיה נעלמת הדרגתית.
נ
שער שכח
החלק בתא של זיכרון ארוך לטווח קצר, שמווסת את זרימת המידע בתא. אפשר לשכוח שערים כדי לשמור על ההקשר על ידי החלטה איזה מידע למחוק ממצב התא.
G
חיתוך הדרגתי
מנגנון נפוץ לצמצום הבעיה של שיפוע הדרגתי על ידי הגבלה (חיתוך) של הערך המקסימלי של ההדרגתיות כשמשתמשים בירידה הדרגתית לאימון של מודל.
L
זיכרון ארוך לטווח קצר (LSTM)
סוג של תא ברשת נוירונים חוזרת המשמש לעיבוד רצפים של נתונים באפליקציות כמו זיהוי כתב יד, תרגום מכונה וכיתובי תמונות. תוספי LSTM מטפלים בבעיית ההדרגתיות הנעלמת שמתרחשת כשמבצעים אימון של רשתות RNN בגלל רצפי נתונים ארוכים, על ידי שמירת ההיסטוריה במצב זיכרון פנימי על סמך קלט חדש והקשר חדש מתאים קודמים ב-RNN.
LSTM
קיצור של זיכרון ארוך לטווח קצר.
לא
N-גרם
רצף סדור של N מילים. לדוגמה, הכיתוב באמת מטורף הוא 2 גרם. בגלל שסדר הוא רלוונטי, אז הערך באמת מטורף הוא 2 גרם שונה ממה שבאמת מטורף.
לא | שמות לסוג N-gram | דוגמאות |
---|---|---|
2 | Bigram או 2 גרם | ללכת, ללכת, לאכול ארוחת צהריים, לאכול ארוחת ערב |
3 | טריגרם או 3 גרם | אכלתם יותר מדי, שלושה עכברים עיוורים, פעמוניות |
4 | 4 גרם | ללכת בפארק, אבק ברוח, הילד אכל עדשים |
מודלים רבים של הבנת שפה טבעית מסתמכים על N-gram כדי לחזות את המילה הבאה שהמשתמש יקליד או יאמר. לדוגמה, נניח שמשתמש הקליד שלושה עיוורים. סביר להניח שמודל NLU שמבוסס על טריגרים יחזה שהמשתמש יקליד עכברים.
השוו בין גרם N לתיק מילים, שהן קבוצות לא מסודרות של מילים.
R
רשת נוירונים חוזרת
רשת נוירונים שפועלת באופן מכוון כמה פעמים, כשחלקים מכל הרצה עוברים להרצה הבאה. באופן ספציפי, שכבות מוסתרות מההרצה הקודמת מספקות חלק מהקלט לאותה שכבה מוסתרת בהפעלה הבאה. רשתות נוירונים חוזרות שימושיות במיוחד להערכת רצפים, כדי שהשכבות המוסתרות יוכלו ללמוד מהפעלות קודמות של רשת הנוירונים בחלקים קודמים של הרצף.
לדוגמה, באיור הבא מוצגת רשת נוירונים חוזרת שפועלת ארבע פעמים. שימו לב שהערכים שנלמדו בשכבות המוסתרות מההרצה הראשונה הופכים לחלק מהקלט לאותן שכבות מוסתרות בהפעלה השנייה. באופן דומה, הערכים שנלמדו בשכבה המוסתרת בהרצה השנייה הופכים לחלק מהקלט של אותה שכבה מוסתרת בהפעלה השלישית. כך רשת הנוירונים החוזרת מאמנים וחוזה בהדרגה את המשמעות של כל הרצף, ולא רק את המשמעות של מילים בודדות.
RNN
קיצור של רשתות נוירונים חוזרות.
S
מודל רצף
מודל שיש לקלטים שלו תלות רציפה. לדוגמה, חיזוי של הסרטון הבא שנצפה מתוך רצף של סרטונים שנצפו בעבר.
T
צעד זמן
תא אחד (unrolled) בתוך רשת נוירונים חוזרת. לדוגמה, האיור הבא מציג שלושה שלבי זמן (מסומנים בתוויות t-1, t ו-t+1):
טריגרם
N-gram שבו N=3.
V
בעיה הדרגתית נעלמת
הנטייה להדרגתיות של שכבות נסתרות מוקדמות של רשתות נוירונים עמוקות להיות שטוחות באופן מפתיע (נמוכה). ירידה הולכת וקטנה בהדרגתיות מובילה לשינויים קטנים יותר במשקלים בצמתים ברשת נוירונים עמוקה, שמובילה ללמידה מועטה או ללא למידה. קשה או בלתי אפשרי לאמן מודלים שסובלים מבעיית השיפוע הנעלם. תאי זיכרון ארוך לטווח קצר מטפלים בבעיה הזו.
השוואה לבעיה מתפוצצת הדרגתית.