הדף הזה מכיל מונחים של מונחי מודל של רצף. לעיון בכל המונחים של מילון המונחים, לחצו כאן.
B
Bigram
N-gram כאשר N=2.
E
בעיה של שינוי הדרגתי
הנטייה להבדלים הדרגתיים ברשתות נוירונים עמוקות (במיוחד רשתות נוירונים חוזרות) הופכת לתלולה במיוחד (גבוהה). לרוב, שיפועים תלולים מובילים לעדכונים גדולים מאוד במשקלים של כל הצומת ברשת נוירונים עמוקה.
המודלים שסובלים מבעיה הדרגתית שהופכת לקשה מאוד או שקשה מאוד לאמן אותם. חיתוך הדרגתי יכול למנוע את הבעיה הזו.
מבצעים השוואה בין הבעיות שנעלמות בהדרגתיות.
F
לשכוח את השער
החלק של תא זיכרון לטווח ארוך שמסדיר את זרימת המידע דרך התא. כדי לשכוח את השערים, עליכם להחליט איזה מידע למחוק ממצב התא.
G
חיתוך הדרגתי
מנגנון נפוץ לצמצום התפוצצות הבעיה על ידי הגבלה מלאכותית (שינוי) של הערכים המקסימליים של מעברי הצבעים באמצעות ירידה הדרגתית באימון של מודל.
L
זיכרון לטווח קצר (LSTM)
סוג של תא ברשת נוירונים חוזרת המשמשת לעיבוד רצפים של נתונים באפליקציות כמו זיהוי כתב יד, תרגום מכונה וכתוביות של תמונות. ב-LSTM מתוארת התקלה של סגירה הדרגתית שמתרחשת כשמאמנים RNN בגלל רצפי נתונים ארוכים על ידי שמירת ההיסטוריה במצב זיכרון פנימי על סמך קלט והקשר חדשים מתאים קודמים ב-RNN.
סראונד שמאלי
קיצור של זיכרון לטווח קצר.
צ'
N-גרם
רצף מסודר של N מילים. לדוגמה, בטירוף יכול להיות 2 גרם. בגלל שההזמנה היא רלוונטית, באופן מפתיע היא שונה ב-2 גרם מאשר בצורה כועסת.
צ' | שמות לסוג הזה של N-gram | דוגמאות |
---|---|---|
2 | Bigram או 2 גרם | לצאת לדרך, ללכת לאכול, לאכול ארוחת צהריים, לאכול ארוחת ערב |
3 | trigram או 3 גרם | אוכלים יותר מדי, שלושה עכברים עיוורים, פעמוני האגרה |
4 | 4 גרם | הולכים בפארק, אבק ברוח, ילד אכל עדשים |
מודלים רבים של הבנת שפה טבעית (NLP) מסתמכים על N-grams כדי לחזות את המילה הבאה שהמשתמש יקליד או יאמר. לדוגמה, נניח שמשתמש הקליד 3 תריסים. סביר להניח שמודל NLU המבוסס על טריגרים יצפה שהמשתמש יזין את העכברים הבאים.
בניגוד ל-N גרם עם תיק המילים, שהן קבוצות של מילים ללא סדר.
ימין
רשת נוירונים חוזרת
רשת נוירונים שפועלת במכוון מספר פעמים, כאשר חלקים בכל רשת מריצים את ההפעלה הבאה. באופן ספציפי, שכבות מוסתרות מההפעלה הקודמת מספקות חלק מהקלט לאותה שכבה נסתרת בהפעלה הבאה. רשתות נוירונים חוזרות עוזרות במיוחד להערכת רצפים, כך שהשכבות המוסתרות יכולות ללמוד מהפעלות קודמות של הרשת העצבית בחלקים קודמים של הרצף.
לדוגמה, האיור הבא מציג רשת נוירונים חוזרת שפועלת ארבע פעמים. שימו לב שהערכים שנלמדו בשכבות המוסתרות מההפעלה הראשונה הופכים לחלק מהקלט לאותן שכבות נסתרות בהפעלה השנייה. באופן דומה, הערכים שנצברו בשכבה המוסתרת בהפעלה השנייה הופכים לחלק מהקלט לאותה שכבה נסתרת בהפעלה השלישית. כך, הרשת העצבית החוזרת מכשירה בהדרגה וחוזה את המשמעות של הרצף כולו, ולא רק את המשמעות של מילים בודדות.
RNN
ראשי תיבות של רשתות נוירונים חוזרות.
S
מודל הרצף
מודל שהערכים שלו תלויים ברצף. לדוגמה, חיזוי הסרטון הבא שנצפה מרצף של סרטונים שכבר צפיתם בהם.
T
זמן קצוב
תא אחד שלא הוטמע ברשת נוירונים חוזרת. לדוגמה, האיור הבא מציג שלושה שלבי זמן (מסומנים בתגית המשנה t-1, t ו-t+1):
trigram, טריגרם
N-gram כאשר N=3.
V
בעיה של מעבר הדרגתי
הנטייה של השכבות המוסתרות המוקדמות של חלק מהרשתות הנוירוניות העמוקות תהפוך לשקופה באופן מפתיע (נמוכה). ככל ששיעור ההגברה של שיפועים נמוכים יותר, כך הולכים וקורים השינויים הקטנים יותר במשקלים של צמתים ברשת נוירונים עמוקה, וכתוצאה מכך למידה מועטה או ללא למידה בכלל. מודלים שסובלים מבעיה הדרגתית שנעלמה הופכים לקשה או בלתי אפשרי לאימון. תאים מסוג זיכרון לטווח קצר מטפלים בבעיה הזו.
משווים בין פתרון בעיות של מעבר הדרגתי.