إذا كنت تستذكِر من وحدة Crosses لميزة "الميزات"، تكون مشكلة التصنيف التالية غير خطية:
الشكل 1. ثمة مشكلة في التصنيف غير الخطي.
"non الخطي"يعني أنّه لا يمكنك توقّع تصنيف بدقة باستخدام نموذج من النموذج \(b + w_1x_1 + w_2x_2\) . وبعبارة أخرى، فإنّ مسار"القرار"لا يشكّل سطرًا. في السابق، كنا ننظر في حالات عبور الميزات كمنهج ممكن لوضع نماذج للمشاكل غير الخطية.
والآن، جرّب مجموعة البيانات التالية:
الشكل 2. تمثّل هذه السمة مشكلة أكثر صعوبة بالنسبة إلى التصنيف غير الخطي.
لا يمكن حل مجموعة البيانات المعروضة في الشكل 2 باستخدام رقم خطي.
لمعرفة كيف يمكن أن تساعدك الشبكات العصبونية في حلّ المسائل غير الخطية، لنبدأ بتمثيل النموذج الخطي كرسم بياني:
الشكل 3. النموذج الخطي كرسم بياني.
تمثّل كل دائرة زرقاء ميزة إدخال وتشير الدائرة الخضراء إلى المجموع الإجمالي المرجّح للإدخالات.
كيف يمكننا تغيير هذا النموذج لتحسين قدرته على التعامل مع المشاكل غير الخطية؟
الطبقات المخفية
في النموذج الذي يمثله الرسم البياني التالي، أضفنا&#;9&;;quot;طبقة مخفية" لقيم الوسيط. تمثّل كل عُقدة صفراء في الطبقة المخفية مجموعًا مُرجَّحًا لقيم عقدة الإدخال الزرقاء. والإخراج هو مجموع العُقد المرجّحة.
الشكل 4. رسم بياني لنموذج من طبقتين.
هل هذا النموذج خطي؟ نعم، لا يزال الناتج ناتجًا من مجموعة خطية من مدخلاته.
في النموذج الذي يمثّله الرسم البياني التالي، أضفنا طبقة ثانية مخفية من المجموع المجموعي المرجّح.
الشكل 5. رسم بياني من ثلاث طبقات.
هل لا يزال هذا النموذج خطيًا؟ نعم، إنها كذلك. عندما تعبّر عن الإخراج كدالة للإدخال وتبسيطه، تحصل على مجموع آخر مرجَّح من المدخلات. لن يعكس هذا المجموع نموذج المشكلة غير الخطية في الشكل 2 بشكل فعّال.
وظائف التفعيل
لوضع نموذج لمشكلة غير خطية، يمكننا تقديم سمة غير خطية مباشرة. يمكننا تمرير كل عقدة طبقة مخفية عبر دالة غير خطية.
في النموذج الذي يمثّله الرسم البياني التالي، يتم تحويل قيمة كل عُقدة في الطبقة المخفية 1 باستخدام دالة غير خطي قبل تمريرها إلى الأعداد المرجَّحة للطبقة التالية. يُطلق على هذه الدالة غير الخطية اسم وظيفة التفعيل.
الشكل 6. رسم بياني لنموذج من ثلاث طبقات مع وظيفة تفعيل.
الآن، بعد أن أضفنا وظيفة تفعيل، يمكن أن يكون لإضافة الطبقات تأثير أكبر. ويتيح لنا تكديس الخطوط غير الخطية وجود نماذج معقدة للغاية بين المدخلات والمخرجات المتوقعة. باختصار، تعلّم كل طبقة دالة أكثر تعقيدًا والمستوى الأعلى من المُدخلات الأولية. إذا كنت تريد زيادة الحدس حول كيفية عمل ذلك، يمكنك الاطّلاع على مشاركة المدونة "كريس أولاه&39" الرائعة.
وظائف التفعيل الشائعة
تحوِّل دالة التفعيل sigmoid المجموع المُرجَّح إلى قيمة بين 0 و1.
في ما يلي مخطط:
الشكل 7. دالة التفعيل السيئي.
غالبًا ما تعمل وظيفة تفعيل الوحدة الخطية المُصحَّحة التالية (أو RLU لفترة قصيرة) أفضل من دالة سلسة مثل الفاصل.
يعتمد تميّز مجال ReLU إلى النتائج التجريبية التي يُرجح أن يكون السبب في ذلك هو استخدام مجموعة من عوامل الاستجابة الأكثر فائدة. يتراجع استجابة السيجزم بشكل سريع نسبيًا من كلا الطرفين.
الشكل 8. دالة التفعيل ReLU
وفي الواقع، يمكن استخدام أي دالة رياضية كدالة تفعيل. افترض أنّ \(\sigma\) تمثّل دالة التفعيل التي نعرضها (Relu أو Sigmoid أو غير ذلك). وبالتالي، يتم عرض قيمة العقدة في الشبكة باستخدام الصيغة التالية:
يوفر TensorFlow دعمًا فوريًا للعديد من وظائف التفعيل. يمكنك العثور على دوال التفعيل هذه ضمن قائمة برامج تضمين عمليات التشغيل العصبية البدائية في TensorFlow's. ومع ذلك، ننصحك ببدء استخدام ReLU.
ملخّص
يتضمّن نموذجنا الآن جميع المكوّنات القياسية لما يعنيه الأشخاص عادةً عند قولهم "وشبكة عصبونية":
- مجموعة من العُقد مشابهة لخلايا عصبية، مُنظَّمة في طبقات.
- مجموعة من الأوزان التي تمثّل الاتصالات بين كل طبقة شبكة عصبية والطبقة تحتها. قد تكون الطبقة أدناه طبقة شبكة عصبية أخرى أو أي نوع آخر من الطبقات.
- مجموعة من الانحياز، لكل عُقدة.
- دالة تفعيل تعمل على تحويل مخرجات كل عُقدة في طبقة. وقد تتضمن الطبقات المختلفة وظائف تفعيل مختلفة.
تنبيه: لا تكون الشبكات العصبونية أفضل دائمًا من صليب الميزة، لكن الشبكات العصبونية تقدم بديلًا مرنًا يعمل بشكل جيد في العديد من الحالات.