صليب الميزة: ترميز غير خطي

في الشكلين 1 و2، تخيّل ما يلي:

  • وتمثّل النقاط الزرقاء أشجارًا مريضة.
  • تمثّل النقاط البرتقالية أشجارًا سليمة.

تمثّل نقاط البلوز القسم الرباعي الشمالي، أمّا النقاط البرتقالية، فتقع في القسم الجنوبي الغربي.

الشكل 1. هل هذه مشكلة طولية؟

هل يمكنك رسم خط يفصل الأشجار المريضة بعناية عن الأشجار الصحية؟ حاضر. هذه مشكلة خطيّة. السطر لن يكون مثاليًا. قد تكون هناك شجرة مريضة أو جانبان إيجابيان، وهو:

انظر الآن إلى الشكل التالي:

تمثّل نقاط البلوز رُبعًا شمالي شرقيًا وجنوبيًا غربيًا، بينما تحتل نقاط برتقالية شمالاً غربية.

الشكل 2. هل هذه مشكلة طولية؟

هل يمكنك رسم خط مستقيم واحد يفصل بين الأشجار المريضة بعناية وبين الأشجار الصحية؟ لا يمكنك طلب ذلك. هذه مشكلة غير خطيّة. يُعد أي سطر ترسمه مؤشرًا ضعيفًا لسلامة الأشجار.

الرسم نفسه كالشكل 2، باستثناء أن الخط الأفقي يكسر المستوى. وتكون النقاط الزرقاء والبرتقالية فوق الخط، والنقاط الزرقاء والبرتقالية أسفل الخط.

الشكل 3. لا يمكن أن يفصل سطر واحد بين الصفَين.

 

لحل المشكلة غير الخطية المعروضة في الشكل 2، أنشئ صليبًا للميزات. العنصر المتقاطع هو ميزة اصطناعية تشفّر الترميز غير الخطي في مساحة الميزة من خلال ضرب ميزتَي إدخال أو أكثر معًا. (العبارة cross مشتقة من مختلف المنتجات). دعنا ننشئ ميزة متقاطعة باسم \(x_3\) من خلال عبور \(x_1\) و \(x_2\):

$$x_3 = x_1x_2$$

نتعامل مع هذه الميزة التي تم استخراجها مؤخرًا \(x_3\) تمامًا مثل أي ميزة أخرى. وتصبح الصيغة الخطية:

$$y = b + w_1x_1 + w_2x_2 + w_3x_3$$

بإمكان خوارزمية خطية تعلُّم مقدار \(w_3\) تمامًا كما تفعل \(w_1\) و \(w_2\). وهذا يعني أنّ الترميز \(w_3\) يشفّر المعلومات غير الخطية، لكنّك لست بحاجة إلى تغيير طريقة تدريب النموذج الخطي لتحديد قيمة \(w_3\).

أنواع صليب الميزات

يمكننا إنشاء العديد من أنواع العلامات المختلفة. مثلاً:

  • [A X B]: ميزة متقاطعة تم تشكيلها من خلال ضرب قيم ميزتَين.
  • [A x B x C x D x E]: ميزة عُرضة مكوّنة من خلال ضرب قيم خمس ميزات.
  • [A x A]: ميزة شكل متقاطع من خلال تربيع ميزة واحدة.

بفضل النزول المدرّج العشوائي، يمكن تدريب النماذج الخطية بكفاءة. ونتيجة لذلك، كان استكمال النماذج الخطية المعدَّلة باستخدام صليب مميز طريقة تقليدية للتدريب على مجموعات البيانات على نطاق واسع.