التصنيف: التحقق من فهمك (ROC وAUC)

الوقت المقدّر: 5 دقائق

برنامج التتبُّع المشترك (ROC) وترخيص الاستخدام المحسّن (AUC)

يُرجى الاطّلاع على الخيارات أدناه.

أي من منحنيات ROC التالية ينتج عنها قيم AUC أكبر من 0.5؟

وهذا هو أفضل منحنى ROC يمكن استخدامه، لأنّه يرتّب جميع العناصر الإيجابية فوق جميع العناصر السلبية. إضافة وحدة تحكّم في AdSense هي 1.0.

عمليًا، إذا كانت لديك أداة تصنيف &quot&perfect&quot، مع تصنيف AUC 1.0، يجب أن تكون مريبة، لأنّ ذلك يشير على الأرجح إلى حدوث خطأ في النموذج. على سبيل المثال، قد تكون لديك بيانات زائدة عن التدريب، أو قد يتم نسخ بيانات التصنيف في إحدى الميزات.

ويُعدّ ذلك أسوأ منحنى للROC، حيث يرتِّب جميع العناصر السلبية أعلى جميع الإيجابيات، ويحتوي على AUC بنسبة 0.0. إذا قرّرت التراجع عن كل عبارات البحث المقترَحة (قلب العناصر السلبية إلى الإيجابيات والسلبية للتوقعات السلبية)، ستكون في الواقع مصنِّفًا مثاليًا.

ويحتوي منحنى ROC هذا على AUC بنسبة 0.5، ما يعني أنه يرتّب مثالًا موجبًا عشوائيًا أعلى من المثال السلبي العشوائي بنسبة 50% من الوقت. ومن هذا المنطلق، يُعدّ نموذج التصنيف المقابل غير مفيد في الأساس، لأنّ قدرته على التوقّع ليست أفضل من تخمين عشوائي.

يحتوي منحنى ROC هذا على AUC بين 0.5 و1.0، ما يعني أنه يرتّب مثالًا موجبًا عشوائيًا أعلى من مثال سلبي عشوائي لأكثر من 50% من الوقت. تندرج قيم AUC على أرض الواقع بشكل عام ضمن هذا النطاق.

يحتوي منحنى ROC هذا على AUC بين 0 و0.5، ما يعني أنه يُصنّف كمثال موجب عشوائي أعلى من مثال سلبي عشوائي بأقل من 50% من الوقت. يحقّق النموذج المقابل أداءً أسوأ من التخمين العشوائي. إذا ظهر لك منحنى ROC مثل هذا، من المحتمل أنه يشير إلى وجود خطأ في بياناتك.

توقعات AUC وتحجيم

يُرجى الاطّلاع على الخيارات أدناه.

كيف يمكن ضرب جميع التوقعات من نموذج معيّن في 2.0 (على سبيل المثال، إذا كان النموذج يتنبأ بـ 0.4، فإننا نضرب في 2.0 للحصول على توقع بنسبة 0.8) لتغيير أداء النموذج كما يتم قياسه من خلال AUC.

ما من تغيير: معنيّة AUC فقط بشأن نتائج التوقّعات النسبية.

نعم، تستند أداة AUC إلى عبارات البحث المقترَحة ذات الصلة، لذلك لن يكون هناك أي تغيير في عبارات البحث المقترَحة التي تحافظ على الترتيب النسبي وتأثيرها في AUC. وينطبق ذلك بوضوح على المقاييس الأخرى، مثل الخطأ المربّع أو فقدان السجلّ أو تحيّز التوقّعات (سنناقشها لاحقًا).

قد يؤدي ذلك إلى حدوث خطأ مرعب، بما أنّ قيم التوقّعات قد توقّفت.

ومن المثير للاهتمام أنّه على الرغم من اختلاف قيم التوقّعات (وعلى الأرجح أنها أبعد من ذلك)، فإن ضرب كل هذه القيم في 2.0 سيؤدي إلى الحفاظ على الترتيب النسبي لقيم التوقّعات. وبما أنّ جامعة ولاية أريزونا لا تهتم إلا بالترتيبات النسبية، فهي لا تتأثر بأي مقياس بسيط من التوقعات.

سيؤدي ذلك إلى تحسين AUC لأن قيم التوقّعات متباعدة أكثر.

لا يؤثر حجم انتشار المنتج بين التوقعات في استخدام تقنية AUC. إنّ نتيجة التوقع للحصول على نتيجة موجبة مرسومة عشوائيًا هي مجرد خطوة صغيرة جدًا أكبر من النتيجة السلبية المرسومة عشوائيًا، والتي ستُعتبر نجاحًا في النتيجة الإجمالية للجامعة.