الهدف من هذا الدليل هو تقديم إرشادات حول إجراء اختبار مستقل لواجهة برمجة تطبيقات Privacy Sandbox Attribution Reporting API. لمزيد من التفاصيل، راجع: القسم 12.
- يؤدي قياس مجموعة التحكّم والمعالجة إلى ظهور التصميمَين التجريبيَين 1 و2 لـ CMA في إرشادات اختبار واجهات برمجة التطبيقات الملائمة، لأنّ الهدف من هذه التجارب هو اختبار فعالية استخدام Protected Audience API والموضوعات. لمزيد من التفاصيل، راجع القسم 11.
قبل البدء
- راجِع هذه المقالة للحصول على إرشادات حول ضبط إعدادات Attribution Reporting API.
- يمكنك مراجعة إرشادات اختبار CMA: ملاحظة بشأن التجارب (تشرين الثاني/نوفمبر 2022) وإرشادات الاختبار (حزيران/يونيو 2023) وإرشادات إضافية حول الاختبارات (تشرين الأول/أكتوبر 2023).
أهداف التقييم وإعداد التجربة المقترحة
الهدف 1 - تحديد فعالية Attribution Reporting API لإعداد التقارير
نقترح إعداد A/A لقياس التأثير على إعداد التقارير
- يتوافق هذا الاقتراح مع إرشادات CMA بشأن تقييم المقاييس المستندة إلى الإحالات الناجحة. لمزيد من التفاصيل، راجع القسم 21 والقسم 12.
- نفضّل هذه الطريقة على الوضع أ/ب لأنّه يمكن إجراء اختبار Attribution Reporting API (ARA) من خلال قياس الإحالات الناجحة في الوقت نفسه لمجموعة مرات الظهور نفسها باستخدام منهجيتين مختلفتين لقياس الأداء (ملفات تعريف الارتباط التابعة لجهة خارجية وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية وARA + بيانات ملفات تعريف الارتباط التابعة لجهات خارجية).
- تعمل تجربة A/A أيضًا على عزل تأثير Attribution Reporting API على قياس الإحالات الناجحة (على سبيل المثال، تجنُّب أي تغييرات في معدلات الإحالات الناجحة بسبب عدم توفُّر ملفات تعريف الارتباط التابعة لجهات خارجية).
نقاط التحليل المقترَحة
- اختَر شريحة من الزيارات كبيرة بما يكفي للحصول على نتائج ذات دلالة إحصائية، وتتضمّن ملفات تعريف الارتباط التابعة لجهات خارجية وواجهات برمجة تطبيقات "مبادرة حماية الخصوصية". من المفترض أن تكون هذه الزيارات جميع الزيارات، باستثناء الوضع "ب" (الذي يوقِف ملفات تعريف الارتباط للجهات الخارجية).
- ننصح باستبعاد الوضع "ب" من تجربة A/A، لأنّ ملفات تعريف الارتباط التابعة لجهات خارجية لن تكون متاحة ولن تتمكّن من مقارنة نتائج ARA بنتائج الإحالة المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية.
- إذا كنت تريد تضمين الوضع "ب"، ننصحك بتفعيل تقارير تصحيح الأخطاء لشريحة الوضع "ب" من الزيارات. ستساعدك تقارير تصحيح الأخطاء في تحديد وحلّ أي مشاكل في الإعداد أو التنفيذ.
- إذا كنت تخطط لإجراء الاختبار على شريحة أصغر من عدد الزيارات، نتوقع أن تتلقّى نتائج قياس أكثر تشويشًا من المتوقع. ننصح بالإشارة في تحليلك إلى نسبة الزيارات التي تم استخدامها، وما إذا كنت تُبلغ عن النتائج استنادًا إلى تقارير تتضمّن تشويشًا أو تقارير تصحيح أخطاء غير تشويشية.
- بالنسبة إلى التقارير الموجزة، من المرجح أن تكون قيم الملخص أقل، وستضيف خدمة التجميع تشويشًا من نفس التوزيع بصرف النظر عن قيمة الملخّص.
- اختبار منهجيات قياس مختلفة على تلك الشريحة من الزيارات
- التحكّم 1 - استخدام منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية)
- (اختياري) التحكّم 2 - عدم استخدام "مبادرة حماية الخصوصية" أو استخدام ملفات تعريف الارتباط التابعة لجهات خارجية، أي بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط
- يُرجى العلم أنّه قد تكون بعض ملفات تعريف الارتباط التابعة لجهات خارجية لا تزال متاحة لبعض المواقع الإلكترونية. للحصول على أدقّ النتائج، يجب عدم استخدام هذه الملفات لأغراض القياس في مجموعة التحكّم 2 أو المعالجة.
- المعالجة - واجهات برمجة تطبيقات "مبادرة حماية الخصوصية" وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية
- يُرجى العلم أنّه قد تكون بعض ملفات تعريف الارتباط التابعة لجهات خارجية لا تزال متاحة لبعض المواقع الإلكترونية. للحصول على أدقّ النتائج، يجب عدم استخدام هذه الملفات لأغراض القياس في مجموعة التحكّم 2 أو المعالجة.
المقاييس
- حدِّد المقاييس المناسبة لنشاطك التجاري لقياس النتائج، وأدرِج وصفًا لمعنى المقياس وكيفية قياسه.
- نقترح عليك التركيز على السمات والمقاييس المهمة للمعلِنين. على سبيل المثال، إذا كان المعلِنون يركّزون على الإحالات الناجحة المتمثّلة بعملية شراء، يمكنك قياس أعداد الإحالات الناجحة لهذه الإحالات الناجحة وقيمة الشراء.
- تكون المقاييس التي تستند إلى العدد أو المجموع (على سبيل المثال، معدل الإحالات الناجحة) أفضل للاستخدام مقارنةً بالتكلفة لكل إحالة ناجحة (على سبيل المثال، تكلفة الإحالة الناجحة). لتحليل A/A، يمكن اشتقاق مقاييس التكلفة بالكامل من قيم العدد أو مجموع الإحالات الناجحة.
- حدّد ما إذا كانت المقاييس تستند إلى تقارير على مستوى الحدث أو تقارير تلخيصية أو مزيج من كلا التقريرَين (وما إذا كان قد تم استخدام تقارير تصحيح الأخطاء).
- يمكنك الاطّلاع على جداول النماذج المقترَحة للحصول على إرشادات حول كيفية تنسيق الملاحظات الكمية.
التحليل
- التغطية:
- هل يمكنك القياس على مستوى مجموعة مستخدمين مشابهة مقارنةً بملفات تعريف الارتباط التابعة لجهة خارجية؟ هل ترى تغطية أعلى (على سبيل المثال، عند نقل التطبيقات إلى الويب)؟
- هل يمكنك قياس الإحالات الناجحة (والسمات أو المقاييس) التي تهتم بها أو يهمّ المعلِنين أكثر من غيرها؟
- الملاحظات الكَمية
- في تقارير المعلِنين، على سبيل المثال، ما النسبة المئوية للإحالات الناجحة الرئيسية التي ستتمكّن من تسجيلها لهذا المعلِن، أو النسبة المئوية للحملات التي تستوفي معايير جودة التقارير (يساعد الحصول على شريط جودة على تعديل الحملات ذات أعداد الإحالات الناجحة الصغيرة)
- على سبيل المثال، هل هناك بعض المعلِنين الذين يعتمدون بشكل أكبر أو أقلّ على ملفات تعريف الارتباط التابعة لجهات خارجية في إعداد التقارير في الوقت الحالي؟
- ملاحظات نوعية أخرى:
- كيف تؤثر ARA في مدى تعقيد إعداد القياس/الإحالة لدى المعلِنين؟
- هل تساعد ARA المعلنين أو تعيقهم في التركيز على المقاييس والأهداف التي تهمّهم؟
جداول النماذج المقترحة لتأثير إعداد التقارير
(إعداد التقارير) الجدول 1:
مثال على جدول نموذج لإعداد تقارير عن النتائج التجريبية إلى CMA (مأخوذ من الصفحة 18، ولكن على المختبِرين تحديد المقاييس الأكثر فائدة أو إمكانية تقديمها وتعديلها حسب الحاجة)
|
العلاج مقابل التحكّم 1 المقارنة بين الحالة النهائية المقترَحة والحالة الحالية |
العلاج مقابل التحكّم 2 تقارن حالة النهاية المقترَحة مع عدم توفّر واجهات برمجة تطبيقات PS على الإطلاق. |
التحكم 2 في مقابل التحكم 1 يقارن قياس الإحالات الناجحة مع ملفات تعريف الارتباط التابعة لجهات خارجية أو بدونها، بدون أي واجهات برمجة تطبيقات لـ PS. |
|
| منهجية القياس | مقارنة قياس الإحالات الناجحة من أجل المعالجة (ARA مع بيانات ملفات تعريف الارتباط التابعة لجهات خارجية) والتحكُّم 1 (ملفات تعريف الارتباط التابعة لجهة خارجية وبيانات ملفات تعريف الارتباط غير التابعة لجهة خارجية) | مقارنة قياس الإحالات الناجحة للمعالجة (ARA مع بيانات ملفات تعريف الارتباط التابعة لجهات خارجية) والتحكُّم 2 (بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط) | مقارنة قياس الإحالات الناجحة للتحكّم في 2 (بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط) مع التحكّم 1 (ملفات تعريف الارتباط التابعة لجهة خارجية وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية) |
| الإحالات الناجحة لكل دولار أمريكي | التأثير | التأثير | التأثير |
| الخطأ المعياري | الخطأ المعياري | الخطأ المعياري | |
| فاصل ثقة 95% | فاصل ثقة 95% | فاصل ثقة 95% | |
| إجمالي الإحالات الناجحة | التأثير | التأثير | التأثير |
| الخطأ المعياري | الخطأ المعياري | الخطأ المعياري | |
| فاصل ثقة 95% | فاصل ثقة 95% | فاصل ثقة 95% | |
| معدل الإحالات الناجحة | التأثير | التأثير | التأثير |
| الخطأ المعياري | الخطأ المعياري | الخطأ المعياري | |
| فاصل ثقة 95% | فاصل ثقة 95% | فاصل ثقة 95% | |
| (إضافة مقاييسك الخاصة) |
(إعداد التقارير) الجدول 2:
مثال على جدول لإعداد تقارير عن الإحصاءات الوصفية للمقاييس في مجموعتَي المعالجة والتحكّم (مأخوذ من الصفحة 20، ولكن على المختبرين التفكير في المقاييس الأكثر فائدة أو التي يمكن تقديمها وتكييفها حسب الحاجة).
| المقياس | المعالجة
قياس الإحالات الناجحة باستخدام تقنية ARA وأي بيانات تستخدمها ملفات تعريف الارتباط غير التابعة لجهات خارجية |
التحكّم 1
قياس الإحالات الناجحة باستخدام ملفات تعريف الارتباط التابعة لجهات خارجية وأي بيانات تستخدمها أنت وملفّات تعريف الارتباط غير التابعة لجهات خارجية |
التحكّم 2
قياس الإحالات الناجحة باستخدام بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط |
| الإحالات الناجحة لكل دولار أمريكي | المتوسط | المتوسط | المتوسط |
| الانحراف المعياري | الانحراف المعياري | الانحراف المعياري | |
| الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | |
| إجمالي الإحالات الناجحة | المتوسط | المتوسط | المتوسط |
| الانحراف المعياري | الانحراف المعياري | الانحراف المعياري | |
| الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | |
| معدل الإحالات الناجحة | المتوسط | المتوسط | المتوسط |
| الانحراف المعياري | الانحراف المعياري | الانحراف المعياري | |
| الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | |
| (إضافة مقاييسك الخاصة) |
الهدف 2: تحديد فعالية Attribution Reporting API في تحسين عروض الأسعار
نقترح إعداد A/B لقياس التأثير على تحسين عروض الأسعار.
- لقياس التأثير في تحسين عروض الأسعار، ستحتاج إلى تدريب نموذجَين مختلفَين لتعلُّم الآلة واستخدامهما على شريحتَين من الزيارات: نموذج واحد مدرّب على منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهة خارجية + بيانات ملفات تعريف الارتباط التابعة لجهة خارجية) وسيتم تطبيقه على مجموعة التحكّم، ونموذج واحد مدرَّب على Attribution Reporting API + البيانات الخاصة بملفات تعريف الارتباط غير التابعة لجهات خارجية وسيتم تطبيقها على مجموعة المعالجة.
- يجب أن يستند تدريب النموذج إلى العدد الذي يراه المختبِر ضروريًا لتحقيق أفضل أداء، حتى إذا كانت مجموعة المعالجة عبارة عن شريحة أصغر من عدد الزيارات وكان هناك تداخل بين مجموعات التدريب (على سبيل المثال، استخدِم النموذج الحالي لملفات تعريف الارتباط التابعة لجهة خارجية والذي يتدرب على جميع الزيارات، ودرِّب نموذج ARA على جميع زيارات ARA المفعَّلة للهدف 1).
- في حال إرسال نتائج إلى "الهيئة المعنية بالتسويق" (CMA)، لاحظ ما إذا كان هناك فرق كبير بين شرائح الزيارات المستخدَمة لتدريب نماذج مختلفة (على سبيل المثال، إذا تم تدريب النماذج المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية على% 100 من عدد الزيارات، بينما يتم تدريب النماذج المستندة إلى ARA على% 1 فقط من عدد الزيارات).
- وإذا أمكن، يجب أن يتم التدريب على كلٍّ من نموذجَي عروض الأسعار والعلاجات للمدة الزمنية نفسها.
- ضَع في اعتبارك ما إذا كان عليك تدريب نماذج عروض الأسعار وتعديلها باستمرار أثناء التجربة، وإذا كنت تفعل ذلك، يجب التدريب على أكبر عدد ممكن من الزيارات أو فقط على الزيارات الواردة من مجموعتَي المعالجة والضابطة.
- وينبغي استخدام النماذج المختلفة على شرائح منفصلة من الزيارات كتجربة أ/ب. من أجل التوزيع العشوائي للمستخدمين ومنحهم على مستوى مجموعات التحكّم والمعالجة، ننصحك باستخدام مجموعات المتصفّحات المصنّفة بتسهيلها من Chrome (الوضع أ) أو تنفيذ تجربتك الخاصة باستخدام مجموعات عشوائية من المتصفّحات. لا ننصح باستخدام الوضع ب لأنّ عدم توفُّر ملفات تعريف الارتباط للجهات الخارجية سيؤدي إلى صعوبة إعداد تقارير عن المقاييس المستندة إلى الإحالات الناجحة.
- ستستبعد مجموعات المتصفّحات المتوافقة مع Chrome بعض نُسخ Chrome، مثل مستخدمي Enterprise Chrome، حيث قد لا تستبعد مجموعاتك العشوائية من المتصفّحات هذه النُسخ من Chrome. لذلك، يجب تنفيذ تجربتك فقط في مجموعات "الوضع أ"، أو فقط على المجموعات التي لا تستخدم الوضع "أ" أو "الوضع ب" لتجنّب مقارنة المقاييس التي تم الحصول عليها في المجموعات التي يستخدمها Chrome بالمقاييس التي تم الحصول عليها خارج المجموعات التي يستخدمها Chrome.
- في حال عدم استخدام مجموعات متصفِّح مصنَّفة لتسهيل الاستخدام من خلال Chrome (مثل إجراء تجربة على زيارات أخرى):
- التأكد من أن تقسيم التعامل مع المستخدمين والتحكم فيه عشوائيًا وغير متحيز. وبغض النظر عن إعداد مجموعة التجربة، قيِّم خصائص مجموعتَي المعالجة والضابطة لضمان التشابه بين مجموعات المعالجة والضابطة. (راجع: الفقرة 15)
- تأكَّد من أنّ خصائص المستخدِم وإعدادات الحملات متطابقة في مجموعات المعالجة ومجموعات التحكّم (على سبيل المثال، استخدِم مواقع جغرافية مشابهة في كلٍّ من مجموعتَي المعالجة ومجموعة التحكّم). (يُرجى الاطّلاع على: الفقرة 28)
- تشمل الأمثلة المحدّدة ما يلي: التأكّد من قياس أنواع الإحالات الناجحة المتشابهة باستخدام فترة تحديد المصدر نفسها ومنطق تحديد المصدر نفسه، وتستهدف الحملات شرائح جمهور مشابهة ومجموعات اهتمام ومواقع جغرافية مشابهة وتستخدم نصوص إعلانات وأشكال إعلانات مشابهة.
- تأكّد من أنّ الأحجام الأولية لعدد السكان لمجموعات المعالجة والضابطة كبيرة بما يكفي لتوفير المرونة في تقديم عروض الأسعار والتجارب.
- في حال استخدام مجموعات المتصفّحات المصنّفة حسب تسهيل استخدام Chrome (الوضع أ)، سيعالج Chrome التوزيع العشوائي لمثيلات متصفّح Chrome إلى المجموعات. ننصحك بالتحقق، كما في السابق، من أنّ التوزيع العشوائي يؤدي إلى مجموعات غير متحيزة أو قابلة للمقارنة لأغراضك.
نقاط التحليل المقترَحة
- ننصحك بتحديد مجموعات التحكّم والمعالجة، واستخدام نموذج مختلف لتعلُّم الآلة لتحسين عروض الأسعار لكل مجموعة:
- التحكّم 1 - استخدام نموذج تحسين عروض الأسعار المدرَّب على منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية)
- (اختياري) التحكّم 2 - استخدام نموذج تحسين عروض الأسعار المدرَّب على استخدام "مبادرة حماية الخصوصية" بدون استخدام ملفات تعريف الارتباط التابعة لجهات خارجية، أي بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط
- يُرجى العلم أنّ بعض ملفات تعريف الارتباط التابعة لجهات خارجية قد لا تزال متاحة لبعض المواقع الإلكترونية. وللحصول على أدقّ النتائج، يجب عدم استخدام هذه الملفات لأغراض القياس في التحكّم 2 أو طريقة المعالجة.
- المعالجة - استخدام نموذج تحسين عروض الأسعار المدرَّب على Attribution Reporting API وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية
- يُرجى العلم أنّ بعض ملفات تعريف الارتباط التابعة لجهات خارجية قد لا تزال متاحة لبعض المواقع الإلكترونية. وللحصول على أدقّ النتائج، يجب عدم استخدام هذه الملفات لأغراض القياس في التحكّم 2 أو طريقة المعالجة.
المقاييس
- حدِّد المقاييس المناسبة لنشاطك التجاري لقياس النتائج، وأدرِج وصفًا لمعنى المقياس وكيفية قياسه.
- على سبيل المثال، قد يكون المقياس المفيد هو الإنفاق (أرباح الناشر)، ما يتوافق مع إرشادات CMA لفهم تأثير الإيقاف النهائي لملفات تعريف الارتباط التابعة لجهات خارجية على "الأرباح لكل مرة ظهور". راجع القسم 19 للحصول على مزيد من التفاصيل.
- في حال إعداد التقارير عن أيّ مقاييس مستنِدة إلى الإحالات الناجحة، يجب استخدام منهجية القياس نفسها في كلّ مجموعة، وذلك لتجنّب اختبار نُسخ مختلفة من الصِيَغ (اختبار التأثير على التحسين وإعداد التقارير في تجربة واحدة). يمكنك الاطّلاع على جداول النماذج المقترَحة للحصول على إرشادات حول كيفية تنسيق الملاحظات الكمية.
- ننصحك بالتفكير في طرق أخرى لجمع المقاييس عن تأثير تحسين عروض الأسعار، على سبيل المثال، استخدام محاكاة عروض الأسعار. هل هناك أي مقاييس تمت محاكاتها قد تكون مفيدة لفهم تأثير ملفات تعريف الارتباط التابعة لجهات خارجية وARA على نماذج عروض أسعارك؟
- حدّد ما إذا كانت المقاييس تستند إلى تقارير على مستوى الحدث أو تقارير تلخيصية أو مزيج من كلا التقريرَين (وما إذا كان قد تم استخدام تقارير تصحيح الأخطاء).
التحليل
- التغطية:
- هل يمكنك القياس على مستوى مجموعة مستخدمين مشابهة مقارنةً بملفات تعريف الارتباط التابعة لجهة خارجية؟ هل ترى أي تغييرات في التغطية (على سبيل المثال، عند الانتقال من تطبيق إلى آخر)؟
- هل يمكنك قياس الإحالات الناجحة (والأبعاد/المقاييس) التي تهمّك أو بالنسبة إلى المعلِنين أكثر من غيرها؟
- كيف ستؤثر الاختلافات بين المجموعات في ما يلي:
- في إعداد تقارير المعلنين، على سبيل المثال، ما النسبة المئوية للإحالات الناجحة الرئيسية التي يمكنك الإبلاغ عنها.
- فعمليات التدريب والتحسين، على سبيل المثال، محاكاة تأثير بيانات الإحالات الناجحة المختلفة في أداء النموذج.
- ملاحظات نوعية أخرى:
- كيف تؤثّر ARA في مدى تعقيد إعداد تحسين عروض أسعار المعلِنين؟
- هل تساعد ARA المعلنين أو تمنعهم من التركيز على المقاييس والأهداف التي تهمّهم؟
جداول النماذج المقترَحة لتأثير عروض الأسعار
(عروض الأسعار) الجدول 1:
مثال على جدول نموذج للنتائج التجريبية التي على المشاركين في السوق إرسالها إلى CMA (مأخوذ من الصفحة 18، ولكن على المختبرين التفكير في المقاييس الأكثر فائدة أو إمكانية تقديمها وتكييفها حسب الحاجة).
|
العلاج مقابل التحكّم 1 المقارنة بين الحالة النهائية المقترَحة والحالة الحالية |
العلاج مقابل التحكّم 2 تقارن حالة النهاية المقترَحة مع عدم توفّر واجهات برمجة تطبيقات PS على الإطلاق. |
التحكم 2 في مقابل التحكم 1 يمكنك مقارنة تحسين عروض الأسعار مع ملفات تعريف الارتباط التابعة لجهات خارجية أو بدونها، بدون أي واجهات برمجة تطبيقات لـ PS. |
|
| منهجية القياس | لتجنُّب اختبار نُسخ مختلفة من الصِيَغ، استخدِم ملفات تعريف الارتباط التابعة لجهة خارجية وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية لقياس المقاييس المستنِدة إلى الإحالات الناجحة لكلّ من مجموعتَي التجربة في كلّ تجربة. | ||
| الأرباح لكل مرّة ظهور | التأثير | التأثير | التأثير |
| الخطأ المعياري | الخطأ المعياري | الخطأ المعياري | |
| فاصل ثقة 95% | فاصل ثقة 95% | فاصل ثقة 95% | |
| (إضافة مقاييسك الخاصة) | |||
(عروض الأسعار) الجدول 2:
مثال على جدول لإعداد تقارير عن الإحصاءات الوصفية للمقاييس في مجموعتَي المعالجة والتحكّم (مأخوذ من الصفحة 20، ولكن على المختبرين التفكير في المقاييس الأكثر فائدة أو التي يمكن تقديمها وتكييفها حسب الحاجة).
|
المعالجة تحسين عروض الأسعار باستخدام ARA وأي بيانات تستخدمها ملفات تعريف الارتباط غير التابعة لجهات خارجية |
التحكّم 1 تحسين عروض الأسعار باستخدام ملفات تعريف الارتباط التابعة لجهات خارجية وأي بيانات تستخدمها ملفات تعريف الارتباط غير التابعة لجهات خارجية |
التحكّم 2 تحسين عروض الأسعار باستخدام بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط |
|
| منهجية القياس | لتجنُّب اختبار نُسخ مختلفة من الصِيَغ، استخدِم ملفات تعريف الارتباط التابعة لجهة خارجية وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية لقياس المقاييس المستنِدة إلى الإحالات الناجحة على مستوى جميع المجموعات. | ||
| الأرباح لكل مرّة ظهور | المتوسط | المتوسط | المتوسط |
| الانحراف المعياري | الانحراف المعياري | الانحراف المعياري | |
| الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | الشريحة المئوية الخامسة والعشرين والخامسة والسبعين | |
| (إضافة مقاييسك الخاصة) | |||
الهدف 3 - تحميل اختبار خدمة التجميع
يُرجى الاطّلاع على إطار عمل اختبار تحميل خدمة التجميع.