इस गाइड का मकसद, Privacy Sandbox Attribution Reporting API के स्टैंडअलोन टेस्ट को चलाने के बारे में दिशा-निर्देश देना है. ज़्यादा जानकारी के लिए, सेक्शन 12 देखें.
- CMA के एक्सपेरिमेंटल डिज़ाइन 1 और 2 में कंट्रोल और ट्रीटमेंट ग्रुप के नतीजों को मेज़र करने की प्रोसेस को, प्रासंगिकता के एपीआई की जांच से जुड़े दिशा-निर्देश में शामिल किया गया है, क्योंकि उन प्रयोगों का मकसद सुरक्षित ऑडियंस और विषयों के इस्तेमाल से होने वाले असर की जांच करना है. ज़्यादा जानकारी के लिए, सेक्शन 11 देखें.
शुरू करने से पहले
- Attribution Reporting API को कॉन्फ़िगर और सेट अप करने से जुड़े दिशा-निर्देशों के लिए देखें.
- CMA टेस्टिंग से जुड़े दिशा-निर्देश देखें: प्रयोग के बारे में जानकारी (नवंबर 2022), टेस्टिंग से जुड़े दिशा-निर्देश (जून 2023), और टेस्टिंग के लिए अन्य दिशा-निर्देश (अक्टूबर 2023).
आकलन के लक्ष्य और प्रस्तावित प्रयोग सेटअप
लक्ष्य 1 - रिपोर्टिंग के लिए Attribution Reporting API के असर का पता लगाना
हम रिपोर्टिंग पर असर को मापने के लिए, A/A सेटअप का सुझाव देते हैं
- यह प्रस्ताव, कन्वर्ज़न पर आधारित मेट्रिक के आकलन के लिए, सीएमए दिशा-निर्देश के मुताबिक है. ज़्यादा जानकारी के लिए, सेक्शन 21 और सेक्शन 12 देखें.
- हम मोड A/B के बजाय इस तरीके को इस्तेमाल करना पसंद करते हैं, क्योंकि Attribution Reporting API (ARA) को टेस्ट करने के लिए, मेज़रमेंट के दो अलग-अलग तरीकों (तीसरे पक्ष की कुकी, बिना तीसरे पक्ष का कुकी डेटा, ARA और तीसरे पक्ष के तीसरे पक्ष का कुकी डेटा) का इस्तेमाल करके, इंप्रेशन के एक ही सेट पर एक साथ कन्वर्ज़न मेज़र किए जा सकते हैं.
- A/A एक्सपेरिमेंट, कन्वर्ज़न मेज़रमेंट पर Attribution Reporting API के असर को भी अलग करता है (उदाहरण के लिए, यह तीसरे पक्ष की कुकी की कमी की वजह से कन्वर्ज़न रेट में होने वाले किसी भी बदलाव से बचाता है).
विश्लेषण के लिए सुझाए गए पॉइंट
- ट्रैफ़िक का वह हिस्सा चुनें जो इतना बड़ा हो कि आपको आंकड़ों के हिसाब से अहम नतीजे मिल सकें. साथ ही, इसमें तीसरे पक्ष की कुकी और प्राइवसी सैंडबॉक्स एपीआई, दोनों मौजूद हों. आम तौर पर, यह मोड बी (जिससे तीसरे पक्ष की कुकी बंद हो जाती हैं) को छोड़कर बाकी पूरा ट्रैफ़िक.
- हमारा सुझाव है कि A/A एक्सपेरिमेंट से मोड B को बाहर रखें. ऐसा इसलिए, क्योंकि तीसरे पक्ष की कुकी उपलब्ध नहीं होंगी और तीसरे पक्ष की कुकी पर आधारित एट्रिब्यूशन के नतीजों से, ARA के नतीजों की तुलना नहीं की जा सकेगी.
- अगर आपको मोड B शामिल करना है, तो ट्रैफ़िक के मोड B वाले हिस्से के लिए डीबग रिपोर्ट चालू करें. डीबग रिपोर्ट से, आपको कॉन्फ़िगरेशन या लागू करने से जुड़ी समस्याओं को हल करने में मदद मिलेगी.
- अगर आपको ट्रैफ़िक के छोटे हिस्से पर टेस्ट करना है, तो हमें उम्मीद है कि आपको उम्मीद से ज़्यादा नतीजे मिलेंगे. हमारा सुझाव है कि आप अपने विश्लेषण में इस बात का ध्यान रखें कि ट्रैफ़िक के कितने हिस्से का इस्तेमाल किया गया है. साथ ही, यह भी बताएं कि नतीजों की रिपोर्टिंग, शोर वाली रिपोर्ट या बिना शोर वाली डीबग रिपोर्ट पर की जा रही है या नहीं.
- खास जानकारी वाली रिपोर्ट के लिए, आपके जवाब की वैल्यू कम हो सकती हैं. साथ ही, एग्रीगेशन सेवा, जवाब की वैल्यू चाहे जो भी हो, उसी डिस्ट्रिब्यूशन से गै़र-ज़रूरी डेटा जोड़ देगी.
- ट्रैफ़िक के उस हिस्से पर, मेज़रमेंट के अलग-अलग तरीकों की जांच करें
- कंट्रोल 1 - मेज़रमेंट के मौजूदा तरीकों का इस्तेमाल करें (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी का डेटा नहीं)
- (ज़रूरी नहीं) कंट्रोल 2 - प्राइवसी सैंडबॉक्स और तीसरे पक्ष की कोई कुकी नहीं. इसका मतलब है कि सिर्फ़ तीसरे पक्ष का कुकी डेटा नहीं है
- ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं - सबसे सटीक नतीजों के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए तीसरे पक्ष की उन कुकी का इस्तेमाल न करें
- ट्रीटमेंट - प्राइवसी सैंडबॉक्स के एपीआई और तीसरे पक्ष की कुकी का डेटा
- ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं - सबसे सटीक नतीजों के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए तीसरे पक्ष की उन कुकी का इस्तेमाल न करें
मेट्रिक
- तय करें कि आपके कारोबार के लिए नतीजों का आकलन करने के लिए, कौनसी मेट्रिक सबसे सही होंगी. साथ ही, मेट्रिक का मतलब और उसे मेज़र करने का तरीका भी बताएं.
- हमारा सुझाव है कि आप उन डाइमेंशन और मेट्रिक पर फ़ोकस करें जो आपके विज्ञापन देने वालों के लिए ज़रूरी हैं. उदाहरण के लिए, अगर विज्ञापन देने वाले लोग या कंपनियां परचेज़ कन्वर्ज़न पर फ़ोकस करती हैं, तो उनके लिए कन्वर्ज़न की संख्या और परचेज़ वैल्यू को मेज़र करें.
- हर कन्वर्ज़न की लागत (उदाहरण के लिए, हर कन्वर्ज़न की लागत) के बजाय, संख्या या कुल योग (उदाहरण के लिए, कन्वर्ज़न रेट) पर आधारित मेट्रिक के साथ काम करना ज़्यादा बेहतर होता है. A/A विश्लेषण के लिए, लागत मेट्रिक पूरी तरह से संख्या या कुल कन्वर्ज़न वैल्यू से ली जा सकती है.
- तय करें कि मेट्रिक, इवेंट-लेवल की रिपोर्ट, खास जानकारी या दोनों रिपोर्ट के कॉम्बिनेशन (और डीबग रिपोर्ट इस्तेमाल की गई थी या नहीं) पर आधारित हों.
- आंकड़ों वाले सुझाव को फ़ॉर्मैट करने के तरीके के बारे में दिशा-निर्देश पाने के लिए, सुझाई गई टेंप्लेट टेबल देखें.
विश्लेषण
- कवरेज:
- क्या तीसरे पक्ष की कुकी की तुलना में, उपयोगकर्ताओं के मिलते-जुलते सेट में उनकी परफ़ॉर्मेंस को मेज़र किया जा सकता है? क्या आपको ज़्यादा कवरेज दिखता है (उदाहरण के लिए, ऐप्लिकेशन-टू-वेब के साथ)?
- क्या आप ऐसे कन्वर्ज़न (और डाइमेंशन या मेट्रिक) माप पा रहे हैं जो आपके या आपके विज्ञापन देने वालों के लिए अहम हैं?
- आंकड़ों के बारे में सुझाव, शिकायत या राय
- उदाहरण के लिए, विज्ञापन देने वाले व्यक्ति या कंपनी की रिपोर्टिंग पर, यह पता लगाया जा सकता है कि उस विज्ञापन देने वाले के लिए कितने प्रतिशत कन्वर्ज़न
- उदाहरण के लिए, विज्ञापन देने वाले कुछ ऐसे लोग हैं जो आज रिपोर्टिंग के लिए, तीसरे पक्ष की कुकी पर ज़्यादा या कम निर्भर हैं?
- बिना आंकड़ों वाले अन्य सुझाव:
- ARA, विज्ञापन देने वालों के मेज़रमेंट/एट्रिब्यूशन सेटअप पर होने वाले असर पर कैसे असर डालता है?
- क्या ARA, विज्ञापन देने वालों को उनके लिए ज़रूरी मेट्रिक और लक्ष्यों पर फ़ोकस करने में मदद करता है या ऐसा करने में रुकावट डालता है?
असर की रिपोर्टिंग के लिए सुझाई गई टेंप्लेट टेबल
(रिपोर्टिंग) टेबल 1:
सीएमए में एक्सपेरिमेंट के नतीजों की रिपोर्ट करने के लिए, टेंप्लेट टेबल का उदाहरण (यह जानकारी पेज 18 से ली गई है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे काम की हैं या टेबल में ज़रूरत के मुताबिक बदलाव करने के लिहाज़ से सबसे काम की हैं).
|
ट्रीटमेंट बनाम कंट्रोल 1 सुझाई गई आखिरी स्थिति की तुलना मौजूदा स्थिति से करता है |
ट्रीटमेंट बनाम कंट्रोल 2 इसमें किसी पीएस एपीआई के बिना प्रोसेस होने की बताई गई स्थिति की तुलना की जाती है. |
कंट्रोल 2 बनाम कंट्रोल 1 यह फ़ंक्शन, किसी भी PS API के बिना, तीसरे पक्ष की कुकी के साथ और उसके बिना, कन्वर्ज़न मेज़रमेंट की तुलना करता है. |
|
| मेज़रमेंट का तरीका | इलाज के लिए, कन्वर्ज़न मेज़रमेंट (तीसरे पक्ष के कुकी डेटा के साथ एआरए) की तुलना, कंट्रोल 1 (तीसरे पक्ष की कुकी और तीसरे पक्ष के कुकी डेटा के साथ) से करना | ट्रीटमेंट के लिए कन्वर्ज़न मेज़रमेंट (तीसरे पक्ष के कुकी डेटा के साथ एआरए) की तुलना, कंट्रोल 2 (सिर्फ़ तीसरे पक्ष के कुकी डेटा के साथ) से करना | कंट्रोल 2 (सिर्फ़ तीसरे पक्ष के कुकी डेटा के लिए) के कन्वर्ज़न मेज़रमेंट की तुलना, कंट्रोल 1 (तीसरे पक्ष की कुकी और बिना तीसरे पक्ष के कुकी डेटा) से करना |
| हर डॉलर के हिसाब से कन्वर्ज़न | असर | असर | असर |
| मानक गड़बड़ी | मानक गड़बड़ी | मानक गड़बड़ी | |
| 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | |
| कुल कन्वर्ज़न | असर | असर | असर |
| मानक गड़बड़ी | मानक गड़बड़ी | मानक गड़बड़ी | |
| 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | |
| कन्वर्ज़न रेट | असर | असर | असर |
| मानक गड़बड़ी | मानक गड़बड़ी | मानक गड़बड़ी | |
| 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | |
| (अपनी मेट्रिक जोड़ना) |
(रिपोर्टिंग) टेबल 2:
ट्रीटमेंट और कंट्रोल ग्रुप की मेट्रिक के ब्यौरे से जुड़े आंकड़ों की रिपोर्ट देने के लिए, टेंप्लेट टेबल का उदाहरण (इसे पेज 20 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे ज़्यादा काम की हैं / कौनसी मेट्रिक देना आसान है और कौनसी टेबल को ज़रूरत के मुताबिक ढाला जा सकता है).
| मेट्रिक | ट्रीटमेंट
ARA और तीसरे पक्ष के ऐसे किसी कुकी डेटा का इस्तेमाल करके कन्वर्ज़न मेज़रमेंट जिसका इस्तेमाल किया जाता है |
कंट्रोल 1
तीसरे पक्ष की कुकी और इस्तेमाल किए जा रहे तीसरे पक्ष के कुकी डेटा का इस्तेमाल करके, कन्वर्ज़न मेज़रमेंट |
कंट्रोल 2
सिर्फ़ तीसरे पक्ष के कुकी डेटा का इस्तेमाल करके कन्वर्ज़न मेज़रमेंट |
| हर डॉलर के हिसाब से कन्वर्ज़न | मध्यमान | मध्यमान | मध्यमान |
| स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | |
| 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | |
| कुल कन्वर्ज़न | मध्यमान | मध्यमान | मध्यमान |
| स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | |
| 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | |
| कन्वर्ज़न रेट | मध्यमान | मध्यमान | मध्यमान |
| स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | |
| 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | |
| (अपनी मेट्रिक जोड़ना) |
लक्ष्य 2 - बिडिंग ऑप्टिमाइज़ेशन के लिए Attribution Reporting API के असर का पता लगाना
हम A/B सेटअप का सुझाव देते हैं, ताकि बिडिंग ऑप्टिमाइज़ेशन पर होने वाले असर को मेज़र किया जा सके.
- बिडिंग ऑप्टिमाइज़ेशन के असर का आकलन करने के लिए, आपको दो अलग-अलग मशीन लर्निंग मॉडल को ट्रेनिंग देनी होगी. साथ ही, ट्रैफ़िक के दो हिस्सों पर उनका इस्तेमाल करना होगा. एक मॉडल, मेज़रमेंट के मौजूदा तरीकों (तीसरे पक्ष की कुकी + बिना तीसरे पक्ष का कुकी डेटा) के आधार पर तैयार किया गया है, ताकि उसे कंट्रोल ग्रुप में लागू किया जा सके. साथ ही, एक मॉडल को Attribution Reporting API + बिना तीसरे पक्ष के कुकी डेटा का इस्तेमाल करके तैयार किया गया, ताकि ट्रीटमेंट ग्रुप में लागू किया जा सके.
- मॉडल ट्रेनिंग, परफ़ॉर्मेंस को बेहतर बनाने के लिए, टेस्टर के हिसाब से ज़रूरी ट्रैफ़िक पर आधारित होनी चाहिए. भले ही, ट्रीटमेंट ग्रुप में ट्रैफ़िक का छोटा हिस्सा हो और ट्रेनिंग ग्रुप एक-दूसरे से ओवरलैप न हों. उदाहरण के लिए, सभी ट्रैफ़िक पर ट्रेनिंग देने वाले तीसरे पक्ष के मौजूदा कुकी मॉडल का इस्तेमाल करना और लक्ष्य 1 के लिए चालू किए गए सभी ARA ट्रैफ़िक पर ARA मॉडल को ट्रेनिंग देना.
- CMA को नतीजे सबमिट करते समय, ध्यान रखें कि अलग-अलग मॉडल की ट्रेनिंग के लिए इस्तेमाल किए जाने वाले ट्रैफ़िक स्लाइस के बीच कोई बड़ा अंतर है या नहीं. उदाहरण के लिए, तीसरे पक्ष के कुकी पर आधारित मॉडल को 100% ट्रैफ़िक के लिए ट्रेनिंग दी गई हो, लेकिन ARA पर आधारित मॉडल को सिर्फ़ 1% ट्रैफ़िक के लिए ट्रेनिंग दी गई हो.
- अगर हो सके, तो ट्रीटमेंट और कंट्रोल बिडिंग मॉडल, दोनों की ट्रेनिंग में लगने वाला समय समान होना चाहिए.
- इस बारे में सोचें कि प्रयोग के दौरान, आपको बिडिंग मॉडल को लगातार ट्रेनिंग और अपडेट करना चाहिए या नहीं. अगर ऐसा किया जाता है, तो ज़्यादा से ज़्यादा ट्रैफ़िक पर ट्रेनिंग करनी चाहिए या सिर्फ़ ट्रीटमेंट और कंट्रोल ग्रुप से मिलने वाले ट्रैफ़िक पर ट्रेनिंग करनी चाहिए.
- A/B प्रयोग के तौर पर, अलग-अलग मॉडल का इस्तेमाल ट्रैफ़िक के अलग-अलग हिस्सों पर किया जाना चाहिए. हमारा सुझाव है कि ट्रीटमेंट और कंट्रोल ग्रुप में, उपयोगकर्ताओं को किसी भी क्रम में लगाने और असाइनमेंट करने के लिए, Chrome की सुविधा वाले लेबल किए गए ब्राउज़र ग्रुप (मोड A) का इस्तेमाल करें. इसके अलावा, किसी भी क्रम में लगे अलग-अलग ब्राउज़र ग्रुप के साथ अपना प्रयोग चलाने का सुझाव दिया जाता है. हम मोड B का इस्तेमाल करने का सुझाव नहीं देते. ऐसा इसलिए, क्योंकि तीसरे पक्ष की कुकी की कमी से, कन्वर्ज़न के आधार पर मेट्रिक रिपोर्ट करना मुश्किल हो जाएगा.
- Chrome की सुविधा वाले ब्राउज़र ग्रुप में, Chrome के कुछ इंस्टेंस शामिल नहीं होंगे, जैसे कि Enterprise Chrome के उपयोगकर्ता. हालांकि, ऐसा हो सकता है कि आपके अपने रैंडम तरीके से बनाए गए ब्राउज़र के ग्रुप, Chrome के इन इंस्टेंस को बाहर न रख पाएं. इसलिए, आपको अपना प्रयोग सिर्फ़ मोड A ग्रुप पर या सिर्फ़ ऐसे ग्रुप पर चलाना चाहिए जो मोड A/मोड B न हो. इससे, आपको Chrome की सुविधा वाले ग्रुप से मिली मेट्रिक की तुलना, Chrome की सुविधा वाले ग्रुप से बाहर की मेट्रिक से करनी चाहिए.
- अगर Chrome की सुविधा वाले लेबल किए गए ब्राउज़र ग्रुप इस्तेमाल नहीं किए जा रहे हैं, तो उदाहरण के लिए, अन्य ट्रैफ़िक पर एक्सपेरिमेंट चलाना:
- पक्का करें कि उपयोगकर्ताओं का व्यवहार और कंट्रोल किसी भी क्रम में हो और वे निष्पक्ष हों. एक्सपेरिमेंट ग्रुप सेटअप चाहे जो भी हो, ट्रीटमेंट और कंट्रोल ग्रुप की विशेषताओं का आकलन करें, ताकि यह पक्का किया जा सके कि ट्रीटमेंट और कंट्रोल ग्रुप की तुलना की जा सकती है. (देखें: सेक्शन 15)
- पक्का करें कि ट्रीटमेंट और कंट्रोल ग्रुप की उपयोगकर्ता विशेषताएं और कैंपेन कॉन्फ़िगरेशन एक जैसे हों. उदाहरण के लिए, ट्रीटमेंट और कंट्रोल ग्रुप, दोनों में एक जैसी भौगोलिक स्थिति का इस्तेमाल करें. (सेक्शन 28 देखें)
- खास उदाहरणों में ये शामिल हैं: पक्का करें कि मिलते-जुलते कन्वर्ज़न टाइप को एक ही एट्रिब्यूशन विंडो और एक ही एट्रिब्यूशन लॉजिक का इस्तेमाल करके मेज़र किया जा रहा हो. साथ ही, कैंपेन, मिलती-जुलती ऑडियंस, दिलचस्पी वाले ग्रुप, और भौगोलिक जगहों को टारगेट कर रहे हों. साथ ही, वे मिलते-जुलते विज्ञापन कॉपी और विज्ञापन फ़ॉर्मैट का इस्तेमाल कर रहे हों.
- पक्का करें कि ट्रीटमेंट और कंट्रोल ग्रुप के लिए, शुरुआती जनसंख्या का साइज़ इतना बड़ा हो कि बिडिंग और एक्सपेरिमेंट में आसानी हो.
- अगर Chrome की सुविधा वाले लेबल किए गए ब्राउज़र ग्रुप (मोड A) का इस्तेमाल किया जा रहा है, तो Chrome ब्राउज़र के इंस्टेंस को ग्रुप में किसी भी क्रम में लगाने का काम Chrome मैनेज करता है. हमारा सुझाव है कि आप पहले की तरह इस बात की जांच कर लें कि किसी भी क्रम में लगाने पर, आपके मकसद के हिसाब से निष्पक्ष / तुलना किए जा सकने वाले ग्रुप मिल सकें.
विश्लेषण के लिए सुझाए गए पॉइंट
- हमारा सुझाव है कि आप कंट्रोल और ट्रीटमेंट ग्रुप तय करें. साथ ही, हर ग्रुप के लिए बिडिंग ऑप्टिमाइज़ेशन के लिए, एक अलग मशीन लर्निंग मॉडल का इस्तेमाल करें:
- कंट्रोल 1 - मेज़रमेंट के मौजूदा तरीकों के हिसाब से तैयार किए गए बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें (तीसरे पक्ष की कुकी + तीसरे पक्ष के गैर-तीसरे पक्ष का कुकी डेटा)
- (ज़रूरी नहीं) कंट्रोल 2 - बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें, जिसे प्राइवसी सैंडबॉक्स और तीसरे पक्ष की कुकी के बिना तैयार किया गया है. इसमें तीसरे पक्ष का सिर्फ़ बिना कुकी का डेटा शामिल है
- ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं. सबसे सटीक नतीजों के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए तीसरे पक्ष की उन कुकी का इस्तेमाल न करें.
- ट्रीटमेंट - एट्रिब्यूशन रिपोर्टिंग एपीआई और तीसरे पक्ष के गैर-तीसरे पक्ष की कुकी के डेटा के लिए ट्रेनिंग वाले बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें
- ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं. सबसे सटीक नतीजों के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए तीसरे पक्ष की उन कुकी का इस्तेमाल न करें.
मेट्रिक
- तय करें कि आपके कारोबार के लिए नतीजों का आकलन करने के लिए, कौनसी मेट्रिक सबसे सही होंगी. साथ ही, मेट्रिक का मतलब और उसे मेज़र करने का तरीका भी बताएं.
- उदाहरण के लिए, काम की मेट्रिक, खर्च (पब्लिशर का रेवेन्यू) हो सकती है. यह सीएमए के दिशा-निर्देशों के मुताबिक होती है. इससे, "हर इंप्रेशन पर रेवेन्यू" पर तीसरे पक्ष की कुकी का इस्तेमाल बंद होने की वजह से पड़ने वाले असर को समझने में मदद मिलती है. ज़्यादा जानकारी के लिए सेक्शन 19 देखें.
- किसी कन्वर्ज़न पर आधारित मेट्रिक की रिपोर्टिंग करते समय, आपको हर ग्रुप के लिए एक ही मेज़रमेंट का तरीका इस्तेमाल करना चाहिए, ताकि मल्टीवेरिएट (एक साथ कई वैरिएंट आज़माना) टेस्टिंग से बचा जा सके. इसका मतलब है कि एक ही प्रयोग में, ऑप्टिमाइज़ेशन और रिपोर्टिंग पर पड़ने वाले असर की जांच की जा सकती है. आंकड़ों वाले सुझाव को फ़ॉर्मैट करने के तरीके के बारे में दिशा-निर्देश पाने के लिए, सुझाई गई टेंप्लेट टेबल देखें.
- बिडिंग के ऑप्टिमाइज़ेशन के असर से जुड़ी मेट्रिक इकट्ठा करने के अन्य तरीकों पर विचार करें - उदाहरण के लिए, बिड सिम्युलेट करना. क्या कोई ऐसी सिम्युलेटेड मेट्रिक है जिससे आपके बिडिंग मॉडल पर, तीसरे पक्ष की कुकी और ARA के असर को समझने में मदद मिल सकती है?
- तय करें कि मेट्रिक, इवेंट-लेवल की रिपोर्ट, खास जानकारी या दोनों रिपोर्ट के कॉम्बिनेशन (और डीबग रिपोर्ट इस्तेमाल की गई थी या नहीं) पर आधारित हों.
विश्लेषण
- कवरेज:
- क्या तीसरे पक्ष की कुकी की तुलना में, उपयोगकर्ताओं के मिलते-जुलते सेट में उनकी परफ़ॉर्मेंस को मेज़र किया जा सकता है? क्या आपको कवरेज में कोई बदलाव दिख रहा है (उदाहरण के लिए, ऐप्लिकेशन-टू-वेब के साथ)?
- क्या आप ऐसे कन्वर्ज़न (और डाइमेंशन/मेट्रिक) माप पा रहे हैं जो आपके या आपके विज्ञापन देने वाले लोगों के लिए अहम हैं?
- दोनों ग्रुप के अंतर से इन चीज़ों पर क्या असर पड़ेगा:
- उदाहरण के लिए, विज्ञापन देने वाले व्यक्ति या कंपनी की रिपोर्टिंग के लिए, यह देखा जा सकता है कि कितने प्रतिशत मुख्य कन्वर्ज़न को रिपोर्ट किया जा सकता है.
- उदाहरण के लिए, ट्रेनिंग और ऑप्टिमाइज़ेशन, मॉडल की परफ़ॉर्मेंस पर अलग-अलग कन्वर्ज़न डेटा के असर को सिम्युलेट करते हैं.
- बिना आंकड़ों वाले अन्य सुझाव:
- ARA, विज्ञापन देने वालों की बिडिंग ऑप्टिमाइज़ेशन सेटअप की जटिलता पर कैसे असर डालता है?
- क्या ARA, विज्ञापन देने वालों को उनके लिए ज़रूरी मेट्रिक और लक्ष्यों पर फ़ोकस करने में मदद करता है या उन्हें ऐसा करने से रोकता है?
बिडिंग के असर के लिए सुझाई गई टेंप्लेट टेबल
(बिडिंग) टेबल 1:
प्रयोग के तौर पर मिले नतीजों की टेंप्लेट टेबल का उदाहरण, जिसे मार्केट में हिस्सा लेने वाले लोगों को सीएमए पर सबमिट करना चाहिए (इसे पेज 18 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे काम की हैं / कौनसी मेट्रिक देना आसान है और टेबल में ज़रूरत के मुताबिक बदलाव किए जा सकते हैं).
|
ट्रीटमेंट बनाम कंट्रोल 1 सुझाई गई आखिरी स्थिति की तुलना मौजूदा स्थिति से करता है |
ट्रीटमेंट बनाम कंट्रोल 2 इसमें किसी पीएस एपीआई के बिना प्रोसेस होने की बताई गई स्थिति की तुलना की जाती है. |
कंट्रोल 2 बनाम कंट्रोल 1 किसी भी PS API के बिना, तीसरे पक्ष की कुकी के साथ और उसके बिना, बिडिंग के ऑप्टिमाइज़ेशन की तुलना करता है. |
|
| मेज़रमेंट मेथडोलॉजी | मल्टीवेरिएट (एक साथ कई वैरिएंट आज़माना) टेस्टिंग से बचने के लिए, हर प्रयोग में दोनों ग्रुप के लिए कन्वर्ज़न पर आधारित मेट्रिक को मेज़र करने के लिए, तीसरे पक्ष की कुकी और तीसरे पक्ष के कुकी डेटा का इस्तेमाल करें. | ||
| हर इंप्रेशन पर मिलने वाला रेवेन्यू | असर | असर | असर |
| मानक गड़बड़ी | मानक गड़बड़ी | मानक गड़बड़ी | |
| 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | 95% कॉन्फ़िडेंस इंटरवल | |
| (अपनी मेट्रिक जोड़ना) | |||
(बिडिंग) टेबल 2:
ट्रीटमेंट और कंट्रोल ग्रुप की मेट्रिक के ब्यौरे से जुड़े आंकड़ों की रिपोर्ट देने के लिए, टेंप्लेट टेबल का उदाहरण (इसे पेज 20 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे ज़्यादा काम की हैं / कौनसी मेट्रिक देना आसान है और कौनसी टेबल को ज़रूरत के मुताबिक ढाला जा सकता है).
|
ट्रीटमेंट ARA और तीसरे पक्ष के ऐसे कुकी डेटा का इस्तेमाल करके बिडिंग को ऑप्टिमाइज़ करना जिसका इस्तेमाल किया जाता है |
कंट्रोल 1 तीसरे पक्ष की कुकी और इस्तेमाल किए जा रहे तीसरे पक्ष के कुकी डेटा का इस्तेमाल करके, बिडिंग ऑप्टिमाइज़ेशन |
कंट्रोल 2 सिर्फ़ तीसरे पक्ष के कुकी डेटा का इस्तेमाल करके बिडिंग ऑप्टिमाइज़ेशन |
|
| मेज़रमेंट मेथडोलॉजी | मल्टीवेरिएट (एक साथ कई वैरिएंट आज़माना) टेस्टिंग से बचने के लिए, सभी ग्रुप में कन्वर्ज़न पर आधारित मेट्रिक को मेज़र करने के लिए, तीसरे पक्ष की कुकी और तीसरे पक्ष के कुकी डेटा का इस्तेमाल करें. | ||
| हर इंप्रेशन पर मिलने वाला रेवेन्यू | मध्यमान | मध्यमान | मध्यमान |
| स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | स्टैंडर्ड डेविएशन | |
| 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | 25वां और 75वां पर्सेंटाइल | |
| (अपनी मेट्रिक जोड़ना) | |||