এই গাইডের লক্ষ্য হল গোপনীয়তা স্যান্ডবক্স অ্যাট্রিবিউশন রিপোর্টিং API-এর স্বতন্ত্র পরীক্ষা চালানোর বিষয়ে নির্দেশিকা প্রদান করা। আরো বিস্তারিত জানার জন্য, দেখুন: বিভাগ 12 ।
- CMA-এর পরীক্ষামূলক ডিজাইন 1 এবং 2-এ নিয়ন্ত্রণ এবং চিকিত্সার ফলাফলের পরিমাপ প্রাসঙ্গিক এপিআই পরীক্ষার নির্দেশিকাতে আচ্ছাদিত, যেহেতু সেই পরীক্ষাগুলির লক্ষ্য হল সুরক্ষিত শ্রোতা এবং বিষয়গুলি ব্যবহার করার কার্যকারিতা পরীক্ষা করা। আরো বিস্তারিত জানার জন্য, বিভাগ 11 দেখুন।
তুমি শুরু করার আগে
- অ্যাট্রিবিউশন রিপোর্টিং এপিআই কনফিগার এবং সেট আপ করার বিষয়ে নির্দেশনার জন্য পর্যালোচনা করুন।
- CMA পরীক্ষার নির্দেশিকা পর্যালোচনা করুন: পরীক্ষামূলক নোট (নভেম্বর 2022), পরীক্ষার নির্দেশিকা (জুন 2023) এবং অতিরিক্ত পরীক্ষার নির্দেশিকা (অক্টোবর 2023)।
মূল্যায়ন লক্ষ্য এবং প্রস্তাবিত পরীক্ষা সেটআপ
লক্ষ্য 1 - প্রতিবেদনের জন্য অ্যাট্রিবিউশন রিপোর্টিং API-এর কার্যকারিতা নির্ধারণ করা
প্রতিবেদনে প্রভাব পরিমাপ করার জন্য আমরা একটি A/A সেটআপ প্রস্তাব করি
- এই প্রস্তাবটি রূপান্তর-ভিত্তিক মেট্রিক্সের মূল্যায়নের উপর CMA নির্দেশিকা অনুসারে সারিবদ্ধ। আরো বিস্তারিত জানার জন্য, বিভাগ 21 এবং 12 বিভাগ দেখুন।
- আমরা মোড A/B এর চেয়ে এই পদ্ধতিটি পছন্দ করি কারণ অ্যাট্রিবিউশন রিপোর্টিং API (ARA) পরীক্ষা করা একই সাথে দুটি ভিন্ন পরিমাপ পদ্ধতি ব্যবহার করে ইম্প্রেশনের একই সেটে রূপান্তর পরিমাপ করে করা যেতে পারে (তৃতীয়-পক্ষ কুকি + নন-থার্ড-পার্টি কুকি ডেটা এবং ARA + নন-থার্ড-পার্টি কুকি ডেটা)।
- একটি A/A পরীক্ষা রূপান্তর পরিমাপের উপর অ্যাট্রিবিউশন রিপোর্টিং API-এর প্রভাবকেও বিচ্ছিন্ন করে (উদাহরণস্বরূপ, এটি তৃতীয় পক্ষের কুকির অভাবের কারণে রূপান্তর হারে কোনো পরিবর্তন এড়ায়)।
বিশ্লেষণের প্রস্তাবিত পয়েন্ট
- ট্র্যাফিকের একটি স্লাইস বেছে নিন যা পরিসংখ্যানগত উল্লেখযোগ্য ফলাফল পেতে যথেষ্ট বড় এবং এতে তৃতীয় পক্ষের কুকি এবং গোপনীয়তা স্যান্ডবক্স API উভয়ই রয়েছে। আদর্শভাবে এটি সমস্ত ট্র্যাফিক, মোড বি ছাড়া (যা তৃতীয় পক্ষের কুকিজ নিষ্ক্রিয় করে)।
- আমরা A/A পরীক্ষা থেকে মোড B বাদ দেওয়ার পরামর্শ দিই, যেহেতু তৃতীয় পক্ষের কুকি পাওয়া যাবে না এবং আপনি তৃতীয় পক্ষের কুকি-ভিত্তিক অ্যাট্রিবিউশন ফলাফলের সাথে ARA ফলাফলের তুলনা করতে পারবেন না।
- আপনি যদি মোড বি অন্তর্ভুক্ত করতে চান, তাহলে আপনার ট্র্যাফিকের মোড বি স্লাইসের জন্য ডিবাগ রিপোর্ট সক্রিয় করার কথা বিবেচনা করা উচিত। ডিবাগ রিপোর্ট আপনাকে যেকোনো কনফিগারেশন বা বাস্তবায়নের সমস্যা সমাধানে সাহায্য করবে।
- আপনি যদি ট্র্যাফিকের একটি ছোট অংশে পরীক্ষা করার পরিকল্পনা করেন, আমরা আশা করি আপনি প্রত্যাশিত পরিমাপের ফলাফলের চেয়ে শোরগোল পাবেন৷ আমরা আপনার বিশ্লেষণে ট্র্যাফিকের কোন ভগ্নাংশ ব্যবহার করা হয়েছে এবং আপনি গোলমাল প্রতিবেদন বা অ-শব্দহীন ডিবাগ রিপোর্টের ভিত্তিতে ফলাফল প্রতিবেদন করছেন কিনা তা উল্লেখ করার পরামর্শ দিই।
- সারাংশ রিপোর্টের জন্য, আপনার সারাংশের মান সম্ভবত কম হবে, এবং সমষ্টি পরিষেবা সারাংশের মান নির্বিশেষে একই বিতরণ থেকে শব্দ যোগ করবে।
- ট্রাফিকের সেই স্লাইসে বিভিন্ন পরিমাপের পদ্ধতি পরীক্ষা করুন
- নিয়ন্ত্রণ 1 - বর্তমান পরিমাপ পদ্ধতি ব্যবহার করুন (তৃতীয়-পক্ষ কুকিজ + নন-থার্ড-পার্টি কুকিজ ডেটা)
- (ঐচ্ছিক) নিয়ন্ত্রণ 2 - কোন গোপনীয়তা স্যান্ডবক্স এবং কোন তৃতীয় পক্ষের কুকিজ নেই, অর্থাৎ শুধুমাত্র অ-তৃতীয়-পক্ষ কুকি ডেটা
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে - সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না
- চিকিত্সা - গোপনীয়তা স্যান্ডবক্স API এবং নন-থার্ড-পার্টি কুকিজ ডেটা
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে - সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না
মেট্রিক্স
- আপনার ব্যবসার ফলাফল পরিমাপ করার জন্য কোন মেট্রিকগুলি অর্থপূর্ণ তা নির্ধারণ করুন এবং মেট্রিকটির অর্থ কী এবং কীভাবে এটি পরিমাপ করা হচ্ছে তার একটি বিবরণ অন্তর্ভুক্ত করুন।
- আমরা আপনার বিজ্ঞাপনদাতাদের জন্য গুরুত্বপূর্ণ মাত্রা এবং মেট্রিক্সের উপর ফোকাস করার পরামর্শ দিই। উদাহরণস্বরূপ, যদি আপনার বিজ্ঞাপনদাতারা কেনাকাটার রূপান্তরগুলিতে ফোকাস করে, তবে সেগুলির জন্য রূপান্তর গণনা এবং ক্রয়ের মূল্য পরিমাপ করুন।
- গণনা বা যোগফলের (উদাহরণস্বরূপ, রূপান্তর হার) উপর ভিত্তি করে মেট্রিকগুলি প্রতি খরচের বিপরীতে কাজ করার জন্য আরও আদর্শ (উদাহরণস্বরূপ, প্রতি রূপান্তর খরচ)। A/A বিশ্লেষণের জন্য, খরচ মেট্রিক্স সম্পূর্ণরূপে গণনা বা সমষ্টি রূপান্তর মান থেকে প্রাপ্ত করা যেতে পারে।
- মেট্রিকগুলি ইভেন্ট-লেভেল রিপোর্ট, সারাংশ রিপোর্ট বা উভয় রিপোর্টের সংমিশ্রণের উপর ভিত্তি করে (এবং ডিবাগ রিপোর্ট ব্যবহার করা হয়েছে কিনা) তা নির্দিষ্ট করুন।
- কিভাবে পরিমাণগত প্রতিক্রিয়া ফর্ম্যাট করতে হয় তার নির্দেশিকা জন্য প্রস্তাবিত টেমপ্লেট টেবিল দেখুন।
বিশ্লেষণ
- কভারেজ:
- আপনি কি তৃতীয় পক্ষের কুকির তুলনায় ব্যবহারকারীদের একই সেট জুড়ে পরিমাপ করতে পারবেন? আপনি কি উচ্চ কভারেজ দেখতে পাচ্ছেন (উদাহরণস্বরূপ অ্যাপ-টু-ওয়েবের সাথে)?
- আপনি কি রূপান্তরগুলি (এবং মাত্রা বা মেট্রিক্স) পরিমাপ করতে পারবেন বা আপনার বিজ্ঞাপনদাতারা সবচেয়ে বেশি যত্নশীল?
- পরিমাণগত প্রতিক্রিয়া
- বিজ্ঞাপনদাতার প্রতিবেদনে, উদাহরণস্বরূপ, আপনি সেই বিজ্ঞাপনদাতার জন্য কত শতাংশ মূল রূপান্তর প্রতিবেদন করতে সক্ষম হবেন, বা কত শতাংশ প্রচারাভিযান রিপোর্টিং গুণমান বারের সাথে মিলিত হয় (একটি গুণমান বার প্রাপ্ত করা ছোট রূপান্তর গণনা সহ প্রচারাভিযানের জন্য সামঞ্জস্য করতে সহায়তা করে)
- বিজ্ঞাপনদাতা দ্বারা কাটা, উদাহরণস্বরূপ, কিছু বিজ্ঞাপনদাতা আছেন যারা আজ রিপোর্ট করার জন্য তৃতীয় পক্ষের কুকির উপর কমবেশি নির্ভরশীল?
- অন্যান্য গুণগত প্রতিক্রিয়া:
- কিভাবে ARA বিজ্ঞাপনদাতাদের পরিমাপ/অ্যাট্রিবিউশন সেটআপের জটিলতাকে প্রভাবিত করে?
- ARA কি বিজ্ঞাপনদাতাদের তাদের কাছে গুরুত্বপূর্ণ মেট্রিক এবং লক্ষ্যগুলিতে ফোকাস করতে সাহায্য করে বা বাধা দেয়?
প্রভাব রিপোর্ট করার জন্য প্রস্তাবিত টেমপ্লেট টেবিল
(রিপোর্টিং) টেবিল 1:
CMA-তে পরীক্ষামূলক ফলাফল রিপোর্ট করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 18 থেকে নেওয়া, কিন্তু পরীক্ষকদের বিবেচনা করা উচিত যে কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য সারণী প্রদান এবং প্রয়োজন অনুসারে মানিয়ে নেওয়ার জন্য)।
| চিকিত্সা বনাম নিয়ন্ত্রণ 1 বর্তমান অবস্থার সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে | চিকিত্সা বনাম নিয়ন্ত্রণ 2 কোনো PS API-এর সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে। | কন্ট্রোল 2 বনাম কন্ট্রোল 1 কোনো PS API ছাড়াই তৃতীয় পক্ষের কুকিজের সাথে এবং ছাড়া রূপান্তর পরিমাপের তুলনা করে। | |
| পরিমাপ পদ্ধতি | কন্ট্রোল 1 (তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা) এর সাথে চিকিত্সার জন্য রূপান্তর পরিমাপ (নন-থার্ড-পার্টি কুকি ডেটা সহ ARA) তুলনা করুন | কন্ট্রোল 2 (শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা) এর সাথে চিকিত্সার জন্য রূপান্তর পরিমাপের (নন-থার্ড-পার্টি কুকি ডেটা সহ ARA) তুলনা করুন | কন্ট্রোল 2 (শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা) কন্ট্রোল 1 (তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা) এর জন্য রূপান্তর পরিমাপের তুলনা করুন |
| ডলার প্রতি রূপান্তর | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| মোট রূপান্তর | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| রূপান্তর হার | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) |
(রিপোর্টিং) টেবিল 2:
চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীতে মেট্রিক্সের জন্য বর্ণনামূলক পরিসংখ্যান প্রতিবেদন করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 20 থেকে নেওয়া, কিন্তু পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য তা প্রয়োজন অনুসারে সরবরাহ করা এবং মানিয়ে নেওয়ার জন্য)।
| মেট্রিক | চিকিৎসা ARA এবং আপনার ব্যবহার করা যেকোনো নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে রূপান্তর পরিমাপ | নিয়ন্ত্রণ 1 থার্ড-পার্টি কুকিজ এবং আপনার ব্যবহার করা যেকোনো নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে রূপান্তর পরিমাপ | নিয়ন্ত্রণ 2 শুধুমাত্র অ-তৃতীয়-পক্ষ কুকি ডেটা ব্যবহার করে রূপান্তর পরিমাপ |
| ডলার প্রতি রূপান্তর | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| মোট রূপান্তর | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| রূপান্তর হার | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) |
লক্ষ্য 2 - বিডিং অপ্টিমাইজেশানের জন্য অ্যাট্রিবিউশন রিপোর্টিং API এর কার্যকারিতা নির্ধারণ করা
বিডিং অপ্টিমাইজেশানে প্রভাব পরিমাপ করার জন্য আমরা একটি A/B সেটআপ প্রস্তাব করি৷
- বিডিং অপ্টিমাইজেশানের প্রভাব পরিমাপ করতে, আপনাকে দুটি ভিন্ন মেশিন লার্নিং মডেলকে প্রশিক্ষণ দিতে হবে এবং ট্রাফিকের দুটি স্লাইসে সেগুলি ব্যবহার করতে হবে - একটি মডেল বর্তমান পরিমাপ পদ্ধতিতে প্রশিক্ষিত (তৃতীয়-পক্ষ কুকি + নন-থার্ড-পার্টি-কুকি ডেটা) হতে হবে। কন্ট্রোল বাহুতে প্রয়োগ করা হয়েছে এবং একটি মডেল অ্যাট্রিবিউশন রিপোর্টিং API + নন-থার্ড-পার্টি-কুকি ডেটা ট্রিটমেন্ট আর্মে প্রয়োগ করার জন্য প্রশিক্ষিত।
- মডেল প্রশিক্ষণটি কর্মক্ষমতা বাড়ানোর জন্য পরীক্ষকের যতটা প্রয়োজন মনে করে ততটা ট্রাফিকের উপর ভিত্তি করে হওয়া উচিত, এমনকি যদি চিকিত্সার হাতটি ট্র্যাফিকের একটি ছোট অংশ হয় এবং প্রশিক্ষণ জনসংখ্যার মধ্যে ওভারল্যাপ থাকে (উদাহরণস্বরূপ, বিদ্যমান তৃতীয় পক্ষের কুকি মডেল ব্যবহার করুন) যেটি সমস্ত ট্রাফিকের প্রশিক্ষণ, এবং লক্ষ্য 1 এর জন্য সক্ষম সমস্ত ARA ট্র্যাফিকের উপর ARA মডেলকে প্রশিক্ষণ দিন)।
- CMA-তে ফলাফল জমা দিলে, লক্ষ্য করুন যে বিভিন্ন মডেলের প্রশিক্ষণের জন্য ব্যবহৃত ট্রাফিক স্লাইসের মধ্যে উল্লেখযোগ্য পার্থক্য আছে কিনা (উদাহরণস্বরূপ, যদি তৃতীয় পক্ষের কুকি-ভিত্তিক মডেলগুলি 100% ট্র্যাফিকের উপর প্রশিক্ষিত হয় কিন্তু ARA-ভিত্তিক মডেলগুলি শুধুমাত্র প্রশিক্ষিত হয় ট্রাফিকের 1%)।
- যদি সম্ভব হয়, উভয় চিকিত্সা এবং নিয়ন্ত্রণ বিডিং মডেলের প্রশিক্ষণ একই সময়ের জন্য হওয়া উচিত।
- পরীক্ষা চলাকালীন আপনার বিডিং মডেলগুলিকে ক্রমাগত প্রশিক্ষণ দেওয়া এবং আপডেট করা উচিত কিনা তা বিবেচনা করুন এবং যদি আপনি তা করেন তবে আপনার যতটা সম্ভব ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া উচিত নাকি শুধুমাত্র চিকিত্সা এবং নিয়ন্ত্রণ অস্ত্র থেকে ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া উচিত।
- একটি A/B পরীক্ষা হিসাবে বিভিন্ন মডেলগুলি ট্র্যাফিকের বিচ্ছিন্ন স্লাইসে ব্যবহার করা উচিত। ট্রিটমেন্ট এবং কন্ট্রোল আর্মস জুড়ে ব্যবহারকারীর র্যান্ডমাইজেশন এবং অ্যাসাইনমেন্টের জন্য, আমরা ক্রোম-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপ ( মোড A ) ব্যবহার করার বা ব্রাউজারগুলির এলোমেলো সেটগুলির সাথে আপনার নিজস্ব পরীক্ষা চালানোর পরামর্শ দিই। আমরা মোড B ব্যবহার করার পরামর্শ দিই না কারণ তৃতীয় পক্ষের কুকির অভাব রূপান্তর-ভিত্তিক মেট্রিক্সে রিপোর্ট করা কঠিন করে তুলবে।
- Chrome-সুবিধাযুক্ত ব্রাউজার গ্রুপগুলি এন্টারপ্রাইজ ক্রোম ব্যবহারকারীদের মতো কিছু ক্রোম দৃষ্টান্ত বাদ দেবে, যেখানে আপনার নিজস্ব ব্রাউজারগুলির র্যান্ডমাইজ করা সেটগুলি এই Chrome দৃষ্টান্তগুলিকে বাদ দিতে পারে না৷ তাই, আপনার পরীক্ষা চালানো উচিত শুধুমাত্র মোড A গোষ্ঠীতে, অথবা শুধুমাত্র নন-মোড A/মোড B গ্রুপগুলিতে চালানো উচিত যাতে Chrome-সুবিধাযুক্ত গোষ্ঠীগুলিতে প্রাপ্ত মেট্রিক্সের সাথে Chrome-সুবিধাযুক্ত গোষ্ঠীগুলির বাইরে প্রাপ্ত মেট্রিকের তুলনা করা না হয়৷
- যদি Chrome-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপগুলি ব্যবহার না করেন (উদাহরণস্বরূপ, অন্যান্য ট্রাফিকের উপর পরীক্ষা চালানো):
- নিশ্চিত করুন যে ব্যবহারকারীদের চিকিত্সা এবং নিয়ন্ত্রণ বিভাজন এলোমেলো এবং নিরপেক্ষ। পরীক্ষার গ্রুপ সেটআপ নির্বিশেষে, চিকিত্সার বৈশিষ্ট্যগুলি মূল্যায়ন করুন এবং চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীগুলি তুলনাযোগ্য তা নিশ্চিত করতে অস্ত্র নিয়ন্ত্রণ করুন৷ (দেখুন: ধারা 15 )
- নিশ্চিত করুন যে ব্যবহারকারীর বৈশিষ্ট্য এবং চিকিত্সা এবং নিয়ন্ত্রণ গ্রুপগুলির প্রচারাভিযান কনফিগারেশন একই (উদাহরণস্বরূপ, চিকিত্সা এবং নিয়ন্ত্রণ উভয় গ্রুপেই একই জিও ব্যবহার করুন)। (দেখুন: ধারা 28 )
- নির্দিষ্ট উদাহরণগুলির মধ্যে রয়েছে: নিশ্চিত করুন যে অনুরূপ রূপান্তর প্রকারগুলি একই অ্যাট্রিবিউশন উইন্ডো এবং একই অ্যাট্রিবিউশন লজিক ব্যবহার করে পরিমাপ করা হচ্ছে, প্রচারাভিযানগুলি একই রকম দর্শক, আগ্রহের গোষ্ঠী এবং জিওসকে লক্ষ্য করে এবং অনুরূপ বিজ্ঞাপন অনুলিপি এবং বিজ্ঞাপন ফর্ম্যাটগুলি ব্যবহার করে৷
- নিশ্চিত করুন যে চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীগুলির জন্য প্রাথমিক জনসংখ্যার আকার বিডিং এবং পরীক্ষা-নিরীক্ষার জন্য নমনীয়তার জন্য যথেষ্ট বড়।
- ক্রোম-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গোষ্ঠীগুলি ব্যবহার করলে ( মোড A ), গোষ্ঠীগুলিতে Chrome ব্রাউজার দৃষ্টান্তগুলির র্যান্ডমাইজেশন Chrome দ্বারা পরিচালিত হয়৷ এটা বাঞ্ছনীয় যে আপনি আগের মতই চেক করুন যে র্যান্ডমাইজেশন আপনার উদ্দেশ্যে নিরপেক্ষ/তুলনীয় গোষ্ঠীতে পরিণত হয়।
বিশ্লেষণের প্রস্তাবিত পয়েন্ট
- আমরা কন্ট্রোল এবং ট্রিটমেন্ট আর্মসকে সংজ্ঞায়িত করার এবং প্রতিটি হাতের জন্য বিডিং অপ্টিমাইজেশনের জন্য আলাদা মেশিন লার্নিং মডেল ব্যবহার করার পরামর্শ দিই:
- নিয়ন্ত্রণ 1 - বর্তমান পরিমাপ পদ্ধতিতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশান মডেল ব্যবহার করুন (তৃতীয়-পক্ষ কুকি + নন-থার্ড-পার্টি কুকিজ ডেটা)
- (ঐচ্ছিক) কন্ট্রোল 2 - কোন গোপনীয়তা স্যান্ডবক্স এবং কোন তৃতীয় পক্ষের কুকিতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশান মডেল ব্যবহার করুন, অর্থাৎ শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে—সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না৷
- চিকিত্সা - অ্যাট্রিবিউশন রিপোর্টিং API এবং নন-থার্ড-পার্টি কুকিজ ডেটাতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশন মডেল ব্যবহার করুন
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে—সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না৷
মেট্রিক্স
- আপনার ব্যবসার ফলাফল পরিমাপ করার জন্য কোন মেট্রিকগুলি অর্থপূর্ণ তা নির্ধারণ করুন এবং মেট্রিকটির অর্থ কী এবং কীভাবে এটি পরিমাপ করা হচ্ছে তার একটি বিবরণ অন্তর্ভুক্ত করুন।
- উদাহরণ স্বরূপ, অর্থপূর্ণ মেট্রিক হতে পারে ব্যয় (প্রকাশকের রাজস্ব), যা "ইম্প্রেশন প্রতি আয়"-এর উপর তৃতীয় পক্ষের কুকি অবচয়নের প্রভাব বোঝার জন্য CMA-এর নির্দেশনার সাথে সারিবদ্ধ। আরও বিস্তারিত জানার জন্য বিভাগ 19 দেখুন।
- যদি কোনো রূপান্তর-ভিত্তিক মেট্রিক্সের উপর প্রতিবেদন করা হয়, তাহলে মাল্টিভেরিয়েট টেস্টিং (অপ্টিমাইজেশানের উপর প্রভাব পরীক্ষা করা এবং একটি পরীক্ষায় রিপোর্টিং) এড়াতে আপনার প্রতিটি হাতের জন্য একই পরিমাপ পদ্ধতি ব্যবহার করা উচিত। কিভাবে পরিমাণগত প্রতিক্রিয়া ফর্ম্যাট করতে হয় তার নির্দেশিকা জন্য প্রস্তাবিত টেমপ্লেট টেবিল দেখুন।
- বিডিং অপ্টিমাইজেশন প্রভাবের মেট্রিক্স সংগ্রহ করার অন্যান্য উপায় বিবেচনা করুন - উদাহরণস্বরূপ, সিমুলেটিং বিড ব্যবহার করে। আপনার বিডিং মডেলগুলিতে তৃতীয় পক্ষের কুকি এবং ARA-এর প্রভাব বোঝার জন্য উপযোগী কোনো সিমুলেটেড মেট্রিক আছে কি?
- মেট্রিকগুলি ইভেন্ট-লেভেল রিপোর্ট, সারাংশ রিপোর্ট বা উভয় রিপোর্টের সংমিশ্রণের উপর ভিত্তি করে (এবং ডিবাগ রিপোর্ট ব্যবহার করা হয়েছে কিনা) তা নির্দিষ্ট করুন।
বিশ্লেষণ
- কভারেজ:
- আপনি কি তৃতীয় পক্ষের কুকির তুলনায় ব্যবহারকারীদের একই সেট জুড়ে পরিমাপ করতে পারবেন? আপনি কি কভারেজের কোন পরিবর্তন দেখতে পাচ্ছেন (উদাহরণস্বরূপ অ্যাপ-টু-ওয়েব)?
- আপনি কি রূপান্তরগুলি (এবং মাত্রা/মেট্রিক্স) পরিমাপ করতে পারবেন, বা আপনার বিজ্ঞাপনদাতারা সবচেয়ে বেশি যত্নশীল?
- গোষ্ঠীগুলির মধ্যে পার্থক্যগুলি কীভাবে নিম্নলিখিতগুলিকে প্রভাবিত করবে:
- বিজ্ঞাপনদাতা রিপোর্টিং, উদাহরণস্বরূপ,. আপনি কত শতাংশ মূল রূপান্তর রিপোর্ট করতে সক্ষম হবেন।
- প্রশিক্ষণ এবং অপ্টিমাইজেশান, উদাহরণস্বরূপ, মডেল কর্মক্ষমতা উপর বিভিন্ন রূপান্তর তথ্য প্রভাব অনুকরণ.
- অন্যান্য গুণগত প্রতিক্রিয়া:
- কিভাবে ARA বিজ্ঞাপনদাতাদের বিডিং অপ্টিমাইজেশান সেটআপের জটিলতাকে প্রভাবিত করে?
- ARA কি বিজ্ঞাপনদাতাদের তাদের কাছে গুরুত্বপূর্ণ মেট্রিক এবং লক্ষ্যগুলিতে ফোকাস করতে সাহায্য করে বা বাধা দেয়?
বিডিং প্রভাবের জন্য প্রস্তাবিত টেমপ্লেট টেবিল
(বিডিং) টেবিল 1:
পরীক্ষামূলক ফলাফলের উদাহরণ টেমপ্লেট টেবিল যা বাজারের অংশগ্রহণকারীদের CMA-তে জমা দেওয়া উচিত ( পৃষ্ঠা 18 থেকে নেওয়া, তবে পরীক্ষকদের বিবেচনা করা উচিত যে কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য সারণীটি সরবরাহ করা এবং প্রয়োজন অনুসারে মানিয়ে নেওয়া)।
| চিকিত্সা বনাম নিয়ন্ত্রণ 1 বর্তমান অবস্থার সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে | চিকিত্সা বনাম নিয়ন্ত্রণ 2 কোনো PS API-এর সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে। | কন্ট্রোল 2 বনাম কন্ট্রোল 1 কোনো PS API ছাড়াই তৃতীয় পক্ষের কুকিজের সাথে এবং ছাড়া বিডিং অপ্টিমাইজেশনের তুলনা করে। | |
| পরিমাপ পদ্ধতি | মাল্টিভেরিয়েট টেস্টিং এড়াতে, প্রতিটি পরীক্ষায় উভয় হাতের জন্য রূপান্তর-ভিত্তিক মেট্রিক্স পরিমাপ করতে তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করুন। | ||
| ইম্প্রেশন প্রতি আয় | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) | |||
(বিডিং) টেবিল 2:
চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীতে মেট্রিক্সের জন্য বর্ণনামূলক পরিসংখ্যান প্রতিবেদন করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 20 থেকে নেওয়া, কিন্তু পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য তা প্রয়োজন অনুসারে সরবরাহ করা এবং মানিয়ে নেওয়ার জন্য)।
| চিকিৎসা ARA ব্যবহার করে বিডিং অপ্টিমাইজেশান এবং আপনার ব্যবহার করা যেকোনো নন-থার্ড-পার্টি কুকি ডেটা | নিয়ন্ত্রণ 1 থার্ড-পার্টি কুকিজ এবং যেকোন নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে বিডিং অপ্টিমাইজেশন | নিয়ন্ত্রণ 2 শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে বিডিং অপ্টিমাইজেশন | |
| পরিমাপ পদ্ধতি | মাল্টিভেরিয়েট টেস্টিং এড়াতে, সমস্ত বাহু জুড়ে রূপান্তর-ভিত্তিক মেট্রিক্স পরিমাপ করতে তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করুন। | ||
| ইম্প্রেশন প্রতি আয় | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) | |||
লক্ষ্য 3 - সমষ্টি পরিষেবা লোড পরীক্ষা করা
এগ্রিগেশন সার্ভিস লোড টেস্টিং ফ্রেমওয়ার্ক দেখুন।
,এই গাইডের লক্ষ্য হল গোপনীয়তা স্যান্ডবক্স অ্যাট্রিবিউশন রিপোর্টিং API-এর স্বতন্ত্র পরীক্ষা চালানোর বিষয়ে নির্দেশিকা প্রদান করা। আরো বিস্তারিত জানার জন্য, দেখুন: বিভাগ 12 ।
- CMA-এর পরীক্ষামূলক ডিজাইন 1 এবং 2-এ নিয়ন্ত্রণ এবং চিকিত্সার ফলাফলের পরিমাপ প্রাসঙ্গিক এপিআই পরীক্ষার নির্দেশিকাতে আচ্ছাদিত, যেহেতু সেই পরীক্ষাগুলির লক্ষ্য হল সুরক্ষিত শ্রোতা এবং বিষয়গুলি ব্যবহার করার কার্যকারিতা পরীক্ষা করা। আরো বিস্তারিত জানার জন্য, বিভাগ 11 দেখুন।
তুমি শুরু করার আগে
- অ্যাট্রিবিউশন রিপোর্টিং এপিআই কনফিগার এবং সেট আপ করার বিষয়ে নির্দেশনার জন্য পর্যালোচনা করুন।
- CMA পরীক্ষার নির্দেশিকা পর্যালোচনা করুন: পরীক্ষামূলক নোট (নভেম্বর 2022), পরীক্ষার নির্দেশিকা (জুন 2023) এবং অতিরিক্ত পরীক্ষার নির্দেশিকা (অক্টোবর 2023)।
মূল্যায়ন লক্ষ্য এবং প্রস্তাবিত পরীক্ষা সেটআপ
লক্ষ্য 1 - প্রতিবেদনের জন্য অ্যাট্রিবিউশন রিপোর্টিং API-এর কার্যকারিতা নির্ধারণ করা
প্রতিবেদনে প্রভাব পরিমাপ করার জন্য আমরা একটি A/A সেটআপ প্রস্তাব করি
- এই প্রস্তাবটি রূপান্তর-ভিত্তিক মেট্রিক্সের মূল্যায়নের উপর CMA নির্দেশিকা অনুসারে সারিবদ্ধ। আরো বিস্তারিত জানার জন্য, বিভাগ 21 এবং 12 বিভাগ দেখুন।
- আমরা মোড A/B এর চেয়ে এই পদ্ধতিটি পছন্দ করি কারণ অ্যাট্রিবিউশন রিপোর্টিং API (ARA) পরীক্ষা করা একই সাথে দুটি ভিন্ন পরিমাপ পদ্ধতি ব্যবহার করে ইম্প্রেশনের একই সেটে রূপান্তর পরিমাপ করে করা যেতে পারে (তৃতীয়-পক্ষ কুকি + নন-থার্ড-পার্টি কুকি ডেটা এবং ARA + নন-থার্ড-পার্টি কুকি ডেটা)।
- একটি A/A পরীক্ষা রূপান্তর পরিমাপের উপর অ্যাট্রিবিউশন রিপোর্টিং API-এর প্রভাবকেও বিচ্ছিন্ন করে (উদাহরণস্বরূপ, এটি তৃতীয় পক্ষের কুকির অভাবের কারণে রূপান্তর হারে কোনো পরিবর্তন এড়ায়)।
বিশ্লেষণের প্রস্তাবিত পয়েন্ট
- ট্র্যাফিকের একটি স্লাইস বেছে নিন যা পরিসংখ্যানগত উল্লেখযোগ্য ফলাফল পেতে যথেষ্ট বড় এবং এতে তৃতীয় পক্ষের কুকি এবং গোপনীয়তা স্যান্ডবক্স API উভয়ই রয়েছে। আদর্শভাবে এটি সমস্ত ট্র্যাফিক, মোড বি ছাড়া (যা তৃতীয় পক্ষের কুকিজ নিষ্ক্রিয় করে)।
- আমরা A/A পরীক্ষা থেকে মোড B বাদ দেওয়ার পরামর্শ দিই, যেহেতু তৃতীয় পক্ষের কুকি পাওয়া যাবে না এবং আপনি তৃতীয় পক্ষের কুকি-ভিত্তিক অ্যাট্রিবিউশন ফলাফলের সাথে ARA ফলাফলের তুলনা করতে পারবেন না।
- আপনি যদি মোড বি অন্তর্ভুক্ত করতে চান, তাহলে আপনার ট্র্যাফিকের মোড বি স্লাইসের জন্য ডিবাগ রিপোর্ট সক্রিয় করার কথা বিবেচনা করা উচিত। ডিবাগ রিপোর্ট আপনাকে যেকোনো কনফিগারেশন বা বাস্তবায়নের সমস্যা সমাধানে সাহায্য করবে।
- আপনি যদি ট্র্যাফিকের একটি ছোট অংশে পরীক্ষা করার পরিকল্পনা করেন, আমরা আশা করি আপনি প্রত্যাশিত পরিমাপের ফলাফলের চেয়ে শোরগোল পাবেন৷ আমরা আপনার বিশ্লেষণে ট্র্যাফিকের কোন ভগ্নাংশ ব্যবহার করা হয়েছে এবং আপনি গোলমাল প্রতিবেদন বা অ-শব্দহীন ডিবাগ রিপোর্টের ভিত্তিতে ফলাফল প্রতিবেদন করছেন কিনা তা উল্লেখ করার পরামর্শ দিই।
- সারাংশ রিপোর্টের জন্য, আপনার সারাংশের মান সম্ভবত কম হবে, এবং সমষ্টি পরিষেবা সারাংশের মান নির্বিশেষে একই বিতরণ থেকে শব্দ যোগ করবে।
- ট্রাফিকের সেই স্লাইসে বিভিন্ন পরিমাপের পদ্ধতি পরীক্ষা করুন
- নিয়ন্ত্রণ 1 - বর্তমান পরিমাপ পদ্ধতি ব্যবহার করুন (তৃতীয়-পক্ষ কুকিজ + নন-থার্ড-পার্টি কুকিজ ডেটা)
- (ঐচ্ছিক) নিয়ন্ত্রণ 2 - কোন গোপনীয়তা স্যান্ডবক্স এবং কোন তৃতীয় পক্ষের কুকিজ নেই, অর্থাৎ শুধুমাত্র অ-তৃতীয়-পক্ষ কুকি ডেটা
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে - সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না
- চিকিত্সা - গোপনীয়তা স্যান্ডবক্স API এবং নন-থার্ড-পার্টি কুকিজ ডেটা
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে - সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না
মেট্রিক্স
- আপনার ব্যবসার ফলাফল পরিমাপ করার জন্য কোন মেট্রিকগুলি অর্থপূর্ণ তা নির্ধারণ করুন এবং মেট্রিকটির অর্থ কী এবং কীভাবে এটি পরিমাপ করা হচ্ছে তার একটি বিবরণ অন্তর্ভুক্ত করুন।
- আমরা আপনার বিজ্ঞাপনদাতাদের জন্য গুরুত্বপূর্ণ মাত্রা এবং মেট্রিক্সের উপর ফোকাস করার পরামর্শ দিই। উদাহরণস্বরূপ, যদি আপনার বিজ্ঞাপনদাতারা কেনাকাটার রূপান্তরগুলিতে ফোকাস করে, তবে সেগুলির জন্য রূপান্তর গণনা এবং ক্রয়ের মূল্য পরিমাপ করুন।
- গণনা বা যোগফলের (উদাহরণস্বরূপ, রূপান্তর হার) উপর ভিত্তি করে মেট্রিকগুলি প্রতি খরচের বিপরীতে কাজ করার জন্য আরও আদর্শ (উদাহরণস্বরূপ, প্রতি রূপান্তর খরচ)। A/A বিশ্লেষণের জন্য, খরচ মেট্রিক্স সম্পূর্ণরূপে গণনা বা সমষ্টি রূপান্তর মান থেকে প্রাপ্ত করা যেতে পারে।
- মেট্রিকগুলি ইভেন্ট-লেভেল রিপোর্ট, সারাংশ রিপোর্ট বা উভয় রিপোর্টের সংমিশ্রণের উপর ভিত্তি করে (এবং ডিবাগ রিপোর্ট ব্যবহার করা হয়েছে কিনা) তা নির্দিষ্ট করুন।
- কিভাবে পরিমাণগত প্রতিক্রিয়া ফর্ম্যাট করতে হয় তার নির্দেশিকা জন্য প্রস্তাবিত টেমপ্লেট টেবিল দেখুন।
বিশ্লেষণ
- কভারেজ:
- আপনি কি তৃতীয় পক্ষের কুকির তুলনায় ব্যবহারকারীদের একই সেট জুড়ে পরিমাপ করতে পারবেন? আপনি কি উচ্চ কভারেজ দেখতে পাচ্ছেন (উদাহরণস্বরূপ অ্যাপ-টু-ওয়েবের সাথে)?
- আপনি কি রূপান্তরগুলি (এবং মাত্রা বা মেট্রিক্স) পরিমাপ করতে পারবেন বা আপনার বিজ্ঞাপনদাতারা সবচেয়ে বেশি যত্নশীল?
- পরিমাণগত প্রতিক্রিয়া
- বিজ্ঞাপনদাতার প্রতিবেদনে, উদাহরণস্বরূপ, আপনি সেই বিজ্ঞাপনদাতার জন্য কত শতাংশ মূল রূপান্তর প্রতিবেদন করতে সক্ষম হবেন, বা কত শতাংশ প্রচারাভিযান রিপোর্টিং গুণমান বারের সাথে মিলিত হয় (একটি গুণমান বার প্রাপ্ত করা ছোট রূপান্তর গণনা সহ প্রচারাভিযানের জন্য সামঞ্জস্য করতে সহায়তা করে)
- বিজ্ঞাপনদাতা দ্বারা কাটা, উদাহরণস্বরূপ, কিছু বিজ্ঞাপনদাতা আছেন যারা আজ রিপোর্ট করার জন্য তৃতীয় পক্ষের কুকির উপর কমবেশি নির্ভরশীল?
- অন্যান্য গুণগত প্রতিক্রিয়া:
- কিভাবে ARA বিজ্ঞাপনদাতাদের পরিমাপ/অ্যাট্রিবিউশন সেটআপের জটিলতাকে প্রভাবিত করে?
- ARA কি বিজ্ঞাপনদাতাদের তাদের কাছে গুরুত্বপূর্ণ মেট্রিক এবং লক্ষ্যগুলিতে ফোকাস করতে সাহায্য করে বা বাধা দেয়?
প্রভাব রিপোর্ট করার জন্য প্রস্তাবিত টেমপ্লেট টেবিল
(রিপোর্টিং) টেবিল 1:
CMA-তে পরীক্ষামূলক ফলাফল রিপোর্ট করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 18 থেকে নেওয়া, কিন্তু পরীক্ষকদের বিবেচনা করা উচিত যে কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য সারণী প্রদান এবং প্রয়োজন অনুসারে মানিয়ে নেওয়ার জন্য)।
| চিকিত্সা বনাম নিয়ন্ত্রণ 1 বর্তমান অবস্থার সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে | চিকিত্সা বনাম নিয়ন্ত্রণ 2 কোনো PS API-এর সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে। | কন্ট্রোল 2 বনাম কন্ট্রোল 1 কোনো PS API ছাড়াই তৃতীয় পক্ষের কুকিজের সাথে এবং ছাড়া রূপান্তর পরিমাপের তুলনা করে। | |
| পরিমাপ পদ্ধতি | কন্ট্রোল 1 (তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা) এর সাথে চিকিত্সার জন্য রূপান্তর পরিমাপ (নন-থার্ড-পার্টি কুকি ডেটা সহ ARA) তুলনা করুন | কন্ট্রোল 2 (শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা) এর সাথে চিকিত্সার জন্য রূপান্তর পরিমাপের (নন-থার্ড-পার্টি কুকি ডেটা সহ ARA) তুলনা করুন | কন্ট্রোল 2 (শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা) কন্ট্রোল 1 (তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা) এর জন্য রূপান্তর পরিমাপের তুলনা করুন |
| ডলার প্রতি রূপান্তর | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| মোট রূপান্তর | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| রূপান্তর হার | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) |
(রিপোর্টিং) টেবিল 2:
চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীতে মেট্রিক্সের জন্য বর্ণনামূলক পরিসংখ্যান প্রতিবেদন করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 20 থেকে নেওয়া, কিন্তু পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য তা প্রয়োজন অনুসারে সরবরাহ করা এবং মানিয়ে নেওয়ার জন্য)।
| মেট্রিক | চিকিৎসা ARA এবং আপনার ব্যবহার করা যেকোনো নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে রূপান্তর পরিমাপ | নিয়ন্ত্রণ 1 থার্ড-পার্টি কুকিজ এবং আপনার ব্যবহার করা যেকোনো নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে রূপান্তর পরিমাপ | নিয়ন্ত্রণ 2 শুধুমাত্র অ-তৃতীয়-পক্ষ কুকি ডেটা ব্যবহার করে রূপান্তর পরিমাপ |
| ডলার প্রতি রূপান্তর | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| মোট রূপান্তর | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| রূপান্তর হার | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) |
লক্ষ্য 2 - বিডিং অপ্টিমাইজেশানের জন্য অ্যাট্রিবিউশন রিপোর্টিং API এর কার্যকারিতা নির্ধারণ করা
বিডিং অপ্টিমাইজেশানে প্রভাব পরিমাপ করার জন্য আমরা একটি A/B সেটআপ প্রস্তাব করি৷
- বিডিং অপ্টিমাইজেশানের প্রভাব পরিমাপ করতে, আপনাকে দুটি ভিন্ন মেশিন লার্নিং মডেলকে প্রশিক্ষণ দিতে হবে এবং ট্রাফিকের দুটি স্লাইসে সেগুলি ব্যবহার করতে হবে - একটি মডেল বর্তমান পরিমাপ পদ্ধতিতে প্রশিক্ষিত (তৃতীয়-পক্ষ কুকি + নন-থার্ড-পার্টি-কুকি ডেটা) হতে হবে। কন্ট্রোল বাহুতে প্রয়োগ করা হয়েছে এবং একটি মডেল অ্যাট্রিবিউশন রিপোর্টিং API + নন-থার্ড-পার্টি-কুকি ডেটা ট্রিটমেন্ট আর্মে প্রয়োগ করার জন্য প্রশিক্ষিত।
- মডেল প্রশিক্ষণটি কর্মক্ষমতা বাড়ানোর জন্য পরীক্ষকের যতটা প্রয়োজন মনে করে ততটা ট্রাফিকের উপর ভিত্তি করে হওয়া উচিত, এমনকি যদি চিকিত্সার হাতটি ট্র্যাফিকের একটি ছোট অংশ হয় এবং প্রশিক্ষণ জনসংখ্যার মধ্যে ওভারল্যাপ থাকে (উদাহরণস্বরূপ, বিদ্যমান তৃতীয় পক্ষের কুকি মডেল ব্যবহার করুন) যেটি সমস্ত ট্রাফিকের প্রশিক্ষণ, এবং লক্ষ্য 1 এর জন্য সক্ষম সমস্ত ARA ট্র্যাফিকের উপর ARA মডেলকে প্রশিক্ষণ দিন)।
- CMA-তে ফলাফল জমা দিলে, লক্ষ্য করুন যে বিভিন্ন মডেলের প্রশিক্ষণের জন্য ব্যবহৃত ট্রাফিক স্লাইসের মধ্যে উল্লেখযোগ্য পার্থক্য আছে কিনা (উদাহরণস্বরূপ, যদি তৃতীয় পক্ষের কুকি-ভিত্তিক মডেলগুলি 100% ট্র্যাফিকের উপর প্রশিক্ষিত হয় কিন্তু ARA-ভিত্তিক মডেলগুলি শুধুমাত্র প্রশিক্ষিত হয় ট্রাফিকের 1%)।
- যদি সম্ভব হয়, উভয় চিকিত্সা এবং নিয়ন্ত্রণ বিডিং মডেলের প্রশিক্ষণ একই সময়ের জন্য হওয়া উচিত।
- পরীক্ষা চলাকালীন আপনার বিডিং মডেলগুলিকে ক্রমাগত প্রশিক্ষণ দেওয়া এবং আপডেট করা উচিত কিনা তা বিবেচনা করুন এবং যদি আপনি তা করেন তবে আপনার যতটা সম্ভব ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া উচিত নাকি শুধুমাত্র চিকিত্সা এবং নিয়ন্ত্রণ অস্ত্র থেকে ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া উচিত।
- একটি A/B পরীক্ষা হিসাবে বিভিন্ন মডেলগুলি ট্র্যাফিকের বিচ্ছিন্ন স্লাইসে ব্যবহার করা উচিত। ট্রিটমেন্ট এবং কন্ট্রোল আর্মস জুড়ে ব্যবহারকারীর র্যান্ডমাইজেশন এবং অ্যাসাইনমেন্টের জন্য, আমরা ক্রোম-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপ ( মোড A ) ব্যবহার করার বা ব্রাউজারগুলির এলোমেলো সেটগুলির সাথে আপনার নিজস্ব পরীক্ষা চালানোর পরামর্শ দিই। আমরা মোড B ব্যবহার করার পরামর্শ দিই না কারণ তৃতীয় পক্ষের কুকির অভাব রূপান্তর-ভিত্তিক মেট্রিক্সে রিপোর্ট করা কঠিন করে তুলবে।
- Chrome-সুবিধাযুক্ত ব্রাউজার গ্রুপগুলি এন্টারপ্রাইজ ক্রোম ব্যবহারকারীদের মতো কিছু ক্রোম দৃষ্টান্ত বাদ দেবে, যেখানে আপনার নিজস্ব ব্রাউজারগুলির র্যান্ডমাইজ করা সেটগুলি এই Chrome দৃষ্টান্তগুলিকে বাদ দিতে পারে না৷ তাই, আপনার পরীক্ষা চালানো উচিত শুধুমাত্র মোড A গোষ্ঠীতে, অথবা শুধুমাত্র নন-মোড A/মোড B গ্রুপগুলিতে চালানো উচিত যাতে Chrome-সুবিধাযুক্ত গোষ্ঠীগুলিতে প্রাপ্ত মেট্রিক্সের সাথে Chrome-সুবিধাযুক্ত গোষ্ঠীগুলির বাইরে প্রাপ্ত মেট্রিকের তুলনা করা না হয়৷
- যদি Chrome-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপগুলি ব্যবহার না করেন (উদাহরণস্বরূপ, অন্যান্য ট্রাফিকের উপর পরীক্ষা চালানো):
- নিশ্চিত করুন যে ব্যবহারকারীদের চিকিত্সা এবং নিয়ন্ত্রণ বিভাজন এলোমেলো এবং নিরপেক্ষ। পরীক্ষার গ্রুপ সেটআপ নির্বিশেষে, চিকিত্সার বৈশিষ্ট্যগুলি মূল্যায়ন করুন এবং চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীগুলি তুলনাযোগ্য তা নিশ্চিত করতে অস্ত্র নিয়ন্ত্রণ করুন৷ (দেখুন: ধারা 15 )
- নিশ্চিত করুন যে ব্যবহারকারীর বৈশিষ্ট্য এবং চিকিত্সা এবং নিয়ন্ত্রণ গ্রুপগুলির প্রচারাভিযান কনফিগারেশন একই (উদাহরণস্বরূপ, চিকিত্সা এবং নিয়ন্ত্রণ উভয় গ্রুপেই একই জিও ব্যবহার করুন)। (দেখুন: ধারা 28 )
- নির্দিষ্ট উদাহরণগুলির মধ্যে রয়েছে: নিশ্চিত করুন যে অনুরূপ রূপান্তর প্রকারগুলি একই অ্যাট্রিবিউশন উইন্ডো এবং একই অ্যাট্রিবিউশন লজিক ব্যবহার করে পরিমাপ করা হচ্ছে, প্রচারাভিযানগুলি একই রকম দর্শক, আগ্রহের গোষ্ঠী এবং জিওসকে লক্ষ্য করে এবং অনুরূপ বিজ্ঞাপন অনুলিপি এবং বিজ্ঞাপন ফর্ম্যাটগুলি ব্যবহার করে৷
- নিশ্চিত করুন যে চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীগুলির জন্য প্রাথমিক জনসংখ্যার আকার বিডিং এবং পরীক্ষা-নিরীক্ষার জন্য নমনীয়তার জন্য যথেষ্ট বড়।
- ক্রোম-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গোষ্ঠীগুলি ব্যবহার করলে ( মোড A ), গোষ্ঠীগুলিতে Chrome ব্রাউজার দৃষ্টান্তগুলির র্যান্ডমাইজেশন Chrome দ্বারা পরিচালিত হয়৷ এটা বাঞ্ছনীয় যে আপনি আগের মতই চেক করুন যে র্যান্ডমাইজেশন আপনার উদ্দেশ্যে নিরপেক্ষ/তুলনীয় গোষ্ঠীতে পরিণত হয়।
বিশ্লেষণের প্রস্তাবিত পয়েন্ট
- আমরা কন্ট্রোল এবং ট্রিটমেন্ট আর্মসকে সংজ্ঞায়িত করার এবং প্রতিটি হাতের জন্য বিডিং অপ্টিমাইজেশনের জন্য আলাদা মেশিন লার্নিং মডেল ব্যবহার করার পরামর্শ দিই:
- নিয়ন্ত্রণ 1 - বর্তমান পরিমাপ পদ্ধতিতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশান মডেল ব্যবহার করুন (তৃতীয়-পক্ষ কুকি + নন-থার্ড-পার্টি কুকিজ ডেটা)
- (ঐচ্ছিক) কন্ট্রোল 2 - কোন গোপনীয়তা স্যান্ডবক্স এবং কোন তৃতীয় পক্ষের কুকিতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশান মডেল ব্যবহার করুন, অর্থাৎ শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে—সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না৷
- চিকিত্সা - অ্যাট্রিবিউশন রিপোর্টিং API এবং নন-থার্ড-পার্টি কুকিজ ডেটাতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশন মডেল ব্যবহার করুন
- মনে রাখবেন যে কিছু সাইটগুলিতে এখনও কিছু তৃতীয় পক্ষের কুকি উপলব্ধ থাকতে পারে—সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিগুলি ব্যবহার করবেন না৷
মেট্রিক্স
- আপনার ব্যবসার ফলাফল পরিমাপ করার জন্য কোন মেট্রিকগুলি অর্থপূর্ণ তা নির্ধারণ করুন এবং মেট্রিকটির অর্থ কী এবং কীভাবে এটি পরিমাপ করা হচ্ছে তার একটি বিবরণ অন্তর্ভুক্ত করুন।
- উদাহরণ স্বরূপ, অর্থপূর্ণ মেট্রিক হতে পারে ব্যয় (প্রকাশকের রাজস্ব), যা "ইম্প্রেশন প্রতি আয়"-এর উপর তৃতীয় পক্ষের কুকি অবচয়নের প্রভাব বোঝার জন্য CMA-এর নির্দেশনার সাথে সারিবদ্ধ। আরও বিস্তারিত জানার জন্য বিভাগ 19 দেখুন।
- যদি কোনো রূপান্তর-ভিত্তিক মেট্রিক্সের উপর প্রতিবেদন করা হয়, তাহলে মাল্টিভেরিয়েট টেস্টিং (অপ্টিমাইজেশানের উপর প্রভাব পরীক্ষা করা এবং একটি পরীক্ষায় রিপোর্টিং) এড়াতে আপনার প্রতিটি হাতের জন্য একই পরিমাপ পদ্ধতি ব্যবহার করা উচিত। কিভাবে পরিমাণগত প্রতিক্রিয়া ফর্ম্যাট করতে হয় তার নির্দেশিকা জন্য প্রস্তাবিত টেমপ্লেট টেবিল দেখুন।
- বিডিং অপ্টিমাইজেশন প্রভাবের মেট্রিক্স সংগ্রহ করার অন্যান্য উপায় বিবেচনা করুন - উদাহরণস্বরূপ, সিমুলেটিং বিড ব্যবহার করে। আপনার বিডিং মডেলগুলিতে তৃতীয় পক্ষের কুকি এবং ARA-এর প্রভাব বোঝার জন্য উপযোগী কোনো সিমুলেটেড মেট্রিক আছে কি?
- মেট্রিকগুলি ইভেন্ট-লেভেল রিপোর্ট, সারাংশ রিপোর্ট বা উভয় রিপোর্টের সংমিশ্রণের উপর ভিত্তি করে (এবং ডিবাগ রিপোর্ট ব্যবহার করা হয়েছে কিনা) তা নির্দিষ্ট করুন।
বিশ্লেষণ
- কভারেজ:
- আপনি কি তৃতীয় পক্ষের কুকির তুলনায় ব্যবহারকারীদের একই সেট জুড়ে পরিমাপ করতে পারবেন? আপনি কি কভারেজের কোন পরিবর্তন দেখতে পাচ্ছেন (উদাহরণস্বরূপ অ্যাপ-টু-ওয়েব)?
- আপনি কি রূপান্তরগুলি (এবং মাত্রা/মেট্রিক্স) পরিমাপ করতে পারবেন, বা আপনার বিজ্ঞাপনদাতারা সবচেয়ে বেশি যত্নশীল?
- গোষ্ঠীগুলির মধ্যে পার্থক্যগুলি কীভাবে নিম্নলিখিতগুলিকে প্রভাবিত করবে:
- বিজ্ঞাপনদাতা রিপোর্টিং, উদাহরণস্বরূপ,. আপনি কত শতাংশ মূল রূপান্তর রিপোর্ট করতে সক্ষম হবেন।
- প্রশিক্ষণ এবং অপ্টিমাইজেশান, উদাহরণস্বরূপ, মডেল কর্মক্ষমতা উপর বিভিন্ন রূপান্তর তথ্য প্রভাব অনুকরণ.
- অন্যান্য গুণগত প্রতিক্রিয়া:
- কিভাবে ARA বিজ্ঞাপনদাতাদের বিডিং অপ্টিমাইজেশান সেটআপের জটিলতাকে প্রভাবিত করে?
- ARA কি বিজ্ঞাপনদাতাদের তাদের কাছে গুরুত্বপূর্ণ মেট্রিক এবং লক্ষ্যগুলিতে ফোকাস করতে সাহায্য করে বা বাধা দেয়?
বিডিং প্রভাবের জন্য প্রস্তাবিত টেমপ্লেট টেবিল
(বিডিং) টেবিল 1:
পরীক্ষামূলক ফলাফলের উদাহরণ টেমপ্লেট টেবিল যা বাজারের অংশগ্রহণকারীদের CMA-তে জমা দেওয়া উচিত ( পৃষ্ঠা 18 থেকে নেওয়া, তবে পরীক্ষকদের বিবেচনা করা উচিত যে কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য সারণীটি সরবরাহ করা এবং প্রয়োজন অনুসারে মানিয়ে নেওয়া)।
| চিকিত্সা বনাম নিয়ন্ত্রণ 1 বর্তমান অবস্থার সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে | চিকিত্সা বনাম নিয়ন্ত্রণ 2 কোনো PS API-এর সাথে প্রস্তাবিত শেষ অবস্থার তুলনা করে। | কন্ট্রোল 2 বনাম কন্ট্রোল 1 কোনো PS API ছাড়াই তৃতীয় পক্ষের কুকিজের সাথে এবং ছাড়া বিডিং অপ্টিমাইজেশনের তুলনা করে। | |
| পরিমাপ পদ্ধতি | মাল্টিভেরিয়েট টেস্টিং এড়াতে, প্রতিটি পরীক্ষায় উভয় হাতের জন্য রূপান্তর-ভিত্তিক মেট্রিক্স পরিমাপ করতে তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করুন। | ||
| ইম্প্রেশন প্রতি আয় | প্রভাব | প্রভাব | প্রভাব |
| মান ত্রুটি | মান ত্রুটি | মান ত্রুটি | |
| 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | 95% আত্মবিশ্বাসের ব্যবধান | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) | |||
(বিডিং) টেবিল 2:
চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীতে মেট্রিক্সের জন্য বর্ণনামূলক পরিসংখ্যান প্রতিবেদন করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 20 থেকে নেওয়া, কিন্তু পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিকগুলি সবচেয়ে অর্থপূর্ণ/সম্ভাব্য তা প্রয়োজন অনুসারে সরবরাহ করা এবং মানিয়ে নেওয়ার জন্য)।
| চিকিৎসা ARA ব্যবহার করে বিডিং অপ্টিমাইজেশান এবং আপনার ব্যবহার করা যেকোনো নন-থার্ড-পার্টি কুকি ডেটা | নিয়ন্ত্রণ 1 থার্ড-পার্টি কুকিজ এবং যেকোন নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে বিডিং অপ্টিমাইজেশন | নিয়ন্ত্রণ 2 শুধুমাত্র নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করে বিডিং অপ্টিমাইজেশন | |
| পরিমাপ পদ্ধতি | মাল্টিভেরিয়েট টেস্টিং এড়াতে, সমস্ত বাহু জুড়ে রূপান্তর-ভিত্তিক মেট্রিক্স পরিমাপ করতে তৃতীয়-পক্ষ কুকি এবং নন-থার্ড-পার্টি কুকি ডেটা ব্যবহার করুন। | ||
| ইম্প্রেশন প্রতি আয় | মানে | মানে | মানে |
| আদর্শ চ্যুতি | আদর্শ চ্যুতি | আদর্শ চ্যুতি | |
| 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | 25তম এবং 75তম পার্সেন্টাইল | |
| (আপনার নিজস্ব মেট্রিক্স যোগ করুন) | |||