Bu kılavuzun amacı, Özel Korumalı Alan Attribution Reporting API'nin bağımsız bir testini çalıştırma konusunda yol göstermektir. Daha ayrıntılı bilgi için Bölüm 12'ye bakın.
- CMA'nın deneysel tasarımları 1 ve 2'de kontrol ve değerlendirme kolunun ölçümü, Alaka Düzeyi API'leri test kılavuzunda ele alınmıştır. Çünkü bu denemelerin amacı, Korunan Kitle ve Konuları kullanmanın etkinliğini test etmektir. Daha ayrıntılı bilgi için Bölüm 11'e bakın.
Başlamadan önce
- Attribution Reporting API'yi yapılandırma ve ayarlama rehberliği için inceleyin.
- CMA test kılavuzunu inceleyin: Deneme notu (Kasım 2022), Test kılavuzu (Haziran 2023) ve Ek test kılavuzu (Ekim 2023).
Değerlendirme hedefleri ve önerilen deneme ayarları
Hedef 1: Raporlama için Attribution Reporting API'nin etkinliğini belirleme
Raporlama üzerindeki etkisini ölçmek için bir A/A kurulumu öneriyoruz.
- Bu teklif, dönüşüme dayalı metriklerin değerlendirilmesiyle ilgili CMA kılavuzuyla uyumludur. Daha ayrıntılı bilgi için Bölüm 21 ve Bölüm 12'ye bakın.
- Attribution Reporting API'yi (ARA) test etmek için bu yöntemin, iki farklı ölçüm yöntemi (üçüncü taraf çerezleri + üçüncü taraf olmayan çerez verileri ve ARA + üçüncü taraf olmayan çerez verileri) kullanılarak aynı gösterim grubu üzerindeki dönüşümlerin eş zamanlı olarak ölçülmesi mümkün olduğundan bu yöntemi A/B Modu yerine tercih ederiz.
- A/A denemesi, Attribution Reporting API'nin dönüşüm ölçümü üzerindeki etkisini de ayırır (örneğin, üçüncü taraf çerezlerinin eksikliği nedeniyle dönüşüm oranlarında değişiklik yapılmasını önler).
Önerilen analiz noktaları
- İstatistiksel açıdan anlamlı sonuçlar elde edecek kadar büyük ve hem üçüncü taraf çerezlerine hem de Özel Korumalı Alan API'lerine sahip olan bir trafik dilimi seçin. İdeal olarak, B Modu dışındaki tüm trafik, üçüncü taraf çerezlerini devre dışı bırakır.
- Üçüncü taraf çerezleri kullanılamadığından ve ARA sonuçlarını üçüncü taraf çerezine dayalı ilişkilendirme sonuçlarıyla karşılaştıramayacağınız için B Modunu A/A denemesinden hariç tutmanızı öneririz.
- B Modu'nu dahil etmek istiyorsanız, B Modu trafik dilimi için hata ayıklama raporlarını etkinleştirmeyi düşünmelisiniz. Hata ayıklama raporları, yapılandırma veya uygulama sorunlarını gidermenize yardımcı olur.
- Daha küçük bir trafik dilimiyle test yapmayı planlıyorsanız beklenenden daha yüksek oranda ölçüm sonuçları alacağınızı tahmin ediyoruz. Analizinizde trafiğin ne kadarının kullanıldığını ve sonuçları gürültü uygulanmış raporlara mı yoksa gürültüsüz hata ayıklama raporlarına dayanarak mı raporladığınıza dikkat etmenizi öneririz.
- Özet raporlarda, özet değerleriniz muhtemelen daha düşük olur ve Toplama Hizmeti, özet değerinden bağımsız olarak aynı dağıtımdan gürültü ekler.
- Söz konusu trafik dilimi için farklı ölçüm yöntemlerini test etmek
- 1. Kontrol - Mevcut ölçüm yöntemlerini kullanma (üçüncü taraf çerezleri + üçüncü taraf olmayan çerez verileri)
- (isteğe bağlı) 2. Kontrol - Özel Korumalı Alan ve üçüncü taraf çerezleri (yani yalnızca üçüncü taraf olmayan çerez verileri) yok
- Bazı sitelerin hâlâ bazı üçüncü taraf çerezlerini kullanabileceğini unutmayın. En doğru sonuçlar için bu üçüncü taraf çerezlerini Kontrol 2 veya Değerlendirme yöntemlerinde kullanmayın.
- Değerlendirme: Özel Korumalı Alan API'leri ve üçüncü taraf olmayan çerez verileri
- Bazı sitelerin hâlâ bazı üçüncü taraf çerezlerini kullanabileceğini unutmayın. En doğru sonuçlar için bu üçüncü taraf çerezlerini Kontrol 2 veya Değerlendirme yöntemlerinde kullanmayın.
Metrikler
- Sonuçları ölçmek amacıyla işletmeniz için hangi metriklerin anlamlı olduğunu tanımlayın ve metriğin ne anlama geldiğine ve nasıl ölçüldüğüne ilişkin bir açıklama ekleyin.
- Reklamverenleriniz için önemli olan boyut ve metriklere odaklanmanızı öneririz. Örneğin, reklamverenleriniz satın alma dönüşümlerine odaklanıyorsa bunların dönüşüm sayılarını ve satın alma değerini ölçün.
- Sayıya veya toplamaya (ör. dönüşüm oranı) dayalı metrikler, başına maliyete (örneğin, dönüşüm başına maliyet) kıyasla daha fazla çalışmak için idealdir. A/A analizi için maliyet metrikleri, toplam dönüşüm değerlerinden tamamen türetilebilir.
- Metriklerin Etkinlik Düzeyinde Raporlara mı, Özet Raporlara mı yoksa her iki raporun bir kombinasyonuna mı dayalı olduğunu (ve hata ayıklama raporlarının kullanılıp kullanılmadığını) belirtin.
- Nicel geri bildirimi nasıl biçimlendireceğiniz konusunda yol gösterici bilgiler için önerilen şablon tablolarına bakın.
Analiz
- Kapsam:
- Üçüncü taraf çerezleriyle karşılaştırıldığında benzer bir kullanıcı grubu genelinde ölçüm yapabiliyor musunuz? Daha yüksek kapsam görüyor musunuz (örneğin, uygulamadan web'e geçişte)?
- Sizin veya reklamverenlerinizin en çok önemsediği dönüşümleri (ve boyutları ya da metrikleri) ölçebiliyor musunuz?
- Nicel geri bildirim
- Örneğin reklamveren raporlamasında, söz konusu reklamveren için temel dönüşümlerin yüzde kaçını raporlayabileceğiniz veya kampanyaların yüzde kaçının raporlama kalitesini karşıladığı (bir kalite çubuğu türetmek, düşük dönüşüm sayılarına sahip kampanyaların ayarlanmasına yardımcı olur)
- Reklamverene göre ayrılmış olarak, örneğin, günümüzde raporlama için üçüncü taraf çerezlerine daha fazla veya daha az bağımlı olan bazı reklamverenler var mı?
- Diğer niteliksel geri bildirimler:
- ARA, reklamverenlerin ölçüm/ilişkilendirme ayarlarının karmaşıklığını nasıl etkiler?
- ARA, reklamverenlerin kendileri için önemli olan metriklere ve hedeflere odaklanmalarına yardımcı oluyor veya bunu engelliyor mu?
Raporlama etkisi için önerilen şablon tabloları
(Raporlama) Tablo 1:
Deneysel sonuçları CMA'ya raporlamak için örnek şablon tablosu (18. sayfadan alınmıştır ancak test kullanıcıları tabloyu gerektiği şekilde sağlamak ve uyarlamak için en anlamlı / uygun metrikleri göz önünde bulundurmalıdır).
|
Değerlendirme ve Kontrol 1 Önerilen son durumu mevcut durumla karşılaştırır |
Değerlendirme ve Kontrol 2 Hiç PS API'si olmayan önerilen bitiş durumunu karşılaştırır. |
Kontrol 2 ve Kontrol 1 Herhangi bir PS API'si olmadan, üçüncü taraf çerezleri olan ve olmayan dönüşüm ölçümünü karşılaştırır. |
|
| Ölçüm Metodolojisi | Değerlendirme (üçüncü taraf çerez verileriyle olmayan ARA) için dönüşüm ölçümünü, Kontrol 1 ile (üçüncü taraf çerezi ve üçüncü taraf çerez verileri) karşılaştırma | Değerlendirme (üçüncü taraf çerez verileriyle olmayan ARA) için dönüşüm ölçümünü, Kontrol 2 ile (yalnızca üçüncü taraf çerez verileri) karşılaştırma | Kontrol 2 için dönüşüm ölçümünü (yalnızca üçüncü taraf çerez verileri) Kontrol 1 ile Kontrol 1 (üçüncü taraf çerezleri ve üçüncü taraf çerez verileri) ile karşılaştırma |
| Harcanan para başına dönüşüm | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| Toplam dönüşüm sayısı | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| Dönüşüm oranı | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| (kendi metriklerinizi ekleyin) |
(Raporlama) Tablo 2:
Değerlendirme ve kontrol gruplarındaki metriklerin açıklayıcı istatistiklerini raporlamaya yönelik örnek şablon tablosu (20. sayfadan alınmıştır ancak test kullanıcıları tabloyu gerektiği şekilde sağlamak ve uyarlamak için en anlamlı / uygun metrikleri göz önünde bulundurmalıdır).
| Metrik | Değerlendirme
ARA ve kullandığınız üçüncü taraf olmayan çerez verileri kullanılarak dönüşüm ölçümü |
1. Kontrol
Üçüncü taraf çerezlerini ve kullandığınız üçüncü taraf olmayan çerez verilerini kullanarak dönüşüm ölçümü |
2. Kontrol
Yalnızca üçüncü taraf çerez verilerini kullanarak dönüşüm ölçümü |
| Harcanan para başına dönüşüm | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| Toplam dönüşüm sayısı | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| Dönüşüm oranı | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| (kendi metriklerinizi ekleyin) |
Hedef 2: Teklif optimizasyonu için Attribution Reporting API'nin etkinliğini belirleme
Teklif optimizasyonu üzerindeki etkiyi ölçmek için bir A/B kurulumu öneriyoruz.
- Teklif optimizasyonu üzerindeki etkiyi ölçmek için iki farklı makine öğrenimi modelini eğitmeniz ve bu modelleri, kontrol koluna uygulanacak ölçüm yöntemleriyle eğitilmiş bir model (üçüncü taraf çerezleri + üçüncü taraf çerez verileri) ve değerlendirme koluna uygulanacak olan Attribution Reporting API ile eğitilmiş bir model ve üçüncü taraf olmayan çerez verileri olmak üzere iki trafik dilimi üzerinde kullanmanız gerekir.
- Değerlendirme kolu, daha küçük bir trafik dilimi olsa ve eğitim popülasyonları arasında çakışma olsa bile (örneğin, tüm trafik üzerinde eğitilen mevcut üçüncü taraf çerez modelini kullanın ve ARA modelini Hedef 1 için etkinleştirilen tüm ARA trafiği üzerinde eğitin), model eğitimi, test kullanıcısının performansı en üst düzeye çıkarmak için gerekli gördüğü miktarda trafiğe dayanmalıdır.
- Sonuçları CMA'ya gönderiyorsanız farklı modelleri eğitmek için kullanılan trafik dilimleri arasında önemli bir fark olup olmadığına dikkat edin (örneğin, üçüncü taraf çerez tabanlı modeller trafiğin% 100'ünde eğitilirken ARA tabanlı modeller trafiğin yalnızca% 1'inde eğitilirse).
- Mümkünse hem değerlendirme hem de kontrole dayalı teklif modelleri için eğitim aynı süre boyunca verilmelidir.
- Deneme sırasında teklif modellerini sürekli olarak eğitmeniz ve güncellemeniz gerekip gerekmediğini, eğitim verirken mümkün olduğunca fazla trafik mi yoksa yalnızca değerlendirme ve kontrol kollarından gelen trafikle mi çalışmanız gerektiğini düşünün.
- Farklı modeller, A/B denemesi olarak ayrı trafik dilimlerinde kullanılmalıdır. Kullanıcıları rastgele hale getirme ve değerlendirme kollarında atama yapma işlemleri için Chrome'un desteklediği etiketli tarayıcı gruplarını (A Modu) kullanmanızı veya rastgele tarayıcı gruplarıyla kendi denemenizi çalıştırmanızı öneririz. Üçüncü taraf çerezlerinin olmaması dönüşüme dayalı metriklerin raporlanmasını zorlaştıracağından B Modu'nu kullanmanız önerilmez.
- Chrome'un desteklediği tarayıcı grupları, kendi rastgele tarayıcı gruplarınızın bu Chrome örneklerini hariç tutmayabileceği Enterprise Chrome kullanıcıları gibi bazı Chrome örneklerini hariç tutar. Bu nedenle, Chrome'un desteklediği gruplarda elde edilen metriklerin Chrome'un desteklediği grupların dışından elde edilen metriklerle karşılaştırılmasını önlemek için, denemenizi yalnızca A Modu gruplarında ya da yalnızca A/Modu Modu dışındaki gruplarda çalıştırmanız gerekir.
- Chrome'un desteklediği etiketli tarayıcı gruplarını kullanmıyorsanız (örneğin, diğer trafik üzerinde deneme çalıştırmak):
- Kullanıcıların tedavi ve kontrol dağılımının rastgele ve tarafsız olduğundan emin olun. Deney grubu kurulumundan bağımsız olarak, değerlendirme ve kontrol gruplarının karşılaştırılabilir olduğundan emin olmak için değerlendirme ve kontrol kollarının özelliklerini değerlendirin. (Bkz. Bölüm 15)
- Değerlendirme ve kontrol gruplarının kullanıcı özellikleri ile kampanya yapılandırmalarının aynı olduğundan emin olun (örneğin, hem değerlendirme hem de kontrol grubunda benzer coğrafi alanlar kullanın). (Bkz. 28. Bölüm)
- Benzer dönüşüm türlerinin aynı ilişkilendirme aralığı ve aynı ilişkilendirme mantığı kullanılarak ölçülmesini sağlama, kampanyaların benzer kitleleri, ilgi alanı gruplarını ve coğrafi konumları hedeflemesini, benzer reklam metni ve reklam biçimlerini kullanmasını sağlama gibi örnekler verebiliriz.
- Değerlendirme ve kontrol grupları için başlangıçtaki nüfus boyutlarının, teklif verme ve deneme için esnekliğe sahip olacak kadar büyük olduğundan emin olun.
- Chrome'un desteklediği etiketli tarayıcı grupları (A Modu) kullanılıyorsa Chrome tarayıcı örneklerinin gruplara rastgele hale getirilmesi Chrome tarafından gerçekleştirilir. Rastgele hale getirme işleminin, amaçlarınız doğrultusunda tarafsız / benzer gruplarla sonuçlanıp sonuçlanmadığını daha önce olduğu gibi kontrol etmeniz önerilir.
Önerilen analiz noktaları
- Her kol için kontrol ve değerlendirme kollarını tanımlamanızı ve teklif optimizasyonu için farklı bir makine öğrenimi modeli kullanmanızı öneririz:
- 1. Kontrol - Mevcut ölçüm yöntemleriyle (üçüncü taraf çerezleri + üçüncü taraf olmayan çerez verileri) göre eğitilmiş teklif optimizasyon modelini kullanma
- (isteğe bağlı) 2. Kontrol - Özel Korumalı Alan'ın kullanılmadığı ve üçüncü taraf çerezlerinin kullanılmadığı, yani yalnızca üçüncü taraf çerez verilerinin kullanılmadığı teklif optimizasyon modelini kullanın
- Bazı sitelerde bazı üçüncü taraf çerezlerinin hâlâ kullanılabilir olduğunu unutmayın. En doğru sonuçlar için bu üçüncü taraf çerezlerini Kontrol 2 veya Değerlendirme yöntemlerinde kullanmayın.
- Değerlendirme: Attribution Reporting API ve üçüncü taraf olmayan çerez verileri hakkında eğitilen teklif optimizasyon modelini kullanın
- Bazı sitelerde bazı üçüncü taraf çerezlerinin hâlâ kullanılabilir olduğunu unutmayın. En doğru sonuçlar için bu üçüncü taraf çerezlerini Kontrol 2 veya Değerlendirme yöntemlerinde kullanmayın.
Metrikler
- Sonuçları ölçmek amacıyla işletmeniz için hangi metriklerin anlamlı olduğunu tanımlayın ve metriğin ne anlama geldiğine ve nasıl ölçüldüğüne ilişkin bir açıklama ekleyin.
- Örneğin, anlamlı bir metrik olan harcama (yayıncı geliri) olabilir. Bu metrik, üçüncü taraf çerezlerinin kullanımdan kaldırılmasının "Gösterim başına gelirler " üzerindeki etkisini anlamaya yönelik CMA'nın rehberine uygundur. Daha ayrıntılı bilgi için Bölüm 19'a bakın.
- Dönüşüme dayalı metriklerle ilgili rapor yapıyorsanız çok değişkenli testlerden (optimizasyon ve raporlama üzerindeki etkiyi tek bir denemede test etme) kaçınmak için her kol için aynı ölçüm metodolojisini kullanmalısınız. Nicel geri bildirimi nasıl biçimlendireceğiniz konusunda yol gösterici bilgiler için önerilen şablon tablolarına bakın.
- Teklif optimizasyonuna etkisiyle ilgili metrik toplamanın diğer yollarını (ör. teklifleri simüle etme) düşünün. Üçüncü taraf çerezlerinin ve ARA'nın teklif modelleriniz üzerindeki etkisini anlamak için yararlı olacak simüle edilmiş metrikler var mı?
- Metriklerin Etkinlik Düzeyinde Raporlara mı, Özet Raporlara mı yoksa her iki raporun bir kombinasyonuna mı dayalı olduğunu (ve hata ayıklama raporlarının kullanılıp kullanılmadığını) belirtin.
Analiz
- Kapsam:
- Üçüncü taraf çerezleriyle karşılaştırıldığında benzer bir kullanıcı grubu genelinde ölçüm yapabiliyor musunuz? Kapsamda herhangi bir değişiklik görüyor musunuz (örneğin, uygulamadan web'e geçiş)?
- Sizin veya reklamverenlerinizin en çok önemsediği dönüşümleri (ve boyutları/metrikleri) ölçebiliyor musunuz?
- Gruplar arasındaki farklar aşağıdakileri nasıl etkiler:
- Örneğin, reklamveren raporlaması. Önemli dönüşümlerin yüzde kaçını raporlayabileceğinizi belirtir.
- Örneğin, eğitim ve optimizasyon, farklı dönüşüm verilerinin model performansı üzerindeki etkisini simüle eder.
- Diğer niteliksel geri bildirimler:
- ARA, reklamverenlerin teklif optimizasyonu kurulumunun karmaşıklığını nasıl etkiler?
- ARA, reklamverenlerin kendileri için önemli olan metriklere ve hedeflere odaklanmasına yardımcı oluyor veya bunu engelliyor mu?
Teklif verme etkisi için önerilen şablon tabloları
(Teklif Verme) Tablo 1:
Pazar katılımcılarının CMA'ya göndermesi gereken deneysel sonuçların yer aldığı örnek şablon tablosu (18. sayfadan alınmıştır ancak test kullanıcıları tabloyu gerektiğinde sağlamak ve uyarlamak için en anlamlı ve en uygun metrikleri göz önünde bulundurmalıdır).
|
Değerlendirme ve Kontrol 1 Önerilen son durumu mevcut durumla karşılaştırır |
Değerlendirme ve Kontrol 2 Hiç PS API'si olmayan önerilen bitiş durumunu karşılaştırır. |
Kontrol 2 ve Kontrol 1 Herhangi bir PS API'si olmadan, üçüncü taraf çerezleri olan ve olmayan üçüncü taraf çerezleri olmadan teklif optimizasyonunu karşılaştırır. |
|
| Ölçüm Metodolojisi | Çok değişkenli testlerden kaçınmak için, her denemede her iki kol için dönüşüme dayalı metrikleri ölçmek amacıyla üçüncü taraf ve üçüncü taraf olmayan çerez verilerini kullanın. | ||
| Gösterim başına gelir | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| (Kendi metriklerinizi ekleyin) | |||
(Teklif Verme) Tablo 2:
Değerlendirme ve kontrol gruplarındaki metriklerin açıklayıcı istatistiklerini raporlamaya yönelik örnek şablon tablosu (20. sayfadan alınmıştır ancak test kullanıcıları tabloyu gerektiği şekilde sağlamak ve uyarlamak için en anlamlı / uygun metrikleri göz önünde bulundurmalıdır).
|
Değerlendirme ARA ve kullandığınız üçüncü taraf olmayan çerez verilerini kullanarak teklif optimizasyonu |
1. Kontrol Üçüncü taraf çerezlerini ve kullandığınız üçüncü taraf olmayan çerez verilerini kullanarak teklif optimizasyonu |
2. Kontrol Yalnızca üçüncü taraf olmayan çerez verilerini kullanarak teklif optimizasyonu |
|
| Ölçüm Metodolojisi | Çok değişkenli testlerden kaçınmak için tüm kollarda dönüşüme dayalı metrikleri ölçmek üzere üçüncü taraf ve üçüncü taraf olmayan çerez verilerini kullanın. | ||
| Gösterim başına gelir | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| (kendi metriklerinizi ekleyin) | |||
Hedef 3 - Toplama Hizmeti'ne yük testi
Toplama Hizmeti Yük Testi Çerçevesi bölümüne bakın.