Khung kiểm thử tải của Dịch vụ tổng hợp

Chúng tôi hoan nghênh ý kiến phản hồi của bạn về tài liệu này trong quá trình chuẩn bị để thêm vào kho lưu trữ hướng dẫn công khai.

Các công nghệ quảng cáo nên chạy kiểm thử tải trên 100% lưu lượng truy cập thực tế:

  1. Công nghệ quảng cáo nên sử dụng tính năng đo lường Mô hình phân bổ lượt chuyển đổi bằng cách sử dụng Attribution Reporting API làm trường hợp sử dụng báo cáo.
  2. Công nghệ quảng cáo nên đưa ra quyết định về thiết kế, đồng thời giảm thiểu độ nhiễu (tài liệu tham khảo: quyết định thiết kế được mô hình hoá)
  3. Trong khi thử nghiệm, các công nghệ quảng cáo nên theo dõi số lượng công việc chạy mỗi ngày (ví dụ: công việc trên mỗi nhà quảng cáo), mức phân phối ước tính của số lượng sự kiện chuyển đổi và số lượng khoá tổng hợp làm dữ liệu đầu vào cho mỗi công việc xử lý (tham khảo thông số công việc đầu vào của mỗi công việc xử lý (tham khảo thông số công việc trong Tài liệu về API dịch vụ tổng hợp) và báo cáo số sự kiện chuyển đổi trung bình ước tính trên mỗi báo cáo đầu vào.
  4. Để kiểm thử, các công nghệ quảng cáo nên tra cứu loại thực thể được đề xuất từ bảng hướng dẫn kích thước dựa trên quy mô công việc dự kiến (ví dụ: số lượng báo cáo, kích thước miền) và kích thước tương ứng đối với dịch vụ tổng hợp đã triển khai. Tài liệu tham khảo: Hướng dẫn về kích thước cho Dịch vụ tổng hợp trên AWS
  5. Công nghệ quảng cáo nên thực thi các công việc tổng hợp cho các thử nghiệm tải.

Bàn thắng

Hướng dẫn này dành riêng cho phép đo lường phân bổ lượt chuyển đổi tổng hợp và sẽ bao gồm hướng dẫn thiết lập và cấu hình chính mà các công nghệ quảng cáo sử dụng để:

  • Ước tính kỳ vọng về mức tải để đo lường mô hình phân bổ lượt chuyển đổi tổng hợp.
  • Tối ưu hoá chế độ thiết lập và cấu hình chính cho hiệu suất và độ nhiễu dựa trên các phương diện và mục tiêu mà chúng dự định đo lường, cũng như quy mô và phân khúc nhà quảng cáo của ứng dụng.

Điều kiện tiên quyết

Hướng dẫn này dành cho đối tượng sử dụng công nghệ quảng cáo. Trước khi thực hiện các bước sau, bạn nên xem lại tài liệu của chúng tôi về cách xử lý độ nhiễu, quyết định thiết kế cho báo cáo tóm tắt và thử nghiệm với phòng thí nghiệm về độ nhiễu để có cấu hình tối ưu.

Các bước

1. Chiến lược thiết lập khoá tổng hợp ban đầu

Xác định số lượng cấu trúc chính khác nhau (tức là tập hợp phương diện) mà bạn cần dựa trên loại hình kinh doanh và mục tiêu của bạn. Lưu ý rằng việc tối ưu hoá cấu trúc khoá có thể giúp giảm độ nhiễu trong báo cáo.

Số lượng nhà quảng cáo mà bạn có
Ví dụ: giả sử bạn có 1.000 nhà quảng cáo.

Những điểm tương đồng giữa các nhà quảng cáo
Bạn nên đánh giá những điểm tương đồng dựa trên số lượt chuyển đổi, giá trị chuyển đổi tương đối và mức độ phù hợp chung về các đặc điểm của nhà quảng cáo. Bạn càng có thể nhóm các thành phần giống nhau, thì kết quả càng được tinh chỉnh (do có ít phương sai về giá trị đầu ra hơn) và do đó, ảnh hưởng của độ nhiễu sẽ càng giảm. Hãy tham khảo phần quản lý khoá nâng cao để biết thêm thông tin chi tiết. Ví dụ: một công nghệ quảng cáo có thể phân chia các nhà quảng cáo theo ngành, mức chi tiêu và số lượt chuyển đổi như sau:

  • Ngành (ví dụ: Bảo hiểm, Trang sức, Bán lẻ tăng trưởng)
  • Mức chi tiêu (ví dụ: <$50.000/quý, $50-$150.000/quý, $150.000-$250.000/quý)
  • Số lượt chuyển đổi (Thấp, Trung bình, Cao)

Số lượng cấu trúc chính tổng hợp sẽ được tạo
Ví dụ: 27 (3x3x3) : 3 ngành, 3 cách chi tiêu và 3 nhóm giá trị chuyển đổi.

2. Xác định phương diện khoá tổng hợp

Tiếp theo, hãy xác định những phương diện quan trọng mà bạn muốn theo dõi cho cả lượt hiển thị và lượt chuyển đổi để ước tính số lượng khoá phía nguồn và phía điều kiện kích hoạt.

Đối với mỗi cấu trúc khoá tổng hợp, các phương diện quan trọng mà bạn cần theo dõi số lượt hiển thị sẽ giúp bạn xác định được số lượng khoá phía nguồn. Thứ nguyên sẽ phụ thuộc vào loại nhà quảng cáo từ mục 1 trở lên (ví dụ: ngành, mức chi tiêu, số lượt chuyển đổi). Những ví dụ sau đây giúp giải thích các phương diện:

  • Cấu trúc khoá 1: (Ngành = bảo hiểm, chi tiêu = <50.000, số lượng chuyển đổi = thấp)

    • A: 4 phương diện: Chiến dịch (ví dụ: 50 khả năng), Nhóm quảng cáo (ví dụ: 20 khả năng), Loại thiết bị (ví dụ: 5 khả năng), Địa lý (ví dụ: 50 khả năng)
      1. Các tổ hợp phương diện có thể có = 50 x 20 x 5 x 50 = 250.000. Biểu đồ này biểu thị số tổ hợp phương diện có thể có cho các khoá phía nguồn của cấu trúc khoá 1.
      2. Cần đặt trước 18 bit (18 bit = 262.144 tổ hợp có thể có)
  • Cấu trúc chính 2: (Ngành = bảo hiểm, chi tiêu = <50.000, số lượt chuyển đổi = trung bình)

    • A: 4 phương diện: Chiến dịch (ví dụ: 30 khả năng), Nhóm quảng cáo (ví dụ: 80 khả năng), Loại quảng cáo (ví dụ: 3 vị trí), Vị trí địa lý (ví dụ: 50 khả năng).
      1. Các tổ hợp phương diện có thể có = 30 x 80 x 3 x 50 = 360.000. Biểu đồ này biểu thị số tổ hợp thứ nguyên có thể có hoặc phím phía nguồn cho cấu trúc khoá 2.
      2. Cần đặt trước 19 bit (19 bit) = 524.288 tổ hợp có thể có)
  • Cấu trúc chính 3: Lặp lại (lập kế hoạch tương tự cho tất cả Cấu trúc chính mà bạn có)

Đối với mỗi cấu trúc khoá tổng hợp, các tham số quan trọng bạn cần theo dõi cho các lượt chuyển đổi sẽ giúp bạn xác định được các khoá bên điều kiện kích hoạt. Ví dụ:

  • Cấu trúc khoá 1: (Ngành = bảo hiểm, chi tiêu = <50.000, số lượng chuyển đổi = thấp)

    • Đáp: 2 phương diện: Danh mục sản phẩm (ví dụ: 100 khả năng), Loại chuyển đổi (ví dụ: 5 khả năng)
      1. Tổ hợp phương diện có thể có = 100 x 5 = 500
      2. Cần đặt trước 9 bit (9 bit = 512 tổ hợp có thể có)
  • Cấu trúc chính 2: (Ngành = bảo hiểm, chi tiêu = <50.000, số lượt chuyển đổi = trung bình)

    • A: 3 phương diện: Danh mục sản phẩm (ví dụ: 50 khả năng), Loại sản phẩm (10 khả năng), Loại chuyển đổi (3 khả năng)
      1. Các tổ hợp phương diện có thể có = 50 x 10 x 3 = 1.500
      2. Cần đặt trước 11 bit (11 bit = 2.048 tổ hợp có thể có)
  • Cấu trúc chính 3: Lặp lại (lập kế hoạch tương tự cho tất cả Cấu trúc chính mà bạn có)

Ước tính cho các khoá tổng hợp

  • Cấu trúc khoá 1: 250.000 khoá lượt hiển thị x 500 khoá chuyển đổi = 125.000.000 khoá
  • Cấu trúc khoá 2: 360.000 khoá lượt hiển thị x 1,5 nghìn khoá chuyển đổi = 540.000.000 khoá
  • Cấu trúc chính 3: (lập kế hoạch tương tự cho tất cả các Cấu trúc chính mà bạn có)
  • Lặp lại thao tác cho từng Cấu trúc chính
  • Khoá tổng hợp tối đa = 540.000.000 khoá (trên tất cả các cấu trúc chính). Cần đặt trước 30 bit (30 bit = 1,07B kết hợp có thể có)

Số lượt chuyển đổi dự kiến

Đối với mỗi cấu trúc khoá tổng hợp, có thể giải thích số lượng dự kiến bằng các ví dụ sau:

  • Cấu trúc khoá 1: (Ngành = bảo hiểm, chi tiêu = <50.000, số lượt chuyển đổi = thấp)
    • Đáp: Dự đoán rằng Cấu trúc chính 1 sẽ tạo ra khoản chi tiêu trị giá khoảng 500.000 đô la Mỹ của nhà quảng cáo trong quý tiếp theo với mức giá CPM trung bình là 8 đô la Mỹ. Hãy dự đoán rằng điều này sẽ dẫn đến 62.500.000 lượt hiển thị cần được đăng ký.
    • Dự đoán rằng tỷ lệ hiển thị trung bình cho tỷ lệ chuyển đổi mà Cấu trúc chính 1 sẽ tạo thành trong quý tiếp theo là 0,08%, dẫn đến 50.000 lượt chuyển đổi được phân bổ cần được ghi lại. Đối với mỗi lượt chuyển đổi, hãy đo lường giá trị giao dịch mua và số lượng giao dịch mua.
  • Cấu trúc khoá 2: (Ngành = bảo hiểm, chi tiêu = <50.000, số lượt chuyển đổi = trung bình)
    • Đáp: Dự kiến Khoá 2 sẽ cấu thành khoản chi tiêu trị giá khoảng 800.000 USD trong quý tiếp theo với mức giá CPM trung bình là 10 USD. Hãy dự đoán rằng điều này sẽ dẫn đến 80.000.000 lượt hiển thị cần được đăng ký.
    • Dự đoán rằng tỷ lệ hiển thị trung bình cho tỷ lệ chuyển đổi mà Khoá 2 sẽ tạo thành trong quý tiếp theo là 0,03125%, dẫn đến 25.000 lượt chuyển đổi được phân bổ cần được ghi nhận. Đối với mỗi lượt chuyển đổi, hãy đo lường giá trị giao dịch mua và số lượng giao dịch mua.
  • Lặp lại thao tác cho từng Cấu trúc chính

Báo cáo phân phối và tần suất phân lô (theo lô cho mỗi nhà quảng cáo)**

Đối với mỗi cấu trúc khoá tổng hợp, bạn sẽ cần các báo cáo lượt chuyển đổi được phân phối định kỳ. Bạn nên sử dụng công nghệ quảng cáo theo lô theo nhà quảng cáo (để phân tách dữ liệu trên mỗi báo cáo rõ ràng hơn và tổng hợp hiệu quả hơn) và sử dụng trường shared_info.scheduled_report_time của báo cáo để phân lô.

  • A: Hằng giờ
  • B: Hằng ngày
  • C: Hàng tuần

Ghi chú

  • Để tạo lô theo nhà quảng cáo, hãy xác minh SLA với nhà quảng cáo.
  • Việc phân lô thường xuyên hơn sẽ dẫn đến độ nhiễu cao hơn cho mỗi lô. (Tham khảo: Quyết định: Tần suất của lô).

  • Để tránh lỗi do phân lô không chính xác, hãy đảm bảo các lô sử dụng trường scheduled_report_time, chứ không phải report arrival time. Ví dụ: nếu bạn phân lô mỗi giờ, thì lô của bạn vào 11 giờ sáng chỉ nên bao gồm các báo cáo có scheduled_report_time trong khoảng từ 10 giờ sáng đến 11 giờ sáng và không phải các báo cáo đến trong khoảng thời gian từ 10 giờ sáng đến 11 giờ sáng với một scheduled_report_time khác (ví dụ: 9 giờ sáng).

Số liệu ước tính cho khối lượng báo cáo

  • Cấu trúc chính 1: 50.000 lượt chuyển đổi được phân bổ / 2160 (báo cáo hằng giờ, số giờ trong một quý) = 24 báo cáo tóm tắt mỗi giờ cho mỗi nhà quảng cáo (24 x 1000 nhà quảng cáo = 24 nghìn báo cáo tóm tắt)
  • Cấu trúc chính 2: 25.000 lượt chuyển đổi được phân bổ / 2160 (báo cáo hằng giờ, số giờ trong một quý) = 12 báo cáo tóm tắt mỗi giờ cho mỗi nhà quảng cáo (12 x 1000 nhà quảng cáo = 12 nghìn báo cáo tóm tắt)
  • Cấu trúc chính 3: Lặp lại
  • Tổng số báo cáo tóm tắt mỗi giờ = 24 báo cáo tóm tắt cho cấu trúc chính 1 + 12 báo cáo tóm tắt cho cấu trúc chính 2 + ... = ... mỗi giờ cho mỗi nhà quảng cáo

Tóm tắt phản hồi

Khi hiểu được những số liệu ước tính sau đây của các công nghệ quảng cáo, chúng ta có thể lập kế hoạch cho các tính năng và điểm cải tiến để hỗ trợ quy mô mà các công nghệ quảng cáo yêu cầu. Bạn nên chia sẻ những thông tin sau đây với chúng tôi. Hãy xem hướng dẫn về kích thước cho Dịch vụ tổng hợp trên AWS để biết thêm thông tin:

  • Khoá miền đầu vào tối đa (các khoá cần tổng hợp) cho mỗi công việc của dịch vụ tổng hợp
  • Số lượng báo cáo đầu vào tối đa trên mỗi công việc (số lượt chuyển đổi được phân bổ)
  • Số lượt đóng góp ước tính cho mỗi báo cáo (cặp khoá/giá trị trong một báo cáo)
  • Ước tính mức phân bổ số lượt chuyển đổi được phân bổ trên mỗi công việc
  • Ước tính số liệu phân bổ khoá miền trong một công việc
  • Số lượng công việc ước tính mỗi giờ/ngày/tuần