Pemberian skor

Setelah pembuatan kandidat, model lain memberi skor dan memberi peringkat kandidat untuk memilih seperangkat item yang akan ditampilkan. Sistem rekomendasi mungkin memiliki beberapa kandidat generator yang menggunakan sumber berbeda, seperti sebagai berikut:

Contoh

• Item terkait dari model faktorisasi matriks.
• Fitur pengguna yang memperhitungkan personalisasi.
• "Lokal" vs "jauh" items; yaitu, mengambil informasi geografis perhitungkan.
• Item populer atau trending.
• {i>Social graph<i} (Grafik sosial); yaitu, item yang disukai atau direkomendasikan oleh teman-teman Anda.

Sistem menggabungkan berbagai sumber yang berbeda ini ke dalam kumpulan kandidat yang kemudian dinilai oleh satu model dan diberi peringkat menurut skor tersebut. Misalnya, sistem dapat melatih model untuk memprediksi probabilitas pengguna yang menonton video di YouTube, dengan mempertimbangkan hal berikut:

• fitur kueri (misalnya, histori tontonan pengguna, bahasa, negara, waktu)
• fitur video (misalnya, judul, tag, penyematan video)

Sistem kemudian dapat memberi peringkat video dalam kelompok kandidat berdasarkan terhadap prediksi model.

Mengapa tidak membiarkan kandidat generator memberi skor?

Karena generator kandidat menghitung skor (seperti ukuran kemiripan di ruang embedding), Anda mungkin tergoda untuk menggunakannya untuk menentukan peringkat ya. Namun, Anda harus menghindari praktik ini karena alasan berikut:

• Beberapa sistem mengandalkan beberapa generator kandidat. Skor dari generator yang berbeda mungkin tidak dapat dibandingkan.
• Dengan kumpulan kandidat yang lebih sedikit, sistem mampu menggunakan lebih banyak fitur dan model lebih kompleks yang dapat menangkap konteks dengan lebih baik.

Memilih fungsi obyektif untuk penskoran

Seperti yang mungkin Anda ingat dari Pengantar Masalah ML Framing, ML bisa bertindak seperti jin nakal: saya sangat senang bisa mempelajari tujuannya yang Anda berikan, tetapi Anda harus berhati-hati dengan apa yang Anda inginkan. Karakter jahil ini kualitas juga berlaku untuk sistem rekomendasi. Pilihan skor dapat sangat mempengaruhi peringkat item, dan pada akhirnya kualitas rekomendasi.

Contoh:

Klik ikon plus untuk mempelajari apa yang terjadi setelah menggunakan setiap ikon bisnis.

Maksimalkan Rasio Klik

Jika fungsi skor mengoptimalkan klik, sistem mungkin akan menyarankan video click-bait. Fungsi skor ini menghasilkan klik, tetapi tidak menciptakan pengalaman pengguna yang baik. Pengguna dapat memudar dengan cepat.

Maksimalkan Waktu Tonton

Jika fungsi skor mengoptimalkan waktu tonton, sistem mungkin menyarankan video yang sangat panjang, yang dapat menyebabkan pengalaman pengguna yang buruk. Perlu diketahui bahwa durasi tonton beberapa jam hanya boleh berlangsung lama.

Meningkatkan Keberagaman dan Memaksimalkan Waktu Tonton Sesi

Merekomendasikan video yang lebih pendek, tetapi yang cenderung menjaga berinteraksi dengan pengguna.

Bias posisi dalam penilaian

Item yang muncul di bagian bawah layar lebih kecil kemungkinannya untuk diklik daripada item yang muncul lebih tinggi di layar. Namun, saat menilai video, sistem biasanya tidak tahu di bagian mana layar tautan ke video itu akan pada akhirnya muncul. Membuat kueri model dengan semua kemungkinan posisi terlalu mahal. Bahkan jika melakukan kueri beberapa posisi bisa dilakukan, sistem mungkin masih tidak menemukan peringkat yang konsisten di beberapa skor peringkat.

Solusi

• Membuat peringkat yang tidak bergantung pada posisi.
• Beri peringkat semua kandidat seolah-olah mereka berada di posisi teratas di layar.