Agen pengguna Duplex on the Web

DuplexWeb-Google adalah agen pengguna yang mendukung layanan Duplex on the web. Anda dapat melihat token agen pengguna dan string agen pengguna lengkap di sini.

Frekuensi dan perilaku crawling

  • Layanan yang menggunakan agen pengguna DuplexWeb-Google tidak akan melakukan pembelian atau tindakan signifikan lainnya saat meng-crawl situs Anda.
  • Crawl agen pengguna DuplexWeb-Google terjadi beberapa kali dalam sehari hingga beberapa kali dalam satu jam, bergantung fitur yang dilatih, tetapi proses ini telah diperhitungkan agar tidak membebani situs atau mengganggu traffic.
  • Crawl agen pengguna DuplexWeb-Google tidak digunakan oleh Google Penelusuran untuk pengindeksan. Karena tidak digunakan untuk pengindeksan, agen pengguna DuplexWeb-Google tidak mengenali perintah noindex.
  • Google Analytics tidak mencatat permintaan halaman yang dibuat oleh agen pengguna DuplexWeb-Google selama crawling dan analisis.

Menggunakan aturan robots.txt untuk mengontrol crawling

Anda harus memblokir agen pengguna DuplexWeb-Google secara eksplisit menggunakan aturan Disallow robots.txt untuk mencegahnya meng-crawl situs Anda. Menonaktifkan crawling (pelatihan) di setelan properti Search Console saja tidak cukup.

Biasanya, agen pengguna DuplexWeb-Google mematuhi aturan robots.txt, dengan pengecualian signifikan berikut:

  • Jika Duplex on the web diaktifkan menggunakan Search Console (default), agen pengguna DuplexWeb-Google mengabaikan aturan Disallow di grup agen pengguna karakter pengganti *.
  • Jika Duplex on the web dinonaktifkan menggunakan Search Console, agen pengguna DuplexWeb-Google mengikuti aturan Disallow dalam grup agen pengguna karakter pengganti *. Contoh:
# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including DuplexWeb-Google.
User-agent: *
Disallow: /