Cara Google meng-crawl halaman adaptif lokal
Jika situs memiliki halaman adaptif terhadap lokalitas (artinya, situs menampilkan konten yang berbeda
berdasarkan negara yang terdeteksi atau bahasa pilihan pengunjung), Google mungkin tidak meng-crawl,
mengindeks, atau memberi peringkat semua konten Anda untuk lokalitas yang berbeda. Hal ini dikarenakan alamat IP
default crawler Googlebot tampaknya berbasis di Amerika Serikat. Selain itu, crawler
mengirimkan permintaan HTTP tanpa menyetel Accept-Language
di header permintaan.
Crawling yang terdistribusi secara geografis
Googlebot meng-crawl dengan alamat IP yang berbasis di luar AS, selain alamat IP yang berbasis di AS.
Seperti yang selalu kami anjurkan, jika Googlebot tampaknya berasal dari negara tertentu, perlakukan seperti Anda memperlakukan pengguna lain dari negara tersebut. Artinya, jika Anda memblokir pengguna yang berada di Amerika Serikat agar tidak dapat mengakses konten, tetapi mengizinkan pengunjung dari Australia, server Anda harus memblokir Googlebot jika tampaknya berasal dari Amerika Serikat, tetapi mengizinkan akses ke Googlebot jika tampaknya berasal dari Australia.
Pertimbangan lainnya
- Googlebot menggunakan string agen pengguna yang sama untuk semua konfigurasi crawling. Pelajari lebih lanjut string agen pengguna yang digunakan oleh crawler Google.
- Anda dapat memverifikasi crawling Googlebot yang terdistribusi secara geografis menggunakan pencarian balik DNS.
- Jika situs Anda menggunakan protokol pengecualian robot,
pastikan Anda menerapkannya secara konsisten
di seluruh lokalitas. Artinya, tag
meta
robots dan file robots.txt harus menetapkan aturan yang sama di setiap lokalitas.