Memverifikasi Googlebot dan crawler Google lainnya

Anda dapat memverifikasi apakah web crawler yang mengakses server Anda benar-benar crawler Google, seperti Googlebot. Tindakan ini berguna jika Anda khawatir terhadap spammer atau pembuat masalah lainnya yang mengakses situs Anda dengan mengaku sebagai Googlebot.

Ada dua metode untuk memverifikasi crawler Google:

  • Secara manual: Untuk pencarian satu kali, gunakan alat command line. Metode ini sudah cukup bagi sebagian besar kasus penggunaan.
  • Secara otomatis: Untuk pencarian dalam skala besar, gunakan solusi otomatis untuk mencocokkan alamat IP crawler dengan daftar alamat IP Googlebot yang dipublikasikan.

Menggunakan alat command line

  1. Jalankan pencarian DNS terbalik di alamat IP pengaksesan dari log Anda, menggunakan perintah host.
  2. Verifikasi bahwa nama domain adalah googlebot.com atau google.com.
  3. Jalankan pencarian DNS maju pada nama domain yang diambil di langkah pertama menggunakan perintah host pada nama domain yang diambil.
  4. Verifikasi bahwa alamat tersebut sama dengan alamat IP pengaksesan asli dari log Anda.

Contoh 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Contoh 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Menggunakan solusi otomatis

Selain yang sudah disebutkan, Anda dapat mengidentifikasi Googlebot berdasarkan alamat IP dengan mencocokkan alamat IP crawler dengan daftar alamat IP Googlebot. Untuk alamat IP Google lainnya tempat situs Anda mungkin diakses (misalnya, berdasarkan permintaan pengguna atau Apps Script), cocokkan alamat IP pengaksesan dengan daftar alamat IP Google.