Googlebot'u ve diğer Google tarayıcılarını doğrulama

Sunucunuza erişen bir web tarayıcısının Googlebot gibi gerçekten bir Google tarayıcısı olup olmadığını doğrulayabilirsiniz. Spam yapanların veya kötü niyetli başka kişilerin Googlebot olduklarını iddia ederek sitenize eriştiğinden şüpheleniyorsanız bu yararlı bir yöntemdir.

Google tarayıcılarını doğrulamanın iki yöntemi vardır:

  • Manuel olarak: Tek seferlik aramalarda komut satırı araçlarını kullanın. Bu yöntem çoğu kullanım alanı için yeterlidir.
  • Otomatik olarak: Büyük ölçekli aramalarda tarayıcının IP adresini, yayınlanan Googlebot IP adresleri listesiyle eşleştirmek için otomatik bir çözüm kullanın.

Komut satırı araçlarını kullanma

  1. Günlüklerinizde, erişimde bulunan IP adresi için host komutunu kullanarak ters DNS araması çalıştırın.
  2. Alan adının googlebot.com veya google.com olduğunu doğrulayın.
  3. 1. adımda aldığınız alan adı için ileriye doğru DNS araması çalıştırın. Bunun için, alınan alan adında host komutunu kullanın.
  4. Bunun, günlüklerinizde kayıtlı, orijinal erişimde bulunan IP adresiyle aynı olduğunu doğrulayın.

Örnek 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Örnek 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Otomatik çözümleri kullanma

Alternatif olarak da tarayıcının IP adresini, Googlebot IP adresleri listesiyle eşleştirerek Googlebot'u IP adresine göre tanımlayabilirsiniz. Diğer tüm Google tarayıcılarında ise tarayıcının IP adresini, Google IP adreslerinin tam listesiyle eşleştirin.