Cómo verificar a Googlebot

Puedes verificar si un rastreador web que accede a tu servidor es realmente Googlebot (o algún otro usuario-agente de Google). Esta opción es útil si te preocupa que generadores de spam o de contenido problemático accedan a tu sitio haciéndose pasar por Googlebot. Google no publica una lista pública de direcciones IP para que los propietarios de sitios web las incluyan en la lista de entidades permitidas. Esto se debe a que estos rangos de direcciones IP pueden cambiar, lo que podría provocar problemas para los propietarios de sitios web que las hayan convertido en hard-coded, por lo que debes ejecutar una búsqueda de DNS como se describe a continuación.

Para verificar que Googlebot es el rastreador, haz lo siguiente:

  1. Ejecuta una búsqueda de DNS inversa en la dirección IP de acceso desde tus registros con el comando host.
  2. Verifica que el nombre de dominio sea googlebot.com o google.com.
  3. Ejecuta una búsqueda de DNS directa en el nombre de dominio recuperado en el Paso 1 con el comando host en el nombre de dominio recuperado. Verifica que sea la misma que la dirección IP original de acceso desde tus registros.

Ejemplo 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77