Reducir la frecuencia de rastreo del robot de Google

Mediante sofisticados algoritmos, Google determina cuál es la frecuencia óptima con la que se debe rastrear un sitio. En cada visita, se intentan rastrear tantas páginas de tu sitio como permita el ancho de banda de tu servidor. En algunos casos, el rastreo que hace Google de tu sitio web puede llegar a imponer una carga excesiva en tu infraestructura o generar costes no deseados por una interrupción del servicio. Para solucionar este problema, puedes reducir el número de solicitudes del robot de Google.

Advertencia: Si estás pensando en reducir la frecuencia de rastreo del robot de Google, ten en cuenta que tendrá repercusión sobre otros aspectos. El robot de Google descubrirá un número menor de páginas nuevas, las páginas eliminadas seguirán mostrándose en el índice durante más tiempo y las páginas existentes se actualizarán con menos frecuencia, lo que hará, por ejemplo, que los precios y la disponibilidad del producto puedan tardar más tiempo en aparecer en la Búsqueda.

Si necesitas reducir urgentemente la frecuencia de rastreo durante un periodo breve (por ejemplo, un par de horas o 1 o 2 días), devuelve un código de respuesta HTTP 500, 503 o 429 en lugar de 200 a las solicitudes de rastreo. El robot de Google reduce la frecuencia de rastreo de tu sitio cuando detecta un número significativo de URLs con códigos de estado de respuesta HTTP 500, 503 o 429; por ejemplo, si has inhabilitado tu sitio web. La reducción de la frecuencia de rastreo afecta a todo el nombre de host de tu sitio (por ejemplo, subdomain.example.com), tanto al rastreo de las URLs que devuelven errores como al de las URLs que devuelven contenido. Una vez que se haya reducido el número de estos errores, la frecuencia de rastreo empezará a aumentar automáticamente.

Ten en cuenta que, si se produce un aumento considerable del rastreo, puede deberse a deficiencias en la estructura de tu sitio o a problemas con tu sitio. Consulta nuestra guía sobre cómo optimizar la eficiencia del rastreo.

Advertencia: No es recomendable dejar esos códigos durante mucho tiempo, es decir, más de uno o dos días. Si el robot de Google detecta estos códigos de estado en la misma URL durante varios días, puede que la retire del índice de Google.

Si no es posible servir errores al robot de Google en tu infraestructura, presenta una solicitud especial para reducir la frecuencia de rastreo. No puedes solicitar un aumento de la frecuencia de rastreo.