Reduce la frecuencia de rastreo de Google

La infraestructura del rastreador de Google tiene algoritmos sofisticados para determinar la frecuencia de rastreo óptima de un sitio. Nuestro objetivo es rastrear la mayor cantidad posible de páginas de tu sitio en cada visita sin sobrecargar el servidor. En algunos casos, el rastreo que hace Google de tu sitio puede ocasionar una carga crítica en la infraestructura o generar costos no deseados durante una interrupción. Para solucionar este problema, puedes reducir la cantidad de solicitudes que realizan los rastreadores de Google.

Comprende la causa del aumento repentino del rastreo

Un aumento abrupto en el rastreo puede deberse a ineficiencias de la estructura de tu sitio o a otro tipo de problemas con él. Según los informes que recibimos en el pasado, las causas más comunes son las siguientes:

• Configuración ineficiente de las URLs en el sitio, que suele deberse a una funcionalidad específica del sitio:
  • Navegación por facetas o alguna otra función de ordenamiento y filtrado del sitio
  • Un calendario con muchas URLs para fechas específicas
• Una segmentación de anuncios dinámicos de búsqueda

Te recomendamos que consultes con tu empresa de hosting y que revises los registros de acceso recientes de tu servidor para comprender la fuente del tráfico y ver si se ajusta a las causas comunes mencionadas anteriormente del aumento repentino del rastreo. Luego, consulta nuestras guías sobre cómo administrar el rastreo de URLs de navegación por facetas y cómo optimizar la eficiencia del rastreo.

Reduce de forma urgente el tráfico del rastreador (para emergencias)

Advertencia: Si decides reducir la frecuencia de rastreo de Google, ten en cuenta que esa acción tendrá efectos generales. En el caso de la Búsqueda, Googlebot descubrirá menos páginas nuevas, y las páginas existentes se actualizarán con menos frecuencia (por ejemplo, los precios y la disponibilidad de los productos pueden tardar más en reflejarse en la Búsqueda). Además, es posible que las páginas que quites permanezcan más tiempo en el índice. En Google Ads, es posible que se cancelen o se detengan tus campañas, y que tus anuncios no se publiquen.

Si necesitas reducir la frecuencia de rastreo de manera urgente durante un período breve (por ejemplo, un par de horas, o uno o dos días), devuelve códigos de estado de respuesta HTTP 500, 503 o 429, en lugar del código 200, a las solicitudes de rastreo. La infraestructura de rastreo de Google reduce la frecuencia de rastreo de tu sitio cuando encuentra una cantidad significativa de URLs con códigos de estado de respuesta HTTP 500, 503 o 429 (por ejemplo, si inhabilitaste tu sitio web). La frecuencia de rastreo reducida afecta a todo el nombre de host de tu sitio (por ejemplo, subdomain.example.com), el rastreo de las URLs que devuelven errores y el de las que devuelven contenido. Una vez que se reduzca la cantidad de errores, la frecuencia de rastreo comenzará a aumentar automáticamente otra vez.

Advertencia: No recomendamos que realices esta acción durante un período prolongado (es decir, más de 1 o 2 días), ya que puede tener un efecto negativo sobre la forma en que tu sitio aparece en los productos de Google. Por ejemplo, en el caso de la Búsqueda, si Googlebot observa estos códigos de estado en la misma URL durante varios días, es posible que la quite del índice de Google.

Solicitudes excepcionales para reducir la frecuencia de rastreo

Si, debido a tu infraestructura, no puedes mostrar errores a los rastreadores de Google, envía una solicitud especial para informar un problema con una frecuencia de rastreo inusualmente alta, en la que menciones la frecuencia óptima para tu sitio. No puedes solicitar un aumento en la frecuencia de rastreo, y la evaluación y concreción de la solicitud puede tardar varios días.