Réduire la vitesse d'exploration de Google

L'infrastructure de robots d'exploration Google utilise des algorithmes perfectionnés pour déterminer la vitesse d'exploration optimale pour un site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite, sans surcharger votre serveur. Dans certains cas, l'exploration de votre site par Google peut entraîner une surcharge critique sur votre infrastructure ou des coûts indésirables lors d'une panne. Pour remédier à ce problème, vous pouvez décider de réduire le nombre de requêtes effectuées par les robots d'exploration Google.

Comprendre la cause de la forte augmentation de l'exploration

Une augmentation soudaine de l'exploration peut être due à des problèmes d'efficacité dans la structure de votre site ou à d'autres problèmes liés à votre site. D'après les rapports que nous avons reçus par le passé, les causes les plus courantes sont les suivantes :

• Configuration inefficace des URL sur le site, généralement due à une fonctionnalité spécifique du site :
  • Navigation à facettes ou autres fonctionnalités de tri et de filtrage du site
  • Agenda contenant de nombreuses URL pour des dates spécifiques
• Cible d'annonce dynamique du Réseau de Recherche

Nous vous recommandons vivement de contacter votre hébergeur et d'examiner les journaux d'accès récents de votre serveur pour identifier la source du trafic et déterminer si elle correspond aux causes courantes de l'augmentation soudaine de l'exploration présentées ci-dessus. Consultez ensuite nos guides sur la gestion de l'exploration des URL de navigation à facettes et l'optimisation de l'efficacité de l'exploration.

Réduire le trafic des robots d'exploration de manière urgente (en cas d'urgence)

Avertissement : Lorsque vous envisagez de réduire la vitesse d'exploration de Google, gardez à l'esprit que les effets de cette action seront globaux. En ce qui concerne la recherche Google, Googlebot découvrira moins de nouvelles pages, les pages existantes seront actualisées moins fréquemment (par exemple, le prix et la disponibilité des produits pourront prendre plus de temps pour apparaître dans la recherche Google), et les pages supprimées pourront rester plus longtemps dans l'index. En ce qui concerne Google Ads, vos campagnes peuvent être annulées ou suspendues, et il est possible que vos annonces ne soient pas diffusées.

Si vous devez réduire la vitesse d'exploration de manière urgente pendant une courte période (par exemple, quelques heures, ou un à deux jours), renvoyez un code d'état de réponse HTTP 500, 503 ou 429 au lieu de 200 aux demandes d'exploration. L'infrastructure d'exploration de Google réduit la vitesse d'exploration de votre site lorsqu'elle rencontre un nombre important d'URL avec des codes d'état de réponse HTTP 500, 503 ou 429 (par exemple, si vous avez désactivé votre site). La vitesse d'exploration réduite affecte le nom d'hôte complet de votre site (par exemple, subdomain.example.com) et l'exploration des URL renvoyant des erreurs ainsi que de celles qui renvoient du contenu. Une fois le nombre d'erreurs réduit, la vitesse d'exploration recommence à augmenter automatiquement.

Avertissement : Nous vous déconseillons d'adopter cette approche pendant une longue période (plus d'un à deux jours), car cela pourrait avoir un impact négatif sur la façon dont votre site apparaît dans les produits Google. Par exemple, dans le cas de la recherche Google, si Googlebot observe ces codes d'état sur la même URL pendant plusieurs jours, l'URL peut être supprimée de l'index Google.

Demandes exceptionnelles de réduction de la vitesse d'exploration

Si vous ne pouvez pas transmettre d'erreurs aux robots d'exploration Google sur votre infrastructure, envoyez une demande spéciale pour signaler un problème de vitesse d'exploration inhabituellement élevée. Mentionnez le taux optimal pour votre site dans votre demande. Vous ne pouvez pas demander d'augmentation de la vitesse d'exploration. De plus, l'évaluation et le traitement de la demande peuvent prendre plusieurs jours.