Réduire la vitesse d'exploration de Googlebot

Google dispose d'algorithmes perfectionnés qui déterminent la vitesse d'exploration optimale pour chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite, sans surcharger la bande passante de votre serveur. Dans certains cas, l'exploration de votre site par Google peut entraîner une surcharge critique sur votre infrastructure ou des coûts indésirables lors d'une panne. Pour remédier à ce problème, vous pouvez décider de réduire le nombre de requêtes effectuées par Googlebot.

Avertissement : Lorsque vous envisagez de réduire la vitesse d'exploration de Googlebot, gardez à l'esprit que les effets de cette action seront globaux. Googlebot découvrira moins de nouvelles pages, les pages existantes seront actualisées moins fréquemment (par exemple, les prix et la disponibilité des produits pourront prendre plus de temps pour apparaître dans la recherche Google), et les pages supprimées risqueront d'être conservées plus longtemps dans l'index.

Si vous devez réduire la vitesse d'exploration de manière urgente pendant une courte période (par exemple, quelques heures, ou un à deux jours), renvoyez un code d'état de réponse HTTP 500, 503 ou 429 au lieu de 200 aux demandes d'exploration. Googlebot réduit la vitesse d'exploration de votre site lorsqu'il rencontre un nombre important d'URL avec des codes d'état de réponse HTTP 500, 503 ou 429 (par exemple, si vous avez désactivé votre site). La vitesse d'exploration réduite affecte le nom d'hôte complet de votre site (par exemple, subdomain.example.com) et l'exploration des URL renvoyant des erreurs ainsi que de celles qui renvoient du contenu. Une fois le nombre d'erreurs réduit, la vitesse d'exploration recommence à augmenter automatiquement.

N'oubliez pas qu'une forte augmentation de l'exploration peut être due à des inefficacités dans la structure de votre site ou à d'autres problèmes. Consultez notre guide sur l'optimisation de l'efficacité de l'exploration.

Avertissement : Nous vous déconseillons d'adopter cette approche pendant une longue période (plus d'un à deux jours). Si Googlebot observe ces codes d'état sur la même URL pendant plusieurs jours, il peut la supprimer de l'index Google.

Si la diffusion d'erreurs à Googlebot n'est pas possible sur votre infrastructure, envoyez une demande spéciale pour réduire la vitesse d'exploration. Notez que vous ne pouvez pas demander d'augmentation de la vitesse d'exploration.