L'exploration par Google des pages adaptables aux paramètres régionaux
Si votre site comporte des pages adaptables aux paramètres régionaux (autrement dit, si les pages de votre site Web affichent un contenu différent en fonction du pays estimé ou de la langue préférée du visiteur), il est possible que nous ne puissions pas explorer, indexer ou classer la totalité de votre contenu adaptable à de tels paramètres. Cela est dû au fait que les adresses IP par défaut du robot d'exploration Googlebot semblent être situées aux États-Unis. De plus, l'en-tête des requêtes HTTP qu'il envoie ne contient pas l'attribut Accept-Language
.
Exploration géodistribuée
Googlebot effectue des explorations avec des adresses IP situées hors des États-Unis, en plus des adresses IP basées aux États-Unis.
Comme nous l'avons toujours recommandé, lorsque Googlebot semble provenir d'un certain pays, il vous faut le traiter comme vous traiteriez tout autre internaute de ce pays. Cela signifie que si vous empêchez les internautes basés aux États-Unis d'accéder à votre contenu, mais que vous permettez aux visiteurs situés en Australie de le consulter, votre serveur doit bloquer Googlebot s'il semble être en provenance des États-Unis, mais le laisser accéder au contenu s'il semble provenir d'Australie.
Autres considérations
- Googlebot utilise la même chaîne de user-agents pour toutes les configurations d'exploration. En savoir plus sur les chaînes de user-agent utilisées par les robots d'exploration Google
- Vous pouvez vérifier les explorations géodistribuées de Googlebot à l'aide de résolutions DNS inverses.
- Assurez-vous que votre site applique le protocole d'exclusion des robots de manière cohérente pour tous les paramètres régionaux. Cela signifie que les balises
meta
pour les robots et le fichier robots.txt doivent donner les mêmes règles pour tous les paramètres régionaux.