Comprendre comment les user-agents de Google interagissent avec votre site Web peut vous aider à faire apparaître vos pages les plus importantes à davantage d'endroits dans l'écosystème Google, sans surcharger vos serveurs. Que vous soyez propriétaire ou développeur d'un site, cette documentation vous permet de mieux contrôler la façon dont votre site est exploré.
Vous pouvez vérifier que le robot d'exploration ou le récupérateur qui accède à votre serveur provient réellement de Google, comme Googlebot.
Les robots d'exploration de Google s'adaptent automatiquement à votre site Web et à votre serveur pour trouver et présenter efficacement vos contenus les plus récents et les plus intéressants. Pour vous aider à gérer les situations urgentes liées à votre serveur et à l'exploration, vous pouvez réduire de manière proactive la vitesse d'exploration, si nécessaire.
Vous pouvez utiliser un fichier robots.txt pour autoriser ou interdire l'exploration de pages individuelles ou de l'ensemble de votre site Web.

Comment les préférences d'exploration affectent l'affichage de votre site sur Google

L'infrastructure d'exploration de Google est partagée entre différents produits Google. Cela signifie que le respect des bonnes pratiques permet à votre contenu Web d'être découvert plus efficacement et mis en avant sur Google.
La recherche Google utilise Googlebot pour explorer votre site et trouver du contenu pertinent pour les utilisateurs.
Google-Extended est utilisé par les applications Gemini et l'API Vertex AI pour Gemini. En savoir plus sur Google-Extended
Les préférences d'exploration adressées au user-agent Storebot-Google affectent toutes les surfaces de Google Shopping.
Le robot d'exploration AdSense visite les sites participants afin de leur proposer des annonces pertinentes.
Les préférences d'exploration adressées au user-agent Googlebot-News affectent le produit Google Actualités, y compris news.google.com et l'application Google Actualités.
L'extracteur Google-NotebookLM demande des URL individuelles que les utilisateurs de NotebookLM ont fournies comme sources pour leurs projets.