Gérer la façon dont les robots d'exploration et les extracteurs Google interagissent avec votre site Web
Comprendre comment les user-agents de Google interagissent avec votre site Web peut vous aider à faire apparaître vos pages les plus importantes à davantage d'endroits dans l'écosystème Google, sans surcharger vos serveurs. Que vous soyez propriétaire ou développeur d'un site, cette documentation vous permet de mieux contrôler la façon dont votre site est exploré.
Valider les requêtes des robots d'exploration et des extracteurs Google
Vous pouvez vérifier que le robot d'exploration ou le récupérateur qui accède à votre serveur provient réellement de Google, comme Googlebot.
Réduire la vitesse d'exploration de Google
Les robots d'exploration de Google s'adaptent automatiquement à votre site Web et à votre serveur pour trouver et présenter efficacement vos contenus les plus récents et les plus intéressants. Pour vous aider à gérer les situations urgentes liées à votre serveur et à l'exploration, vous pouvez réduire de manière proactive la vitesse d'exploration, si nécessaire.
Gérer l'exploration avec votre fichier robots.txt
Vous pouvez utiliser un fichier robots.txt pour autoriser ou interdire l'exploration de pages individuelles ou de l'ensemble de votre site Web.
Comment les préférences d'exploration affectent l'affichage de votre site sur Google
L'infrastructure d'exploration de Google est partagée entre différents produits Google. Cela signifie que le respect des bonnes pratiques permet à votre contenu Web d'être découvert plus efficacement et mis en avant sur Google.
Google Search
La recherche Google utilise Googlebot pour explorer votre site et trouver du contenu pertinent pour les utilisateurs.
Gemini
Google-Extended est utilisé par les applications Gemini et l'API Vertex AI pour Gemini. En savoir plus sur Google-Extended
Google Shopping
Les préférences d'exploration adressées au user-agent Storebot-Google affectent toutes les surfaces de Google Shopping.
AdSense
Le robot d'exploration AdSense visite les sites participants afin de leur proposer des annonces pertinentes.
Google Actualités
Les préférences d'exploration adressées au user-agent Googlebot-News affectent le produit Google Actualités, y compris news.google.com et l'application Google Actualités.
NotebookLM
L'extracteur Google-NotebookLM demande des URL individuelles que les utilisateurs de NotebookLM ont fournies comme sources pour leurs projets.