Mettre à jour votre fichier robots.txt

Si vous utilisez un service d'hébergement de site Web, tel que Wix ou Blogger, il n'est pas toujours nécessaire (ou possible) de modifier directement le fichier robots.txt. Au lieu de cela, une page de paramètres de recherche ou un autre mécanisme sont mis à votre disposition pour indiquer aux moteurs de recherche s'ils peuvent ou non explorer votre page.

Si vous souhaitez masquer l'affichage (ou annuler le masquage) d'une de vos pages auprès des moteurs de recherche, renseignez-vous sur la marche à suivre pour modifier la visibilité de votre page en fonction de votre service d'hébergement. Par exemple, effectuez la recherche "empêcher les moteurs de recherche de voir une page hébergée sur wix".

Pour mettre à jour les règles de votre fichier robots.txt, téléchargez une copie de ce fichier à partir de votre site, puis apportez les modifications nécessaires.

Télécharger votre fichier robots.txt

Vous pouvez télécharger votre fichier robots.txt de différentes manières :

• Accédez à votre fichier robots.txt (sous https://example.com/robots.txt, par exemple), puis copiez son contenu dans un nouveau fichier texte sur votre ordinateur. Veillez à suivre les consignes relatives au format de fichier lors de la création du fichier local.
• Téléchargez une copie réelle de votre fichier robots.txt à l'aide d'un outil comme cURL. Exemple :

  curl https://example.com/robots.txt -o robots.txt

• Utilisez le rapport robots.txt de la Search Console pour copier le contenu de votre fichier robots.txt, que vous pourrez ensuite coller dans un fichier sur votre ordinateur.

Modifier le fichier robots.txt

Ouvrez le fichier robots.txt que vous avez téléchargé depuis votre site dans un éditeur de texte et apportez les modifications nécessaires aux règles. Veillez à utiliser la syntaxe correcte et à enregistrer le fichier avec un encodage UTF-8.

Importer votre fichier robots.txt

Importez le nouveau fichier robots.txt dans le répertoire racine de votre site en tant que fichier texte avec le nom robots.txt. La méthode de transfert d'un fichier vers votre site dépend en grande partie de la plate-forme et du serveur. Pour en savoir plus sur l'importation d'un fichier robots.txt sur votre site, consultez ces conseils.

Si vous n'êtes pas autorisé à ajouter vos fichiers au répertoire racine de votre site, contactez le gestionnaire de votre domaine pour procéder aux modifications.

Par exemple, si la page d'accueil de votre site se trouve sous subdomain.example.com/site/example/, vous ne pourrez probablement pas mettre à jour le fichier robots.txt à l'adresse subdomain.example.com/robots.txt. Dans ce cas, contactez le propriétaire du domaine example.com/ afin d'apporter les modifications nécessaires au fichier robots.txt.

Actualiser le cache robots.txt de Google

Au cours du processus d'exploration automatique, les robots d'exploration Google remarquent les modifications que vous avez apportées à votre fichier robots.txt et mettent à jour la version en cache toutes les 24 heures. Si vous devez mettre à jour le cache plus rapidement, utilisez la fonction Demander une nouvelle exploration du rapport robots.txt.