Cómo actualizar el archivo robots.txt
Para actualizar las reglas de tu archivo robots.txt existente, descarga una copia de ese archivo desde tu sitio y realiza los cambios necesarios.
Cómo descargar el archivo robots.txt
Puedes descargar el archivo robots.txt de varias maneras, por ejemplo:
-
Navega al archivo robots.txt, por ejemplo,
https://example.com/robots.txt, y copia su contenido en un archivo de texto nuevo, en la computadora. Asegúrate de seguir los lineamientos relacionados con el formato de archivo cuando crees el archivo local nuevo. -
Descarga una copia real del archivo robots.txt con una herramienta como cURL. Por ejemplo:
curl https://example.com/robots.txt -o robots.txt
- Usa el informe de robots.txt de Search Console para copiar el contenido de tu archivo robots.txt, que luego puedes pegar en un archivo en tu computadora.
Cómo editar el archivo robots.txt
Abre el archivo robots.txt que descargaste de tu sitio en un editor de texto y realiza los cambios necesarios en las reglas. Asegúrate de utilizar la sintaxis correcta y de guardar el archivo con la codificación UTF-8.
Cómo subir el archivo robots.txt
Sube el nuevo archivo robots.txt al directorio raíz de tu sitio como un archivo de texto llamado robots.txt. La manera en que debes subir un archivo a tu sitio depende, en gran medida, de la plataforma y del servidor. Consulta nuestras sugerencias y obtén ayuda para subir un archivo robots.txt a tu sitio.
Cómo actualizar la caché de robots.txt de Google
Durante el proceso de rastreo automático, los rastreadores de Google detectan los cambios que realizaste en el archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas. Si necesitas actualizar la caché más rápido, usa la función Solicitar un nuevo rastreo del informe de robots.txt.