Actualizar el archivo robots.txt
Para actualizar las reglas del archivo robots.txt, descarga una copia desde tu sitio y haz los cambios que consideres necesarios.
Descargar el archivo robots.txt
Puedes descargar el archivo robots.txt de varias formas. Algunas de ellas son las siguientes:
-
Ve al archivo robots.txt (por ejemplo, desde la ruta
https://example.com/robots.txt) y copia su contenido en un nuevo archivo de texto del ordenador. Recuerda seguir las directrices relacionadas con el formato de archivo al crear el nuevo archivo local. -
Descarga una copia real del archivo robots.txt con una herramienta como cURL. Por ejemplo:
curl https://example.com/robots.txt -o robots.txt
- Usa el informe de robots.txt de Search Console para copiar el contenido de tu archivo robots.txt y pegarlo en un archivo de tu ordenador.
Editar el archivo robots.txt
Abre el archivo robots.txt que has descargado de tu sitio en un editor de texto y haz los cambios necesarios en las reglas. Debes utilizar la sintaxis correcta y guardar el archivo con codificación UTF-8.
Subir el archivo robots.txt
Sube tu nuevo archivo robots.txt al directorio raiz de tu sitio como un archivo de texto llamado "robots.txt". La forma de subir un archivo a tu sitio depende de la plataforma y del servidor que se use. Consulta nuestros consejos sobre cómo subir un archivo robots.txt a tu sitio.
Actualizar la caché del archivo robots.txt de Google
Durante el proceso de rastreo automático, los rastreadores de Google detectan los cambios que has hecho en el archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas. Si necesitas actualizar la caché más rápido, utiliza la función Solicitar un nuevo rastreo del informe robots.txt.