Atualizar seu arquivo robots.txt

Caso você use um serviço de hospedagem de sites, como o Wix ou o Blogger, talvez não seja necessário (ou possível) editar seu arquivo robots.txt diretamente. Em vez disso, seu provedor pode incluir uma seção de configurações ou outro recurso para informar aos mecanismos de pesquisa se devem ou não rastrear sua página.

Se você quiser mudar a visibilidade de uma das suas páginas nos mecanismos de pesquisa, busque instruções de como fazer isso no seu serviço de hospedagem. Por exemplo, pesquise "ocultar a página dos mecanismos de pesquisa no Wix".

Para atualizar as regras do seu arquivo robots.txt, faça o download de uma cópia desse arquivo no seu site e faça as edições necessárias.

Fazer o download do arquivo robots.txt

Você pode fazer o download do seu arquivo robots.txt de várias maneiras, por exemplo:

• Acesse o arquivo robots.txt, como https://example.com/robots.txt, e copie o conteúdo dele em um novo arquivo de texto no seu computador. Siga as diretrizes relacionadas ao formato do arquivo ao criar o novo arquivo local.
• Faça o download de uma cópia real do seu arquivo robots.txt com uma ferramenta como cURL. Exemplo:

  curl https://example.com/robots.txt -o robots.txt

• Use o relatório de robots.txt no Search Console para copiar o conteúdo do arquivo robots.txt, que pode ser colado em um arquivo no seu computador.

Editar seu arquivo robots.txt

Abra o arquivo robots.txt transferido do site em um editor de texto e faça as edições necessárias nas regras. Use a sintaxe correta e salve o arquivo com a codificação UTF-8.

Fazer upload do arquivo robots.txt

Faça upload do novo arquivo robots.txt para o diretório raiz do site como um arquivo de texto chamado robots.txt. A forma como você faz upload de um arquivo para seu site depende muito da plataforma e do servidor. Consulte nossas dicas para receber ajuda com o upload de um arquivo robots.txt para seu site.

Se você não tiver permissão para fazer upload dos arquivos no diretório raiz do site, entre em contato com o gerente do domínio para fazer mudanças.

Por exemplo, se a página inicial do site estiver em subdomain.example.com/site/example/, você provavelmente não poderá atualizar o arquivo robots.txt em subdomain.example.com/robots.txt. Nesse caso, entre em contato com o proprietário de example.com/ para fazer as mudanças necessárias no arquivo robots.txt.

Atualizar o cache do robots.txt do Google

Durante o processo de rastreamento automático, os rastreadores do Google detectam as mudanças feitas no arquivo robots.txt e atualizam a versão em cache a cada 24 horas. Se você precisar atualizar o cache mais rapidamente, use a função Solicitar um novo rastreamento do relatório do robots.txt.