Reduzir a taxa de rastreamento do Google

A infraestrutura do rastreador do Google tem algoritmos sofisticados para determinar a taxa de rastreamento ideal para um site. Nosso objetivo é rastrear o maior número possível de páginas no seu site a cada visita, sem sobrecarregar o servidor. Em alguns casos, o rastreamento que o Google faz do seu site pode causar uma carga crítica na infraestrutura ou custos indesejados durante uma interrupção. Para atenuar esse problema, você pode reduzir o número de solicitações feitas pelos rastreadores do Google.

Entender a causa do aumento acentuado no rastreamento

Um aumento significativo no rastreamento pode ser causado por ineficiências na estrutura do site ou problemas com ele. Com base nas denúncias que recebemos, as causas mais comuns são as seguintes:

• Configuração ineficiente de URLs no site, geralmente causada por uma funcionalidade específica do site:
  • Navegação facetada ou outra funcionalidade de classificação e filtragem do site
  • Um calendário com muitos URLs para datas específicas
• Uma segmentação de anúncios dinâmicos de pesquisa

Recomendamos que você verifique com o provedor de hospedagem e analise os registros de acesso recentes do seu servidor para entender a origem do tráfego e conferir se ele se encaixa nas causas comuns mencionadas do aumento repentino no rastreamento. Em seguida, consulte nossos guias sobre como gerenciar o rastreamento de URLs de navegação facetada e como otimizar a eficiência do rastreamento.

Reduzir com urgência o tráfego do rastreador (para emergências)

Aviso: ao considerar a redução da taxa de rastreamento do Google, lembre-se de que essa ação terá efeitos abrangentes. Para a Pesquisa, o Googlebot vai descobrir menos páginas novas, e as páginas existentes serão atualizadas com menos frequência (por exemplo, os preços e a disponibilidade de produtos podem levar mais tempo para aparecer na Pesquisa) e as páginas removidas podem permanecer no índice por mais tempo. No Google Ads, suas campanhas podem ser canceladas ou pausadas, e seus anúncios podem não ser veiculados.

Se você precisar reduzir com urgência a taxa de rastreamento por um curto período (por exemplo, algumas horas ou um ou dois dias), retorne 500, 503 ou 429 código de status de resposta HTTP em vez de 200 às solicitações de rastreamento. A infraestrutura de rastreamento do Google reduz a taxa de rastreamento do site quando encontra um número significativo de URLs com códigos de status de resposta HTTP 500, 503 ou 429 (por exemplo, se você desativou o site). A taxa de rastreamento reduzida afeta todo o nome do host do site (por exemplo, subdomain.example.com), tanto o rastreamento dos URLs que retornam erros quanto os URLs que retornam conteúdo. Quando o número desses erros for reduzido, a taxa de rastreamento começará a aumentar automaticamente.

Aviso: não é recomendável fazer isso por um período longo (mais de 1 ou 2 dias), porque isso pode afetar negativamente a aparência do seu site nos produtos do Google. Por exemplo, no caso da Pesquisa, se o Googlebot observar esses códigos de status no mesmo URL por vários dias, o URL poderá ser removido do índice do Google.

Solicitações excepcionais para reduzir a taxa de rastreamento

Se não for possível exibir erros para os rastreadores do Google na sua infraestrutura, registre uma solicitação especial para informar um problema com a taxa de rastreamento anormalmente alta, mencionando a taxa ideal para seu site na solicitação. Não é possível solicitar um aumento na taxa de rastreamento, e pode levar vários dias para que a solicitação seja avaliada e atendida.