Gerenciar o rastreamento de URLs de navegação facetada

A navegação facetada é um recurso comum de sites que permite aos visitantes mudar a forma como os itens (por exemplo, produtos, artigos ou eventos) são exibidos em uma página. É um recurso conhecido e útil, mas a implementação mais comum, com base em parâmetros de URL, pode gerar espaços de URL infinitos que prejudicam o site de algumas maneiras:

  • Rastreamento excessivo: como os URLs criados para a navegação facetada parecem ser novos e os rastreadores não podem determinar se os URLs serão úteis sem fazer o rastreamento primeiro, os rastreadores geralmente acessam um número muito grande de URLs de navegação facetada antes que os processos dos rastreadores determinem que os URLs são, de fato, inúteis.
  • Rastreamentos de descoberta mais lentos: seguindo o ponto anterior, se o rastreamento for usado em URLs inúteis, os rastreadores terão menos tempo para usar em URLs novos e úteis.

Um URL de navegação facetada típico pode conter vários parâmetros na string de consulta relacionados às propriedades dos itens filtrados. Exemplo: 

https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny

Mudar qualquer um dos parâmetros de URL products, color e size mostraria um conjunto diferente de itens na página. Isso geralmente significa um grande número de combinações possíveis de filtros, o que se traduz em um grande número de URLs possíveis. Para economizar recursos, recomendamos lidar com esses URLs de uma das seguintes maneiras:

  • Se você não precisar que os URLs de navegação facetada sejam indexados, evite o rastreamento desses URLs.
  • Se você precisar que os URLs de navegação facetada sejam indexados, verifique se eles seguem nossas práticas recomendadas descritas na seção a seguir. O rastreamento de URLs facetados tende a consumir grandes quantidades de recursos de computação dos sites devido à quantidade de URLs e operações necessárias para renderizar essas páginas.

Impedir o rastreamento de URLs de navegação facetada

Se você quiser economizar recursos do servidor e não precisar que seus URLs de navegação facetada apareçam na Pesquisa Google, é possível impedir o rastreamento desses URLs de uma das seguintes maneiras.

  • Use robots.txt para impedir o rastreamento de URLs de navegação facetada. Muitas vezes, não há um bom motivo para permitir o rastreamento de itens filtrados, já que ele consome recursos do servidor sem nenhum benefício ou com benefícios mínimos. Em vez disso, permita o rastreamento apenas das páginas dos itens individuais com uma página de detalhes dedicada que mostra todos os produtos sem filtros aplicados. 
    user-agent: Googlebot
disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$
  • Use fragmentos de URL para especificar filtros. A Pesquisa Google geralmente não oferece suporte a fragmentos de URL no rastreamento e na indexação. Se o mecanismo de filtragem for baseado em fragmentos de URL, ele não terá impacto no rastreamento (positivo ou negativo). Por exemplo, em vez de parâmetros de URL, use fragmentos de URL: 
    https://example.com/items.shtm#products=fish&color=radioactive_green&size=tiny

Outras maneiras de indicar uma preferência de quais URLs de navegação facetada (não) rastrear é usando o elemento link rel="canonical" e o atributo âncora rel="nofollow". No entanto, esses métodos geralmente são menos eficazes a longo prazo do que os métodos mencionados anteriormente.

  • O uso de rel="canonical" para especificar qual URL é a versão canônica de um URL de navegação facetada pode, com o tempo, diminuir o volume de rastreamento das versões não canônicas desses URLs. Por exemplo, se você tiver três tipos filtrados de página, considere apontar o rel="canonical" para a versão não filtrada: https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny especifica <link rel="canonical" href="https://example.com/items.shtm?products=fish" >.
  • O uso de atributos rel="nofollow" em pontos de fixação que apontam para páginas de resultados filtrados pode ser benéfico, mas cada ponto de fixação que aponta para um URL específico precisa ter o atributo rel="nofollow" para que seja eficaz.

Verifique se os URLs de navegação facetada são ideais para a Web

Se você precisar que os URLs de navegação facetada sejam rastreados e indexados, siga estas práticas recomendadas para minimizar os efeitos negativos do rastreamento de um grande número de URLs em potencial no seu site:

  1. Use o separador de parâmetro de URL padrão do setor "&". Caracteres como vírgula (,), ponto e vírgula (;) e colchetes ([ e ]) são difíceis de serem detectados pelos rastreadores como separadores de parâmetros. Isso ocorre porque, na maioria das vezes, eles não são separadores.
  2. Se você estiver codificando filtros no caminho do URL, como /products/fish/green/tiny, verifique se a ordem lógica dos filtros sempre permanece a mesma e se não há filtros duplicados.
  3. Retornar um código de status HTTP 404 quando uma combinação de filtros não retornar resultados. Se não houver peixes verdes no inventário do site, os usuários e os rastreadores vão receber um erro "não encontrado" com o código de status HTTP adequado (404). Isso também vai acontecer se o URL tiver filtros duplicados ou combinações de filtros sem sentido, além de URLs de paginação inexistentes. Da mesma forma, se uma combinação de filtros não tiver resultados, não redirecione para uma página de erro "não encontrado" comum. Em vez disso, exiba um erro "não encontrado" com o código de status HTTP 404 no URL em que ele foi encontrado.