Feedfetcher

Com o Feedfetcher, o Google rastreia feeds RSS ou Atom para o Google Notícias e o PubSubHubbub. O Feedfetcher armazena e atualiza periodicamente os feeds solicitados pelos usuários de um app ou serviço. Somente feeds de podcast são indexados na Pesquisa Google. No entanto, se um feed não seguir as especificações Atom ou RSS, ele ainda poderá ser indexado. Veja algumas respostas para as perguntas mais frequentes sobre o funcionamento dessa busca de feed controlada pelo usuário.

Como solicito que o Google não recupere alguns ou todos os feeds do meu site?

Quando usuários adicionam um serviço ou app que usa dados do Feedfetcher, o Feedfetcher do Google tenta acessar o conteúdo do feed para exibir. Como as solicitações do Feedfetcher são iniciadas por ações explícitas de usuários humanos, e não por rastreadores automáticos, o Feedfetcher ignora as regras do robots.txt.

Caso o feed esteja disponível publicamente, o Google não pode impedir o acesso dos usuários. Uma solução para isso é configurar seu site para exibir uma mensagem de status de erro 404, 410ou similar ao user agent Feedfetcher-Google.

Caso seu feed seja fornecido por um blog ou por um serviço de hospedagem de site, trabalhe diretamente com esse serviço para restringir o acesso ao feed.

Com que frequência o Feedfetcher recupera meus feeds?

Em média, na maioria dos sites, o Feedfetcher não recupera feeds mais de uma vez por hora. Talvez alguns sites atualizados frequentemente sejam recuperados com mais frequência. No entanto, devido aos atrasos da rede, pode parecer que o Feedfetcher recupere feeds com mais frequência em alguns momentos.

O Feedfetcher recupera feeds ao receber solicitações de serviços ou apps instalados por usuários. É possível que o usuário tenha solicitado um URL do feed que não existe.

Por que o Feedfetcher está fazendo o download de informações do meu servidor da Web "secreto"?

O Feedfetcher recupera feeds ao receber solicitações de serviços ou apps instalados por usuários. É possível que a solicitação tenha vindo de um usuário que sabe do seu servidor "secreto" ou que o digitou por engano.

Por que o Feedfetcher não está obedecendo ao meu arquivo robots.txt?

O Feedfetcher só recupera feeds após os usuários iniciarem explicitamente um serviço ou app que solicita dados do feed. O Feedfetcher funciona como um agente direto do usuário humano, não como um robô. Por isso, ele ignora as entradas do robots.txt. Como o Feedfetcher atua como agente para vários usuários, ele conserva a largura de banda fazendo solicitações para feeds comuns somente uma vez para todos os usuários que solicitaram o feed por um app ou serviço. Os feeds comuns são RSS e Atom.

É possível impedir que o Feedfetcher rastreie seu site. Para isso, configure o servidor para exibir uma mensagem de erro 404, 410ou outro status desse tipo ao user agent Feedfetcher-Google.

Por que há visitas de várias máquinas no Google.com, todas com o user agent Feedfetcher?

O Feedfetcher foi elaborado para ser distribuído em várias máquinas para melhorar o desempenho e a escala conforme a Web cresce. Para diminuir o uso da largura de banda, muitas vezes as máquinas usadas estão localizadas perto dos sites que recuperam na rede.

Posso saber quais são os endereços IP usados nas solicitações do Feedfetcher para eu filtrar meus registros?

Os endereços IP usados pelo Feedfetcher são incluídos no objeto user-triggered-fetchers-google.json.

Por que o Feedfetcher está fazendo o download da mesma página do meu site várias vezes?

Em geral, o Feedfetcher faz o download de apenas uma cópia de cada arquivo do site durante uma recuperação de feed específica. Esporadicamente, as máquinas são interrompidas e reiniciadas. Isso pode fazer com que ele recupere outra vez as páginas de acesso recente.

Diferentemente dos rastreadores da Web normais, o Feedfetcher não segue links, e sim as solicitações fornecidas pelos usuários de serviços ou apps que usam o próprio Feedfetcher.

Minha pergunta sobre o Feedfetcher não está respondida aqui. Onde posso procurar ajuda?

Se você ainda está com problemas, poste sua dúvida no fórum da Central da Pesquisa.