Feedfetcher

Google 使用 Feedfetcher 抓取 Google Play 报亭PubSubHubbub 的 RSS 或 Atom Feed。Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed,但不会将这些 Feed 编入 Google 搜索服务的索引中。Feed 仅在被 Googlebot 抓取时才会显示在我们的搜索结果中。对于这款由用户控制的 Feed 抓取工具的工作原理,下文列出了一些常见问题的解答。

如何请求 Google 不检索我网站中的部分或全部 Feed?

当用户添加使用 Feedfetcher 数据的服务或应用时,Google 的 Feedfetcher 会尝试获取相应 Feed 的内容,以便将其显示出来。由于 Feedfetcher 请求来自真实用户的明确操作(而非来自自动抓取工具),因此 Feedfetcher 不会遵循 robots.txt 中的指令。

如果您的 Feed 是公开的,那么 Google 无法限制用户访问该 Feed。一种解决办法是,将网站配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息。

如果您的 Feed 是由某个博客或网站托管服务提供商提供的,请直接与相应服务提供商联系,限制用户对您 Feed 的访问。

Feedfetcher 多久检索一次我的 Feed?

对于大多数网站,Feedfetcher 平均每小时最多检索一次 Feed。 某些经常更新的网站可能会更频繁地刷新。但请注意,由于网络延迟,Feedfetcher 在短时间内检索您 Feed 的频率可能略高。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,用户请求的 Feed 网址不存在。

为什么 Feedfetcher 会从我的“私密”网络服务器下载信息?

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,发出请求的用户知道您的“私密”服务器,或者错误地输入了您的“私密”服务器。

为什么 Feedfetcher 不遵循我的 robots.txt 文件中的指令?

只有在用户已明确启动从 Feed 请求数据的服务或应用后,Feedfetcher 才会检索这些 Feed。Feedfetcher 会以真实用户(而不是漫游器)的身份运行,因此它会忽略 robots.txt 中的指令。由于 Feedfetcher 会充当多位用户的代理,因此它会代表通过应用或服务请求相应 Feed 的所有用户,仅针对这个共同的 Feed 提出 1 次请求,从而节省了带宽。常见的 Feed 包括 RSSAtom

您可以将服务器配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息,从而阻止 Feedfetcher 抓取您的网站。

为什么会有来自 Google.com 上的多台计算机的访问记录,而且所有这些计算机使用的都是用户代理 Feedfetcher?

Feedfetcher 分布在多台计算机上,以便提升性能,并随着网络规模的扩大而扩大其作用范围。为了减少带宽的使用量,所用的计算机通常位于它们正在网络中检索的网站附近。

能否将 Feedfetcher 提出请求时所用的 IP 地址告诉我,以便我过滤日志?

Feedfetcher 使用的 IP 地址会随时发生变化。识别 Feedfetcher 请求的最佳方法是查找其用户代理 Feedfetcher-Google

为什么 Feedfetcher 会多次下载我网站上的同一网页?

一般来说,Feedfetcher 在指定的 Feed 检索期间只应从您的网站下载各文件的一份副本。但在极少数情况下,相应计算机会关闭并重新启动,这可能会导致 Feedfetcher 再次检索最近访问过的网页。

与普通的网页抓取工具不同,Feedfetcher 并不会跟踪链接,它只会跟踪使用 Feedfetcher 的服务或应用的用户发来的请求。

此处并没有解答我的 Feedfetcher 问题,在哪里可以获得更多帮助?

如果您遇到的问题仍未得到解决,请尝试在 Google 搜索中心论坛中发帖咨询。