Googlebot

Googlebot 是 Google 搜索使用的两种网页抓取工具的通用名称：

您可以通过查看请求中的 HTTP user-agent 请求标头来确定 Googlebot 的子类型。不过，这两类抓取工具都遵循 robots.txt 中的同一产品令牌（用户代理令牌），因此您无法通过使用 robots.txt 有选择地指定 Googlebot 智能手机版或 Googlebot 桌面版。

对于大多数网站中的内容，Google 主要将移动版编入索引。因此，多数 Googlebot 抓取请求都会通过移动版抓取工具发出，少数请求会通过桌面版抓取工具发出。

Googlebot 如何访问您的网站

对于大多数网站，Googlebot 的平均访问频率不会高于几秒钟一次。不过，由于存在延迟，在一小段时间内，此频率可能会略高一些。 如果您的网站跟不上 Google 的抓取请求频率，您可以减慢抓取速度。

Googlebot 可以抓取 HTML 文件或受支持的文本型文件中的前 15MB 内容。HTML 中引用的每个资源（例如 CSS 和 JavaScript）都是单独抓取的，并且每次抓取都受到相同的文件大小限制。在抓取完该文件的前 15MB 内容后，Googlebot 会停止抓取，并且只会发送前 15MB 的文件内容以考虑编入索引。文件大小上限适用于未压缩的数据。其他 Google 抓取工具（例如 Googlebot Video 和 Googlebot Image）可能有不同的限制。

从美国的 IP 地址抓取内容时，Googlebot 的时区为太平洋时间。

Googlebot 的其他技术属性在 Google 抓取工具概览中有所介绍。

禁止 Googlebot 访问您的网站

Googlebot 主要通过之前已抓取的网页中嵌入的链接来发现要抓取的新网址。 对于网站，要想通过不发布指向它的链接来达到保密目的几乎是不可能的。例如，只要有人通过点击您的“私密”网站上的链接访问了另一网站，您的“私密”网址就可能会出现在引荐来源网址标记中，并可能会被所访问的网站存储和发布在其引荐来源网址日志中。

如果您想阻止 Googlebot 抓取您网站上的内容，可以采用多种方法。请注意，抓取和编入索引是有区别的；禁止 Googlebot 抓取某个网页并不会阻止该网页的网址显示在搜索结果中：

屏蔽 Googlebot 会影响 Google 搜索（包括 Google 探索和所有 Google 搜索功能）以及 Google 图片、Google 视频和 Google 新闻等其他产品。

验证 Googlebot

在决定禁止 Googlebot 访问您的内容之前，请注意 Googlebot 所用的 HTTP user-agent 请求标头经常会被其他抓取工具假冒。因此，请务必验证有问题的请求是否确实来自 Google。若要验证请求是否确实来自 Googlebot，最佳方法就是对请求的来源 IP 地址进行 DNS 反向查找，或将来源 IP 地址与 Googlebot IP 地址范围进行比对。