2019 年 10 月 2 日(星期三)
我们在今年早些时候召开的 Google I/O 大会上已经宣布,Googlebot 会使用基于 Chrome 的浏览器呈现网页。为此,我们将于 2019 年 12 月更新 Googlebot 的用户代理字符串以反映新的浏览器版本,并会定期更新版本号以与 Googlebot 中的 Chrome 更新保持一致。
如需关于用户代理字符串和呈现的背景信息,请参阅 Google 抓取工具(用户代理)和确保 Google 能够将 JavaScript 内容编入索引。
当前在用的 Googlebot 用户代理
移动版:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
桌面版:
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
或
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Safari/537.36
与时俱进的新版 Googlebot 及其用户代理
从 12 月起,我们将定期更新上述用户代理字符串,以反映 Googlebot 中使用的 Chrome 版本。以下用户代理字符串中的“W.X.Y.Z
”将会被替换为我们正在使用的 Chrome 版本。例如,您看到的会是“76.0.3809.100
”之类的内容,而不是“W.X.Y.Z
”。此版本号会定期更新。
移动版:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
桌面版:
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
或
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
如何测试您的网站
我们已进行了评估,所以确信大多数网站都不会因为此项更改而受到影响。
所有按照我们的建议使用功能检测和渐进增强(而非用户代理嗅探)的网站应该都能继续照常运行,无需进行任何更改。
如果您的网站会寻找特定的用户代理,它可能会受到影响。在这种情况下,您应该使用功能检测(而非用户代理嗅探)。如果您无法使用功能检测,并且需要通过用户代理检测 Googlebot,请在用户代理中查找“Googlebot”。
在评估此项更改的过程中,我们发现了一些常见问题,包括:
- 网页会显示错误消息,而非正常的网页内容。例如,某个网页可能会认为 Googlebot 是设置了广告拦截器的用户,并在无意中阻止其访问网页内容。
- 网页会重定向到禁止抓取/禁止编入索引的文档。
如果不确定自己的网站是否会受到影响,您可以尝试使用新版 Googlebot 用户代理在浏览器中加载您的网页。这些说明介绍了如何在 Chrome 中替换您的用户代理。
如果您有任何疑问,请务必访问我们的网站站长帮助社区,前往 YouTube 参加我们的网站站长“咨询交流时间”活动,或者在 Twitter 上关注我们。