如果了解 Google 的用户代理如何与您的网站互动，将有助于让您的最重要的网页在 Google 生态的更多位置显示，同时不会使您的服务器过载。无论您是网站所有者还是开发者，本文档都能帮助您更好地控制您的网站被抓取的方式。
了解详情
您可以验证访问您服务器的网页抓取工具或抓取器是否确实来自 Google，例如 Googlebot。
开始使用
Google 的抓取工具会根据您的网站和服务器自动进行调整，以便高效地找到并展示您最新鲜、最优质的内容。为了帮助您管理与您的服务器和抓取相关的紧急情况，您可以根据需要主动减慢抓取速度。
开始使用
您可以使用 robots.txt 文件来允许或禁止抓取个别网页或整个网站。
开始使用

抓取偏好设置对您的网站在 Google 中的显示位置有何影响

Google 的抓取基础设施由各种 Google 产品共用。这意味着，遵循最佳实践有助于系统更高效地发现您的 Web 内容，并将其展示在 Google 中。
Google 搜索会使用 Googlebot 来抓取您的网站，以便为用户找到相关内容。
Google-Extended 由 Gemini 应用和 Vertex AI API for Gemini 使用。详细了解 Google-Extended。
针对 Storebot-Google 用户代理的抓取偏好设置会影响 Google 购物的所有途径。
AdSense 抓取工具会访问参与计划的网站，以便向这些网站提供相关广告。
针对 Googlebot-News 用户代理的抓取偏好设置会影响 Google 新闻产品，包括 news.google.com 和 Google 新闻应用。
Google-NotebookLM 抓取器会请求 NotebookLM 用户提供的作为其项目来源的个别网址。