抓取和索引编制主题概览

这部分介绍了如何控制 Google 对您内容的查找和解析以使其显示在 Google 搜索和其他 Google 产品和服务中，以及如何阻止 Google 抓取您网站上的特定内容。

以下是每个网页的简介。如需大致了解抓取和索引编制功能，请参阅我们的 Google 搜索的运作方式指南。

主题
Google 编入索引的文件类型	Google 可将大多数类型的网页和文件内容编入索引。查看 Google 搜索可编入索引的最常见文件类型的列表。
网址结构	建议您组织一下内容，使网址结构合乎逻辑并易于人们理解。
站点地图	将网站上新增或更新的网页告知 Google。
抓取工具管理	请求 Google 重新抓取您的网址 减慢 Googlebot 的抓取速度 验证 Googlebot 和其他抓取工具 面向大型网站所有者的抓取预算管理指南 HTTP 状态代码以及网络连接错误和 DNS 错误对 Google 搜索有何影响 Google 抓取工具
robots.txt	robots.txt 文件规定了搜索引擎抓取工具可以/无法请求抓取您网站上的哪些网页或文件。
规范化	了解什么是网址规范化，以及如何将您网站上的重复网页告知 Google，以避免过度抓取。了解 Google 如何自动检测和处理重复内容，以及如何将规范网址分配到发现的重复网页群组中。
移动网站	了解如何针对移动设备优化您的网站，并确保您的网站能被正确抓取和编入索引。
AMP	如果您有 AMP 网页，可通过相应网页了解 AMP 在 Google 搜索中的运作方式。
JavaScript	在设计网页和应用时需要考虑一些差异和限制，以适应抓取工具访问和呈现您的内容的方式。
页面和内容元数据	使用有效的 HTML 指定页面元数据 Google 可以理解的所有 meta 标记 Robots meta 标记、data-nosnippet 和 X-Robots-Tag 规范 使用 noindex meta 标记阻止编入索引 安全搜索功能和您的网站 确保链接可供抓取 使用 rel 属性向 Google 说明您的出站链接的用意
移除	控制与 Google 分享的内容 从 Google 搜索结果中移除托管在您网站上的网页 从搜索结果中移除您网页上托管的图片 让隐去的信息不显示在 Google 搜索中
网站迁移和变更	重定向和 Google 搜索 网站迁移 最大限度地降低 A/B 测试在 Google 搜索中的影响 暂停或停用网站