抓取和索引编制主题概览

这部分介绍了如何控制 Google 对您内容的查找和解析以使其显示在 Google 搜索和其他 Google 产品和服务中,以及如何阻止 Google 抓取您网站上的特定内容。

以下是每个网页的简介。如需大致了解抓取和索引编制功能,请参阅我们的 Google 搜索的运作方式指南。

主题
Google 编入索引的文件类型 Google 可将大多数类型的网页和文件内容编入索引。查看 Google 搜索可编入索引的最常见文件类型的列表。
网址结构 建议您组织一下内容,使网址结构合乎逻辑并易于人们理解。
站点地图 将网站上新增或更新的网页告知 Google。
抓取工具管理
robots.txt robots.txt 文件规定了搜索引擎抓取工具可以/无法请求抓取您网站上的哪些网页或文件。
规范化 了解什么是网址规范化,以及如何将您网站上的重复网页告知 Google,以避免过度抓取。了解 Google 如何自动检测和处理重复内容,以及如何将规范网址分配到发现的重复网页群组中。
移动网站 了解如何针对移动设备优化您的网站,并确保您的网站能被正确抓取和编入索引。
AMP 如果您有 AMP 网页,可通过相应网页了解 AMP 在 Google 搜索中的运作方式。
JavaScript 在设计网页和应用时需要考虑一些差异和限制,以适应抓取工具访问和呈现您的内容的方式。
页面和内容元数据
移除
网站迁移和变更