整合网站重复内容

2009年12月28日星期一

处理网站上的重复内容是一项非常困难的工作。随着网站的发展，必须不断增加、改变或删除各种功能；与此同时，不同的网站内容来了又去。一段时间后，许多网站都会有以多个 URL 网址形式存在的系统化垃圾代码，这些 URL 都返回同样的内容。在一般情况下，除了会增加搜索引擎的抓取和索引内容的难度以外，你的网站上存在重复内容并不构成问题。此外，通过导入链接而得到的 PageRank 以及类似信息可能会在我们尚未确定为重复内容的网页间扩散，导致你的首选网页在谷歌中的排名降低。

处理你的网站内部重复内容的步骤

识别网站上的重复内容。
识别你网站上的重复内容是处理重复内容的第一步，也是最重要的一步。使用一种简单的方法可以实现这个目的，即从网页中选取一段独特的文本代码 ，然后搜索这段文本，并使用谷歌的 site:query 将搜索结果限制为自己网站上的网页。如此以来，搜索出的含有同样内容的多个结果就是你需要处理的重复内容。

确定你需要的首选 URL 网址。
在处理重复内容之前，必须确保你的首选 URL 网址结构。对于这段内容，你希望使用哪一个 URL 网址？

保持网站内部的统一性。
选择首选网址之后，确保在你的网站内所有可能的位置上使用他们（包括你的 Sitemap 文件 ）。

在必要和可能的情况下使用 301 永久重定向。
可能的话，可以使用 301 代码将重复网址重新定向为你选择的网址。此举能够帮助用户和搜索引擎在访问重复 URL 网址时找到你的首选 URL 网址。如果你的网站有数个域名，可选择一个域名，使用 将其他域名 301 重定向到这个域名 ，同时还要确保其转向正确的特定网页，而不仅是域根目录。如果网站同时支持 www 和非 www 主机名，可选择其中一种，使用 Google 网站站长 工具中的首选域设置 ，再进行适当的重定向。

在可能的情况下，在你网页上使用 rel="canonical" 。
在无法使用 301 重定向的情况下，可以使用 rel="canonical" ，以方便搜索引擎更好地理解你的网站和首选 URL 网址。 Ask.com 、 Bing 和 Yahoo! 等主要搜索引擎都支持这种链接标签的使用。

可能的情况下，在 Google 网站站长工具中使用 URL 参数处理工具
如果部分或全部网站重复内容来自带有查询参数的 URL 网址，则此工具将帮助你将 URL 内的重要参数和不相关参数通知我们。有关此工具的详细信息可参见我们的 博客声明 。

怎样处理 robots.txt 文件？

使用 robots.txt 文件来禁止对重复内容进行抓取不在我们推荐的方法之内。 我们建议你不要使用 robots.txt 文件或其他方式来禁止对你网站上的重复内容的访问。 你可以使用 rel="canonical" 链接 标签 、 URL 参数处理工具 或 301 重定向。如果完全阻止了对重复内容的访问，搜索引擎必须将这些 URL 作为独立的不同网页处理，因为它们无法分辨出这些 URL 其实只是指向相同内容的不同网址。更好的解决方法是允许对其进行抓取，同时用我们推荐的方法将这些 URL 网址明确标记为重复内容。如果你允许我们访问这些 URL 网址， Google 抓取机器人 将学会通过查看 URL 确定其是否为重复内容，在各种情况下都能很好地避免不必要的重复爬行抓取。为了防止重复内容仍然引导我们过多地爬行搜索你的网站，你还可以 调整 Google 网站站长 工具里的抓取速度 。

我们希望这些方法能够帮助控制你的网站上的重复内容。你也可登录我们的 帮助中心 查看有关重复内容的基本信息。如有任何问题，欢迎你随时进入 Google 网站站长 帮助论坛 参加讨论。