クロスドメイン URL の選択 - 複数のドメイン間の重複コンテンツの正規化について

2011年11月16日水曜日

このブログでも何度か 重複コンテンツ に関して取り上げてきました。重複コンテンツとは、同じコンテンツが複数の URL（同一のドメインにある/なしを問わず）に存在することを指しています。Google では、コンテンツが重複するページ グループを発見した場合、アルゴリズムに従ってコンテンツを代表する URL を 1 つ選択します。ページ グループには、同じサイトからの URL も、別のサイトからの URL も含まれます。複数のドメインが含まれるグループから代表 URL が選択された場合、この選択は「クロスドメイン URL の選択」と呼ばれます。簡単な例を挙げると、a.com からの URL と b.com からの URL が含まれる同じコンテンツのグループで、b.com から代表 URL が選択された場合、a.com の URL はそれ以降 Google の検索結果に反映されず、検索からのトラフィックが減ることがあります。

ウェブマスターは、 rel="canonical" 属性 や 301 リダイレクト などを適切に設定することで、アルゴリズムに選択すべき URL を伝えることができます。アルゴリズムによる選択は、ほんとんどの場合こういったウェブマスターの意図が正しく反映されています。しかし時折クロスドメイン URL の選択を不適切と感じたり、不適切な場合の対処法が分からない、といった声を耳にすることがあります。

そこで Google は、クロスドメイン URL の選択の透明性を高めるために、ウェブマスター ツールに登録された URL ではなく外部 URL がアルゴリズムによって選択された場合、それをウェブマスター ツールにメッセージとして表示し始めました。このメッセージの詳細については、 クロスドメイン URL の選択 を参照してください。今回のブログ記事では、クロスドメイン URL のよく見られるいくつかのケースについて取り上げ、不適切な選択を修正する方法についてお話しします。

不適切なクロスドメイン URL の選択がされる主な原因
クロスドメイン URL の選択が適切になされるようアルゴリズムに伝える方法は数多くあります。

実際ほとんどの場合、Google のアルゴリズムはウェブマスターが代表 URL を示すために設定したシグナルに基づいて選択を行います。たとえば、ウェブマスターがサイト移転時の ガイドライン や ベスト プラクティス (英語) に従っていた場合は、新しいウェブサイトの URL が代表 URL であることを Google のアルゴリズムに正しく伝えていると言えるでしょう。ウェブサイトの移転中にウェブマスター ツールで今回実装された新しい通知メッセージを受信した場合、Google のアルゴリズムがサイト移転に気付いたと見なすことができます。

その一方で、アルゴリズムが代表にしたくない URL を選択した場合はどうすればいいのでしょうか。クロスドメイン URL の選択が不適切 (ウェブマスター側の希望と異なる) であった場合、いくつかの方法で状況を改善することができます。以下に、意図と異なるクロスドメイン URL の選択が行われる一般的な原因と、その修正方法をご紹介します。
  1. 複数リージョン向けウェブサイトを含む重複コンテンツ ：多くのウェブマスターの方が、ときには不注意で、そしてときにはユーザーの所在地によってコンテンツを提供するために、同じ言語でほぼ同一のコンテンツを複数ドメイン上で公開しています。たとえば、ウェブマスターが example.com と example.net の両方で英語の同一コンテンツを用意したり、example.de、example.at、example.ch で 1 つのドイツ語のウェブサイトをホストしたりすることは珍しくありません。

    ウェブサイトの性質やユーザーに応じて、現在サポートされている正規化の方法のうちいずれかを用いて、代表 URL をアルゴリズムに通知することができます。詳細については以下の記事を参照してください。
  2. 設定ミス ：一部の設定ミスによって、アルゴリズムが誤った選択を行うことがあります。例として以下のようなものがあります：
    1. 正規化の間違い ： 正規化 の設定の際に誤って外部ウェブサイトを指定してしまうと、アルゴリズムがその外部サイトの URL を検索結果への表示用に選択してしまうことがあります。これは、ウェブマスターが導入したコンテンツ管理システム (CMS) や CMS プラグイン の設定に間違いがある場合に発生します。

      こういった状況が発生している場合は、ウェブサイトで使用する URL を誤って正規化している部分 (rel="canonical" 属性や 301 リダイレクトの不適切な使用) を見つけて、修正します。
    2. サーバーの設定ミス ：時折、サイト a.com のコンテンツが b.com の URL に返されるという、ホスティングの設定ミスが見受けられることがあります。また、2 つの無関係なウェブ サーバーが同一の ソフト 404 エラー を返すと、Google がエラー ページと判断しないことがあります。いずれの場合も、同じコンテンツが異なる 2 つのサイトから返されたと見なされ、アルゴリズムが a.com の URL を b.com の正規化と判断して選択してしまうことがあります。

      こういった場合は、ウェブ サーバーのどこに誤りがあるのか調査する必要があります。たとえば、サーバーがエラー ページに対して HTTP 200 (成功) ステータス コードを返したり、同一サーバー上でホスティングされている別のドメインへのリクエストを取り違えたりすることがあります。問題の原因が分かり次第、サーバー管理者と協力して設定を修正してください。
  3. 悪意のあるウェブサイトへの攻撃 ：ウェブサイトに対する攻撃の中には、勝手に正規化を行うコードを生成するものがあります。たとえば、サイトに HTTP 301 リダイレクト を返させるものや、HTML や HTTP ヘッダーにドメインをまたがった rel="canonical" リンク属性 を挿入するものがあります。この場合は悪意のあるコンテンツをホスティングしている外部 URL を指すことが一般的です。このような例では、攻撃を受けたウェブサイトの URL ではなく、悪意のある URL やスパム URL がアルゴリズムに選択されてしまうことがあります。

    このような場合、 サイトがハッキングされた、またはマルウェアに感染した場合のガイドライン に従い、再審査リクエストを送信します。ウェブマスター ツールの Fetch as Googlebot 機能を使用すると、Googlebot に見えているようにコンテンツを表示し、 クローキング された攻撃を検出できます。
また、まれにではありますが、あなたのコンテンツをあなたから許諾を得ることなく使用している外部サイトの URL が選択されることがあります。著作権に違反して、他のサイトにコンテンツを複製された場合、そのサイトのホストに連絡を取って削除を依頼してください。また、 DMCA (デジタル ミレニアム著作権法) に基づく要求を提出する ことで、権利を侵害しているページを検索結果から除外するよう Google にリクエストすることもできます。

この記事について詳しい情報は、ヘルプ記事「 クロスドメイン URL の選択 」をご覧ください。コメントやご質問は、 ウェブマスター ヘルプフォーラム までお寄せください。

Posted by Pierre Far, Webmaster Trends Analyst
Original version: Raising awareness of cross-domain URL selections