2012 年 3 月 12 日（月曜日）
クロールエラーは、ウェブマスター ツールで最も人気のある機能の 1 つです。今日は、このクロールエラーがさらに便利になる、非常に重要な機能拡張についてお知らせします。
ウェブマスター ツールを使って、数多くの新しいタイプのエラーを検出してレポートできるようになりました。これらの新しいエラーは、識別しやすいよう「サイトエラー」と「URL エラー」の 2 つに分けられています。
サイトエラー
サイトエラーとは、特定の URL だけでなく、サイト全体に影響するエラーです。たとえば、DNS の解決エラー、ウェブサーバーとの接続エラー、robots.txt ファイルの取得エラーなどはサイトエラーです。これまではサイトエラーを URL 別にレポートしていましたが、URL 固有のエラーではないためあまり意味がありませんでした。実際これらのエラーでは、Googlebot が URL をリクエストすることすらできません。これを変更し、サイトエラーではタイプ別にエラー発生率を記録することにしました。また、サイトエラーの頻度が上がり、注意を要するレベルになったらアラートを送信することも検討しています。
ほとんどのサイトは、これらのエラーが発生しないのが普通です。最近サイトエラーが発生していないのであれば、これらのセクションを逐一チェックする必要はありません。そこで、緑色のチェックマークを表示して、すべてが正常に稼働していることを一目で確認できるようにしました。
URL エラー
URL エラーは特定のページに固有のエラーです。つまり、Googlebot がその URL をクロールしようとして DNS を解決し、サーバーに接続し、robots.txt ファイルを取得して読み込んだ後に、この URL をリクエストしたら問題が発生した、というエラーです。ウェブマスター ツールでは、URL エラーをその原因に基づいていくつかのカテゴリに分類しています。サイトで Google ニュースやモバイルのデータ（CHTML/XHTML データ）を提供している場合、それらのエラーは別のカテゴリで表示されます。
少ない方が効果的
これまでのウェブマスター ツールでは、タイプごとに最大 10 万件のエラーを表示していました。これほどの量の情報をすべて消化しようとするのは、消防車のホースから水を飲もうとするようなものです。どのエラーの重要性が高く（たとえばホームページがダウンしている）、どのエラーの重要性が低いか（たとえばある個人サイトからのリンクにタイプミスがある）を識別する方法も用意されていませんでした。10 万件のエラーを効率的に確認する手段、たとえば並べ替えや検索、「修正済み」のマークを付ける機能も用意されていませんでした。新バージョンのクロールエラー機能では、最も重要なエラーを目立たせることに重点を置きました。最も重要と思われるエラー、対処する必要のあるエラーが、カテゴリごとに 1,000 件ずつ表示されます。これら上位 1,000 件のエラーは並べ替えとフィルタリングを行うことができ、エラーの修正が完了したら Google にお知らせいただくことが可能です。また、エラーの詳細を表示することもできます。
サイトによっては、特定のタイプのエラーが 1,000 件を超えることがあります。そのため、引き続き各タイプのエラー総数とともに、過去 90 日間の履歴データを表示するグラフを確認できるようにしています。1,000 件のエラーの詳細と累計エラー数だけでは不十分という場合に備え、API を使ってプログラム的にアクセスし、すべてのエラーをダウンロードできるようにすることも検討しています。この点についても、ぜひご意見をお寄せください。
robots.txt によってブロックされたページのリストも削除しました。この情報が robots.txt ファイルの問題を診断する際に役立つこともありますが、大抵の場合はサイト運営者が「意図的に」ブロックしたものです。クロールエラーでは本当のエラーを重点的に確認できるようにするため、robots.txt でブロックされた URL のリストは近日中に [サイト設定] の [クローラのアクセス] に移設する予定です。
詳しい情報を手に入れる
メインリストの個々のエラー URL をクリックすると、詳細ペインが表示されます。このペインでは、Google がその URL を最後にクロールしようとした日時、問題が最初に検出された日時、エラーの簡単な説明など、詳しい情報を確認できます。
詳細ペインでは、エラーの原因になった URL のリンクをクリックすることで、実際にアクセスするとどうなるかを試すことができます。また、エラーに「修正済み」のマークを付ける（後ほど詳しく説明します）、エラータイプのヘルプ コンテンツを見る、URL を含むサイトマップの一覧を表示する、該当の URL にリンクしている他のページを確認することもできます。さらに、直ちに URL を取得するように Googlebot を操作して、詳しい情報を入手する、または正しく修正できているかどうかを再確認することも可能です。
エラーに対処する
新しいバージョンのクロールエラー機能で最も注目していただきたいのは、重要なエラーに着目して優先的に修正できる点です。エラーをランク付けして、対処可能なエラーが優先順位リストの上位に表示されるようにしました。対処とは、サイト内のリンク切れの修正、サーバー ソフトウェアのバグの修正、リンク切れの URL を削除するためのサイトマップの更新、存在するページにユーザーを誘導する 301 リダイレクトの追加などです。ランク付けは、その URL がサイトマップに含まれているか、その URL へのサイト内またはサイト外からのリンクがいくつあるか、その URL への検索トラフィックが最近発生したかなど、さまざまな要因に基づいて行われます。
エラーの修正が完了したら、Googlebot にその URL を取得させることで、正しく修正できているかどうかを確認できます。フルアクセス権限を持つユーザーであれば、エラーに「修正済み」のマークを付けることもできます。マークを付けると、そのエラーがリストから削除されます。以後、修正済みのマークを付けたエラーは、URL を再クロールしようとした際に同じエラーが発生しない限り、再びエラーリストの上位に表示されることはありません。
新しいクロールエラー機能にはさまざまな工夫を凝らしてあります。皆様に「これは便利」と感じていただけることを願っております。ご意見、ご提案などございましたら、ぜひフォーラムまでお寄せください。