robots.txt ファイルのテストが簡単になりました
2014年7月17日木曜日
クロールするべきか、しないべきか、それが robots.txt の問題です。
正しい robots.txt ファイルを作成して維持することは、ときに難しい場合もあります。ほとんどの場合はそうではありませんが（そもそも robots.txt ファイルを必要としないサイトも多くあります）、大きな robots.txt ファイル内で個々の URL をブロックしている（またはブロックしていた）指定を見つけることは、難しい作業となる場合もあるでしょう。そこで、robots.txt ファイルの編集を容易にするために、このたび、新しい
robots.txt テスター
を発表いたします。
新しいテスターは、
ウェブマスター ツール
の [クロール] セクションにあります:
ここでは、現在の robots.txt ファイルの確認、および URL のクロールがブロックされているかどうかのテストを行うことができます。複雑な指定をわかりやすくするため、最終的に決定に使われた箇所がハイライト表示されます。ファイルに変更を加えてテストを行うこともできます。変更を有効にするには、変更したファイルをサーバーにアップロードしてください。Google のデベロッパー サイトでは、
robots.txt の指定とファイルの処理方法について詳しく説明しています
(英語)。
また、古いバージョンの robots.txt を確認したり、サーバー側の問題によってクロールがブロックされている状況を確認したりすることもできます。たとえば、robots.txt ファイルが Googlebot に対して 500 サーバー エラーを返している場合、通常そのサイトのクロールは一時停止されます。
既存のサイトでエラーや警告が表示される可能性もあるため、robots.txt ファイルをよく確認することをおすすめします。また、robots.txt テスターをウェブマスター ツールの他の機能と組み合わせることも可能です。たとえば、新しい
Fetch as Google
を使用してウェブサイトの重要なページをレンダリングした際、ブロックされた URL が見つかったら、robots.txt テスターを使って、その URL をブロックしている指定を見つけて修正することができます。CSS、JavaScript、モバイル コンテンツをブロックする古い robots.txt ファイルが原因で問題が発生することはしばしばありますので、そのような問題は、修正すべき箇所がわかれば簡単に修正できます。
今回更新したツールを使うことで robots.txt のテストとメンテナンスが容易になれば幸いです。何かご不明な点がある場合や、robots.txt の指定の作成についてアドバイスが欲しい場合などは、ぜひ
ウェブマスター ヘルプ フォーラム
をご利用ください。
Original version:
Official Google Webmaster Central Blog: Testing robots.txt files made easier
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2014-07-01 UTC。
[null,null,["最終更新日 2014-07-01 UTC。"],[[["Google has updated the robots.txt testing tool in Webmaster Tools to make it easier to identify and fix crawl issues."],["The tool allows users to test new and existing URLs, review robots.txt file history, and pinpoint problematic rules blocking Googlebot access."],["Google recommends reviewing robots.txt files for potential errors, especially for older files that might unintentionally block essential resources like CSS or JavaScript."],["Using the robots.txt testing tool alongside other Webmaster Tools features, like \"Fetch as Google,\" can provide a comprehensive approach to website crawl optimization."],["Google provides resources like their developer site and webmaster help forum for further assistance and guidance with robots.txt files."]]],["An updated robots.txt testing tool is now available in Webmaster Tools, under the Crawl section. This tool allows users to test URLs against their robots.txt file, highlighting the specific rule affecting crawlability. Users can also modify and test changes before uploading the updated file. The tool also reviews older file versions and identifies access issues, such as `500` server errors. It's advised to check for errors and combine with other Webmaster Tools to resolve any blocking rules.\n"]]
