2011年2月2日水曜日
今回は英語の資料となりますが、非常に有益なものですのでご紹介させていただきます。
Google のクローラ（Googlebot）と インデックス登録の制御に関する詳細な情報が code.google.com でご覧いただけるようになりました。
例えば
Controlling crawling and indexing （英語）
このサイトでは、robots.txt ファイル、robots メタ タグ、HTTP ヘッダーの X-Robots-Tag ディレクティブ について、サイト所有者の皆さまに役立つ情報がまとめられています。ぜひ、ご活用いただければと思います。また、クローラの働きやインデックスの作成など Google がどのように検索結果を生成しているかについての基礎的な情報は、ヘルプ記事「 Google の基本 」をご覧ください。
ご不明な点がありましたら、お気軽に ウェブマスター ヘルプ フォーラム までご投稿ください。
Google のクローラ（Googlebot）と インデックス登録の制御に関する詳細な情報が code.google.com でご覧いただけるようになりました。
例えば
- robots.txt ファイル内に矛盾した記述がある場合に、Googlebot はどのように処理するのでしょうか？
- PDF ファイルがインデックスに登録されるのを防ぐ方法はどうすればいいのでしょうか？
Controlling crawling and indexing （英語）
このサイトでは、robots.txt ファイル、robots メタ タグ、HTTP ヘッダーの X-Robots-Tag ディレクティブ について、サイト所有者の皆さまに役立つ情報がまとめられています。ぜひ、ご活用いただければと思います。また、クローラの働きやインデックスの作成など Google がどのように検索結果を生成しているかについての基礎的な情報は、ヘルプ記事「 Google の基本 」をご覧ください。
ご不明な点がありましたら、お気軽に ウェブマスター ヘルプ フォーラム までご投稿ください。