robots.txt ファイルを更新する

既存の robots.txt ファイル内のルールを更新するには、サイトから robots.txt ファイルをダウンロードして、必要な編集を行います。

robots.txt ファイルをダウンロードする

robots.txt ファイルはさまざまな方法でダウンロードできます。以下に例を示します。

  • robots.txt ファイル(例: https://example.com/robots.txt)に移動し、その内容をパソコン上の新しいテキスト ファイルにコピーします。新しいローカル ファイルを作成する際には、ファイル形式関連のガイドラインを遵守してください。
  • cURL などのツールを使用して、robots.txt ファイルの実際のコピーをダウンロードします。次に例を示します。
    curl https://example.com/robots.txt -o robots.txt
  • Search Console の robots.txt テスターを使用して、robots.txt ファイルのコピーをダウンロードします。
    1. robots.txt エディタの右下の [送信] をクリックします。この操作により [送信] ダイアログが開きます。
    2. [送信] ダイアログで [ダウンロード] をクリックし、robots.txt のコードを robots.txt テスターページからダウンロードします。

robots.txt ファイルを編集する

サイトからダウンロードした robots.txt ファイルをテキスト エディタで開き、ルールに必要な変更を加えます。必ず正しい構文を使用し、UTF-8 エンコードでファイルを保存してください。

robots.txt ファイルをアップロードする

保存した新しい robots.txt ファイルを、robots.txt という名前のテキスト ファイルとして、ドメインのルートにアップロードします。 サイトへのファイルのアップロード方法は、プラットフォームやサーバーに大きく依存します。サイトに robots.txt ファイルをアップロードするためのヒントをご確認ください。

Google の robots.txt キャッシュを更新する

自動クロールの過程で、Google のクローラは robots.txt ファイルに加えられた変更を検知し、キャッシュに保存されたバージョンを 24 時間おきに更新します。キャッシュをより迅速に更新する必要がある場合は、robots.txt テスターの [送信] 機能を使用してください。

  1. [アップロードされたバージョンを表示] をクリックして、公開中の robots.txt が Google にクロールして欲しいバージョンであることを確認します。
  2. [送信] をクリックして、robots.txt ファイルを変更したことを Google に通知し、クロールをリクエストします。
  3. 最新バージョンが正常にクロールされたかどうかを確認するには、まずブラウザのページを更新して robots.txt テスターのエディタ内容を更新し、公開中の robots.txt のコードを表示します。ページを更新した後、さらにテキスト エディタの上にあるプルダウンをクリックして、robots.txt ファイルの最新バージョンを Google のクローラが初めて読み込んだときのタイムスタンプを確認します。