Mengurangi kecepatan crawling Googlebot

Google memiliki algoritme canggih untuk menentukan kecepatan crawling yang optimal pada sebuah situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda di setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan pemuatan yang berat pada infrastruktur Anda, atau menyebabkan biaya yang tidak diinginkan selama gangguan. Untuk mengatasi masalah ini, Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh Googlebot.

Peringatan: Saat mempertimbangkan pengurangan frekuensi crawling Googlebot, perlu diingat bahwa tindakan ini akan menimbulkan dampak yang luas. Googlebot akan menemukan lebih sedikit halaman baru, halaman yang sudah ada akan lebih jarang dimuat ulang (misalnya, harga dan ketersediaan produk mungkin akan memerlukan waktu lebih lama agar dapat terlihat dalam Penelusuran), dan halaman yang dihapus akan tetap ada dalam indeks lebih lama.

Jika Anda perlu segera mengurangi frekuensi crawling untuk jangka waktu yang singkat (misalnya, beberapa jam, atau 1-2 hari), tampilkan kode status respons HTTP 500, 503, atau 429, bukan 200, pada permintaan crawl. Googlebot akan mengurangi frekuensi crawling situs Anda jika menemukan jumlah URL yang signifikan dengan kode status respons HTTP 500, 503, atau 429 (misalnya, jika Anda menonaktifkan situs Anda). Pengurangan frekuensi crawling memengaruhi seluruh nama host situs Anda (misalnya, subdomain.example.com), baik crawling URL yang menampilkan error, maupun URL yang menampilkan konten. Setelah jumlah error ini dikurangi, frekuensi crawling akan mulai meningkat lagi secara otomatis.

Perhatikan bahwa peningkatan crawling yang tajam mungkin disebabkan oleh tidak efisiennya struktur situs atau ada masalah pada situs Anda. Lihat panduan kami tentang mengoptimalkan efisiensi crawling.

Peringatan: Kami tidak menyarankan Anda melakukan tindakan ini untuk jangka waktu yang lama (artinya, lebih dari 1-2 hari). Jika Googlebot mengamati kode status ini di URL yang sama selama beberapa hari, Googlebot mungkin akan menghapus URL dari indeks Google.

Jika infrastruktur Anda tidak memungkinkan penayangan error ke Googlebot, ajukan permintaan khusus untuk mengurangi frekuensi crawling. Anda tidak dapat meminta peningkatan frekuensi crawling.