Mengurangi kecepatan crawling Googlebot

Google memiliki algoritme canggih untuk menentukan kecepatan crawling yang optimal pada sebuah situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda pada setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan pemuatan yang berat pada infrastruktur Anda, atau menyebabkan biaya yang tidak diinginkan selama gangguan. Untuk mengatasi masalah ini, Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh Googlebot.

Jika Anda memutuskan untuk mengurangi kecepatan crawling Googlebot, berikut beberapa opsi yang dapat dipilih:

Mengurangi kecepatan crawling dengan Search Console (direkomendasikan)

Untuk mengurangi kecepatan crawling dengan cepat, Anda dapat mengubah kecepatan crawling Googlebot di Search Console. Perubahan yang dilakukan pada setelan ini biasanya akan terlihat dalam beberapa hari. Untuk menggunakan setelan ini, verifikasi kepemilikan situs Anda terlebih dahulu. Pastikan Anda menghindari menetapkan nilai kecepatan crawling yang terlalu rendah untuk kebutuhan situs Anda. Pelajari lebih lanjut pengaruh anggaran crawling untuk Googlebot.

Jika Setelan Kecepatan Crawling tidak tersedia untuk situs Anda, ajukan permintaan khusus untuk mengurangi kecepatan crawling. Anda tidak dapat meminta peningkatan kecepatan crawling.

Mengizinkan Google mengurangi kecepatan crawling secara otomatis

Jika Anda harus segera mengurangi kecepatan crawling dalam jangka waktu yang singkat (misalnya, beberapa jam, atau 1-2 hari), tampilkan halaman error yang informatif dengan kode hasil HTTP 500, 503, atau 429, bukan semua konten. Googlebot akan mengurangi kecepatan crawling situs Anda jika menemukan jumlah URL yang signifikan dengan kode status respons HTTP 500, 503, atau 429 (misalnya, jika Anda menonaktifkan situs Anda). Perubahan ini akan terlihat dalam crawling URL yang menampilkan error ini, serta dalam situs secara keseluruhan. Setelah jumlah error ini dikurangi, kecepatan crawling akan mulai meningkat lagi secara otomatis.