Mengurangi frekuensi crawling Google

Infrastruktur crawler Google memiliki algoritma canggih untuk menentukan frekuensi crawling yang optimal bagi suatu situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman dari situs Anda di setiap kunjungan tanpa membuat server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan pemuatan yang berat pada infrastruktur Anda, atau menyebabkan biaya yang tidak diinginkan selama gangguan. Untuk mengatasi masalah ini, Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh crawler Google.

Memahami penyebab peningkatan crawling yang tajam

Peningkatan crawling yang tajam mungkin disebabkan struktur situs yang tidak efisien atau masalah pada situs Anda. Berdasarkan laporan yang kami terima sebelumnya, penyebab paling umum adalah:

• Konfigurasi URL yang tidak efisien di situs, yang biasanya disebabkan oleh fungsi situs tertentu:
  • Navigasi berfaset atau fungsi pengurutan dan pemfilteran lainnya pada situs
  • Kalender dengan banyak URL untuk tanggal tertentu
• Target Iklan Penelusuran Dinamis

Sebaiknya hubungi perusahaan hosting Anda dan periksa log akses terbaru server Anda untuk memahami sumber traffic, dan lihat apakah traffic tersebut sesuai dengan penyebab umum peningkatan crawling yang tajam yang disebutkan di atas. Kemudian, lihat panduan kami tentang mengelola crawling URL navigasi berfaset dan mengoptimalkan efisiensi crawling.

Mengurangi traffic crawler dengan segera (untuk keadaan darurat)

Peringatan: Saat mempertimbangkan pengurangan frekuensi crawling Google, perlu diingat bahwa tindakan ini akan menimbulkan dampak yang luas. Untuk Penelusuran, Googlebot akan menemukan lebih sedikit halaman baru, dan halaman yang sudah ada akan lebih jarang dimuat ulang (misalnya, harga dan ketersediaan produk mungkin akan memerlukan waktu lebih lama agar dapat terlihat dalam Penelusuran), dan halaman yang dihapus akan lebih lama berada di dalam indeks. Untuk Google Ads, kampanye Anda dapat dibatalkan atau dijeda, dan iklan Anda mungkin tidak akan ditayangkan.

Jika Anda perlu segera mengurangi frekuensi crawling untuk jangka waktu yang singkat (misalnya, beberapa jam, atau 1-2 hari), tampilkan kode status respons HTTP 500, 503, atau 429, bukan 200, pada permintaan crawl. Infrastruktur crawling Google akan mengurangi frekuensi crawling situs Anda jika menemukan jumlah URL yang signifikan dengan kode status respons HTTP 500, 503, atau 429 (misalnya, jika Anda menonaktifkan situs Anda). Pengurangan frekuensi crawling memengaruhi seluruh nama host situs Anda (misalnya, subdomain.example.com), baik crawling URL yang menampilkan error, maupun URL yang menampilkan konten. Setelah jumlah error ini dikurangi, frekuensi crawling akan mulai meningkat lagi secara otomatis.

Peringatan: Kami tidak menyarankan Anda melakukan tindakan ini untuk jangka waktu yang lama (artinya, lebih dari 1-2 hari) karena dapat berdampak negatif pada tampilan situs Anda di produk Google. Misalnya, untuk Penelusuran, jika Googlebot mengamati kode status ini di URL yang sama selama beberapa hari, URL tersebut dapat dihapus dari indeks Google.

Permintaan khusus untuk mengurangi frekuensi crawling

Jika infrastruktur Anda tidak dapat menayangkan error ke crawler Google, ajukan permintaan khusus untuk melaporkan masalah terkait tingginya frekuensi crawling yang tidak wajar, dengan menyebutkan frekuensi yang optimal bagi situs dalam permintaan Anda. Anda tidak dapat meminta peningkatan frekuensi crawling, dan mungkin memerlukan waktu beberapa hari agar permintaan tersebut dapat dievaluasi dan dipenuhi.