Jumat, 24 November 2023
Alat pembatasan frekuensi crawling di Search Console tidak akan digunakan lagi mulai 8 Januari 2024. Alat ini telah tersedia selama lebih dari satu dekade, tetapi dengan berbagai peningkatan yang kami lakukan pada logika crawling dan alat lain yang tersedia bagi penayang, kegunaannya telah menurun.
Googlebot bereaksi terhadap bagaimana situs–atau lebih spesifiknya server yang menangani situs–
merespons permintaan HTTP Googlebot. Misalnya, jika server terus-menerus menampilkan kode status
500 HTTP untuk suatu rentang URL, hampir secara seketika
Googlebot akan otomatis memperlambat crawling. Demikian pula, Googlebot akan memperlambat crawling secara otomatis jika waktu respons
untuk permintaan menjadi jauh lebih lama. Jika Anda mendapati intensitas crawling yang tidak wajar dan
situs Anda tidak dapat mengelolanya sendiri, lihat
artikel bantuan ini.
Sebaliknya, alat pembatasan frekuensi memiliki efek yang jauh lebih lambat; bahkan, alat ini mungkin perlu waktu lebih dari satu hari untuk menerapkan batas baru pada crawling. Untungnya, pemilik situs jarang menggunakan alat ini, dan yang pernah menggunakannya, sering kali menetapkan kecepatan crawling ke batas minimum. Karena alat pembatasan crawling tidak digunakan lagi, kami juga menetapkan kecepatan crawling minimum ke frekuensi yang lebih rendah, sebanding dengan batas frekuensi crawling yang lama. Artinya, kami secara efektif terus mematuhi setelan yang telah ditetapkan sebelumnya oleh beberapa pemilik situs jika minat Penelusuran rendah, dan crawler kami tidak membuang-buang bandwidth situs.
Karena semakin bagusnya penanganan frekuensi crawling otomatis, dan demi menjaga segala sesuatunya tetap mudah bagi pengguna, kami akan menghentikan penggunaan alat ini di Search Console. Kami menyediakan formulir laporan Googlebot untuk melaporkan aktivitas Googlebot yang tidak wajar dan untuk kasus darurat, tetapi perlu diingat bahwa cara tercepat untuk mengurangi frekuensi crawling adalah dengan memerintahkan Googlebot melalui respons server seperti yang dijelaskan dalam dokumentasi kami.
Jika ada pertanyaan atau komentar, sampaikan di Komunitas Pusat Google Penelusuran kami.