Senin, 21 Juli 2014
Membuat dan memelihara file robots.txt yang benar terkadang cukup sulit. Sementara kebanyakan situs mempermudahnya (kiat: sering kali situs tidak memerlukan file robots.txt!), menemukan perintah dalam file robots.txt yang besar yang saat ini atau dulu memblokir URL individual bisa jadi cukup sulit Untuk menjadikannya lebih mudah, sekarang kami mengumumkan
alat pengujian robots.txt
terbaru di Alat Webmaster.
Anda dapat menemukan alat pengujian terbaru di Alat Webmaster di bagian Perayapan:
Di sini Anda akan melihat file robots.txt yang aktif, dan dapat menguji URL baru untuk melihat apakah URL itu dilarang dirayapi. Untuk memandu Anda melalui perintah yang rumit, alat akan menyorot salah satunya yang mengarah ke keputusan akhir. Anda dapat melakukan perubahan dalam file dan mengujinya juga, cukup unggah versi baru ke server Anda, setelah itu biarkan perubahan tersebut berlaku. Di situs pengembang kami terdapat lebih banyak informasi tentang perintah robots.txt dan cara file diproses .
Selain itu, Anda dapat meninjau versi file robots.txt yang lebih lama, dan melihat kapan masalah akses menghalangi kami untuk melakukan perayapan. Misalnya, jika Googlebot melihat kesalahan server 500 untuk file robots.txt, biasanya kami akan menjeda perayapan lebih lanjut dari situs web Anda.
Karena mungkin ada beberapa kesalahan atau peringatan yang ditampilkan untuk situs yang sudah ada, sebaiknya Anda memeriksa kembali file robots.txt tersebut. Anda juga dapat menggabungkannya dengan bagian lain Alat Webmaster: contohnya, Anda mungkin menggunakan alat Ambil sebagai Google terbaru untuk merender laman penting di situs web. Jika ada URL terblokir yang dilaporkan, Anda dapat menggunakan penguji robots.txt ini untuk menemukan perintah yang memblokirnya, lalu, tentu saja, memperbaikinya. Masalah umum yang kami lihat berasal dari file robots.txt lama yang memblokir CSS, JavaScript, atau konten seluler — sering kali ini mudah diperbaiki setelah Anda memeriksanya.
Kami harap alat terbaru ini memudahkan Anda untuk menguji & memelihara file robots.txt. Jika Anda memiliki pertanyaan atau membutuhkan bantuan untuk menyusun serangkaian perintah yang baik, jangan ragu untuk mengunjungi forum bantuan webmaster kami!
Ditulis oleh Asaph Arnon, Webmaster Tools team
Anda dapat menemukan alat pengujian terbaru di Alat Webmaster di bagian Perayapan:
Di sini Anda akan melihat file robots.txt yang aktif, dan dapat menguji URL baru untuk melihat apakah URL itu dilarang dirayapi. Untuk memandu Anda melalui perintah yang rumit, alat akan menyorot salah satunya yang mengarah ke keputusan akhir. Anda dapat melakukan perubahan dalam file dan mengujinya juga, cukup unggah versi baru ke server Anda, setelah itu biarkan perubahan tersebut berlaku. Di situs pengembang kami terdapat lebih banyak informasi tentang perintah robots.txt dan cara file diproses .
Selain itu, Anda dapat meninjau versi file robots.txt yang lebih lama, dan melihat kapan masalah akses menghalangi kami untuk melakukan perayapan. Misalnya, jika Googlebot melihat kesalahan server 500 untuk file robots.txt, biasanya kami akan menjeda perayapan lebih lanjut dari situs web Anda.
Karena mungkin ada beberapa kesalahan atau peringatan yang ditampilkan untuk situs yang sudah ada, sebaiknya Anda memeriksa kembali file robots.txt tersebut. Anda juga dapat menggabungkannya dengan bagian lain Alat Webmaster: contohnya, Anda mungkin menggunakan alat Ambil sebagai Google terbaru untuk merender laman penting di situs web. Jika ada URL terblokir yang dilaporkan, Anda dapat menggunakan penguji robots.txt ini untuk menemukan perintah yang memblokirnya, lalu, tentu saja, memperbaikinya. Masalah umum yang kami lihat berasal dari file robots.txt lama yang memblokir CSS, JavaScript, atau konten seluler — sering kali ini mudah diperbaiki setelah Anda memeriksanya.
Kami harap alat terbaru ini memudahkan Anda untuk menguji & memelihara file robots.txt. Jika Anda memiliki pertanyaan atau membutuhkan bantuan untuk menyusun serangkaian perintah yang baik, jangan ragu untuk mengunjungi forum bantuan webmaster kami!
Ditulis oleh Asaph Arnon, Webmaster Tools team