Memperbarui file robots.txt

Jika menggunakan layanan hosting situs, seperti Wix atau Blogger, Anda mungkin tidak perlu (atau dapat) mengedit file robots.txt secara langsung. Sebaliknya, penyedia layanan mungkin mengekspos halaman setelan penelusuran atau beberapa mekanisme lain untuk memberi tahu mesin telusur agar meng-crawl halaman atau tidak.

Jika ingin menyembunyikan atau memperlihatkan salah satu halaman Anda dari mesin telusur, telusuri petunjuk tentang mengubah visibilitas halaman di mesin telusur di layanan hosting Anda, misalnya, telusuri "cara wix menyembunyikan halaman dari mesin telusur".

Untuk memperbarui aturan di file robots.txt yang sudah ada, download salinan file robots.txt dari situs Anda dan lakukan pengeditan yang diperlukan.

Mendownload file robots.txt

Anda dapat mendownload file robots.txt melalui berbagai cara, misalnya:

• Buka file robots.txt, misalnya https://example.com/robots.txt, lalu salin isinya untuk ditempelkan ke file teks baru di komputer. Pastikan Anda mengikuti panduan terkait format file saat membuat file lokal baru.
• Download salinan asli file robots.txt dengan alat seperti cURL. Contoh:

  curl https://example.com/robots.txt -o robots.txt

• Gunakan laporan robots.txt di Search Console untuk menyalin isi file robots.txt, yang kemudian dapat Anda tempel ke file di komputer.

Mengedit file robots.txt

Di editor teks, buka file robots.txt yang sudah Anda download dari situs, dan lakukan pengeditan yang diperlukan pada aturan. Pastikan Anda menggunakan sintaksis yang tepat dan juga menyimpan file dengan encoding UTF-8.

Mengupload file robots.txt

Upload file robots.txt baru ke direktori root situs Anda sebagai file teks yang bernama robots.txt. Cara Anda mengupload file ke situs Anda sangat bergantung pada server dan platform. Baca tips dari kami untuk mendapatkan bantuan terkait cara mengupload file robots.txt ke situs.

Jika Anda tidak memiliki izin mengupload file ke direktori root situs, hubungi pengelola domain untuk melakukan perubahan.

Misalnya, jika halaman beranda situs Anda berada di bawah subdomain.example.com/site/example/, Anda mungkin tidak dapat memperbarui file robots.txt di subdomain.example.com/robots.txt. Untuk hal ini, hubungi pemilik example.com/ guna membuat perubahan yang diperlukan pada file robots.txt.

Memuat ulang cache robots.txt Google

Selama proses crawling otomatis, Crawler Google mengetahui perubahan yang Anda buat pada file robots.txt dan memperbarui versi yang di-cache setiap 24 jam. Jika Anda perlu memperbarui cache lebih cepat, gunakan fungsi Minta crawl ulang pada laporan robots.txt.