Spesifikasi tag meta robot dan header HTTP X-Robots-Tag

Abstrak

Dokumen ini menjelaskan bagaimana Google menangani setelan pengindeksan tingkat laman sehingga memungkinkan Anda mengontrol cara Google membuat konten tersedia melalui hasil penelusuran. Anda dapat menentukan setelan ini dengan memasukkan tag meta pada laman (X)HTML atau header HTTP.

Catatan: Perlu diingat bahwa setelan ini dapat dibaca dan diikuti hanya jika perayap diizinkan untuk mengakses laman yang mencakup setelan ini.

Kembali ke atas

Menggunakan tag meta robot

Tag meta robot memungkinkan Anda menggunakan pendekatan khusus laman yang terperinci untuk mengontrol cara tiap laman diindeks dan ditampilkan kepada pengguna dalam hasil penelusuran. Tempatkan tag meta robot di bagian <head> pada laman tertentu, seperti ini:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Tag meta robot pada contoh di atas menginstruksikan semua mesin telusur agar tidak menampilkan laman tersebut dalam hasil penelusuran. Nilai atribut name (robots) menentukan bahwa perintah tersebut berlaku untuk semua perayap. Untuk menangani perayap tertentu, ganti nilai robots pada atribut name dengan nama perayap yang dimaksud. Perayap tertentu juga dikenal sebagai agen pengguna (perayap menggunakan agen penggunanya untuk meminta laman). Perayap web standar Google memiliki nama agen pengguna Googlebot. Agar Googlebot saja yang tidak merayapi laman Anda, perbarui tagnya seperti di bawah:

<meta name="googlebot" content="noindex" />

Tag ini kini menginstruksikan Google (bukan mesin telusur lainnya) agar tidak menunjukkan laman ini dalam hasil penelusuran web. Atribut name dan content tidak peka terhadap huruf besar dan kecil.

Tiap mesin telusur mungkin memiliki perayap yang berbeda untuk properti atau tujuan yang berbeda. Lihat daftar lengkap perayap Google. Misalnya, untuk menunjukkan suatu laman dalam hasil penelusuran web Google, namun tidak di Google Berita, gunakan tag meta berikut:

<meta name="googlebot-news" content="noindex" />

Jika perlu menentukan beberapa perayap secara individu, Anda dapat menggunakan beberapa tag meta robot:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Jika perintah yang mirip ditemui oleh perayap, kami akan menggunakan perintah yang paling membatasi.

Kembali ke atas

Menggunakan header HTTP X-Robots-Tag

X-Robots-Tag dapat digunakan sebagai elemen respons header HTTP untuk URL tertentu. Setiap perintah yang dapat digunakan dalam tag meta robot juga dapat ditentukan sebagai X-Robots-Tag. Berikut adalah contoh respons HTTP dengan X-Robots-Tag yang memerintahkan perayap agar tidak mengindeks laman:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Beberapa header X-Robots-Tag dapat digabungkan dalam respons HTTP, atau Anda dapat menentukan daftar perintah yang dipisahkan koma. Berikut adalah contoh respons header HTTP yang memiliki X-Robots-Tag noarchive yang digabungkan dengan X-Robots-Tag unavailable_after.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Secara opsional, X-Robots-Tag dapat menyebutkan agen pengguna sebelum perintah. Misalnya, sejumlah header HTTP X-Robots-Tag berikut dapat digunakan untuk mengizinkan secara kondisional agar laman ditampilkan dalam hasil penelusuran pada mesin telusur yang berbeda:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Perintah yang ditentukan tanpa agen pengguna akan berlaku untuk semua perayap. Bagian di bawah ini menunjukkan cara menangani perintah gabungan. Nama dan nilai yang ditetapkan tidak peka terhadap huruf besar dan kecil.

Kembali ke atas

Perintah pengindeksan & penyajian yang valid

Beberapa perintah lainnya dapat digunakan untuk mengontrol pengindeksan dan penyajian dengan tag meta robot dan X-Robots-Tag. Tiap nilai mewakili perintah tertentu. Tabel berikut menampilkan semua perintah yang diakui oleh Google dan artinya. Catatan: ada kemungkinan perintah berikut tidak diperlakukan sama pada perayap mesin telusur lainnya. Beberapa perintah dapat digabungkan dalam daftar yang dipisahkan koma (lihat cara menangani perintah gabungan di bawah). Perintah berikut tidak peka terhadap huruf besar dan kecil.

PerintahArti
all Tidak ada batasan untuk pengindeksan atau penyajian. Catatan: perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.
noindex Jangan tampilkan laman ini dalam hasil penelusuran dan jangan tampilkan tautan "dalam cache" di hasil penelusuran.
nofollow Jangan ikuti tautan di laman ini
none Setara dengan noindex, nofollow
noarchive Jangan tampilkan tautan "dalam cache" di hasil penelusuran.
nosnippet Jangan tampilkan cuplikan dalam hasil penelusuran untuk laman ini
noodp Jangan gunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada laman ini.
notranslate Jangan menawarkan terjemahan dari laman ini dalam hasil penelusuran.
noimageindex Jangan lakukan pengindeksan gambar di laman ini.
unavailable_after: [RFC-850 date/time] Jangan tampilkan laman ini dalam hasil penelusuran setelah tanggal/waktu yang telah ditentukan. Tanggal/waktu harus ditentukan dalam format RFC 850.

Setelah file robots.txt (atau tidak adanya file tersebut) diberi izin untuk merayapi laman, secara default laman akan diperlakukan sebagai dapat dirayapi, dapat diindeks, dapat diarsipkan, dan kontennya disetujui untuk digunakan dalam cuplikan yang ditampilkan di hasil penelusuran, kecuali izin ditolak secara khusus dalam tag meta robot atau X-Robots-Tag.

Kembali ke atas

Menangani gabungan perintah pengindeksan dan penyajian

Anda dapat membuat instruksi multiperintah dengan menggabungkan perintah tag meta robot dan koma. Berikut adalah contoh dari tag meta robot yang menginstruksikan perayap web agar tidak mengindeks laman dan tidak merayapi tautan apa pun di laman:

<meta name="robots" content="noindex, nofollow">

Jika beberapa perayap ditentukan dengan perintah yang berbeda, mesin telusur akan menggunakan gabungan perintah negatif. Misalnya:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Laman yang berisi tag meta akan ditafsirkan memiliki perintah noindex, nofollow saat dirayapi oleh Googlebot.

Kembali ke atas

Implementasi praktis dari X-Robots-Tag dengan Apache

Anda dapat menambahkan X-Robots-Tag ke respons HTTP di situs menggunakan file .htaccess dan httpd.conf yang tersedia secara default pada server web berbasis Apache. Keuntungan menggunakan X-Robots-Tag dengan respons HTTP adalah Anda dapat menentukan perintah perayapan yang diterapkan secara global di seluruh situs. Dukungan ekspresi reguler memungkinkan tingkat fleksibilitas yang tinggi.

Misalnya, untuk menambahkan X-Robots-Tag noindex, nofollow ke respons HTTP untuk semua file .PDF di seluruh situs, tambahkan cuplikan berikut ke file akar .htaccess atau file httpd.conf di situs:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Anda dapat menggunakan X-Robots-Tag untuk file non-HTML seperti file gambar yang tidak memungkinkan penggunaan tag meta robot. Berikut adalah contoh penambahan perintah X-Robots-Tag noindex untuk file gambar (.png, .jpeg, .jpg, .gif) di seluruh situs:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

Kembali ke atas

Menggabungkan perayapan dengan perintah pengindeksan / penyajian

Tag meta robot dan header HTTP X-Robots-Tag akan ditemukan saat URL dirayapi. Jika laman tidak diizinkan perayapannya melalui file robots.txt, maka informasi tentang perintah pengindeksan atau penyajian tidak akan ditemukan dan akan diabaikan. Jika perintah pengindeksan atau penyajian harus diikuti, URL yang berisi perintah tersebut tidak boleh dilarang perayapannya.

Kembali ke atas