Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag
Dokumen ini menjelaskan penggunaan setelan tingkat halaman dan tingkat teks untuk menyesuaikan cara Google
menampilkan konten Anda di hasil penelusuran. Anda dapat menentukan setelan tingkat halaman dengan menyertakan
tag meta di halaman HTML atau di header HTTP. Anda dapat menentukan setelan tingkat teks dengan atribut
data-nosnippet pada elemen HTML dalam sebuah halaman.
Perlu diingat bahwa setelan ini dapat dibaca dan diikuti hanya jika crawler diizinkan untuk mengakses halaman yang menyertakan setelan ini.
Aturan <meta name="robots" content="noindex"> berlaku untuk crawler
mesin telusur. Untuk memblokir crawler non-penelusuran, seperti
AdsBot-Google, Anda mungkin harus menambahkan aturan yang ditargetkan ke crawler
tertentu (misalnya
<meta name="AdsBot-Google" content="noindex">).
Menggunakan tag meta robots
Tag meta robots memungkinkan Anda memanfaatkan pendekatan khusus halaman yang terperinci untuk mengontrol bagaimana
setiap halaman diindeks dan ditayangkan kepada pengguna di hasil Google Penelusuran. Tempatkan tag
meta robots di bagian <head> halaman tertentu, seperti
ini:
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex"> (…) </head> <body>(…)</body> </html>
Dalam contoh ini, tag meta robots menginstruksikan mesin
telusur untuk tidak menampilkan halaman di hasil penelusuran. Nilai atribut name
(robots) menentukan bahwa aturan tersebut berlaku untuk semua crawler. Baik atribut name
maupun content tidak peka huruf besar/kecil. Untuk menangani crawler tertentu,
ganti nilai robots pada atribut name dengan token agen pengguna
crawler yang Anda tangani. Google mendukung dua token agen pengguna dalam
tag meta robots; nilai lainnya diabaikan:
googlebot: untuk semua hasil teks.googlebot-news: untuk hasil berita.
Misalnya, untuk secara khusus menginstruksikan Google agar tidak menampilkan halaman di hasil penelusurannya, Anda dapat
menentukan googlebot sebagai nama tag meta:
<meta name="googlebot" content="noindex">
Untuk menampilkan halaman di hasil penelusuran web Google tanpa menampilkannya di Google Berita, gunakan
tag meta googlebot-news:
<meta name="googlebot-news" content="noindex">
Untuk menentukan beberapa crawler secara terpisah, gunakan beberapa
tag meta robots:
<meta name="googlebot" content="noindex"> <meta name="googlebot-news" content="nosnippet">
Untuk memblokir pengindeksan resource non-HTML, seperti file PDF, file video, atau file gambar,
gunakan header respons X-Robots-Tag.
Menggunakan header HTTP X-Robots-Tag
X-Robots-Tag dapat digunakan sebagai elemen respons header
HTTP untuk URL tertentu. Setiap aturan yang dapat digunakan dalam tag meta robots juga dapat
ditetapkan sebagai X-Robots-Tag. Berikut adalah contoh respons
HTTP dengan X-Robots-Tag yang menginstruksikan crawler untuk tidak mengindeks sebuah
halaman:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
Beberapa header X-Robots-Tag dapat digabungkan dalam respons
HTTP, atau Anda dapat menentukan daftar aturan yang dipisahkan koma. Berikut adalah contoh
respons header HTTP yang menggabungkan X-Robots-Tag
noarchive dengan
X-Robots-Tag unavailable_after.
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
Secara opsional, X-Robots-Tag dapat menentukan agen pengguna sebelum
aturan. Misalnya, rangkaian header HTTP X-Robots-Tag berikut
dapat digunakan untuk mengizinkan penayangan suatu halaman secara kondisional di hasil penelusuran untuk berbagai
mesin telusur:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
Aturan yang ditentukan tanpa agen pengguna akan berlaku untuk semua crawler. Header HTTP, nama agen pengguna, dan nilai yang ditentukan tidak peka huruf besar/kecil.
Aturan pengindeksan dan penayangan yang valid
Aturan berikut, juga tersedia di
format yang dapat dibaca mesin, dapat digunakan untuk
mengontrol pengindeksan dan penayangan cuplikan dengan
tag meta robots dan X-Robots-Tag. Setiap nilai mewakili aturan
tertentu. Beberapa aturan dapat digabungkan dalam daftar yang dipisahkan koma
atau dalam tag meta terpisah. Aturan ini tidak peka huruf besar/kecil.
| Aturan | |
|---|---|
|
Tidak ada batasan untuk pengindeksan atau penayangan. Aturan ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit. |
|
Jangan tampilkan halaman, media, atau resource ini dalam hasil penelusuran. Jika Anda tidak menentukan aturan ini, halaman, media, atau resource tersebut dapat diindeks dan ditampilkan dalam hasil penelusuran. Untuk menghapus informasi dari Google, ikuti panduan langkah demi langkah kami. |
|
Jangan ikuti link di halaman ini. Jika Anda tidak menentukan aturan ini, Google dapat
menggunakan link pada halaman untuk menemukan halaman tertaut tersebut. Pelajari lebih lanjut
nofollow.
|
|
Setara dengan noindex, nofollow.
|
|
Jangan tampilkan link cache dalam hasil penelusuran. Jika Anda tidak menentukan aturan ini, Google dapat membuat halaman yang di-cache dan pengguna dapat mengaksesnya melalui hasil penelusuran. |
|
Jangan tampilkan kotak penelusuran sitelink di hasil penelusuran untuk halaman ini. Jika Anda tidak menentukan aturan ini, Google dapat membuat kotak penelusuran khusus untuk situs Anda di hasil penelusuran, beserta link langsung lainnya ke situs Anda. |
|
Jangan tampilkan cuplikan teks atau pratinjau video di hasil penelusuran untuk halaman ini. Thumbnail gambar statis (jika ada) mungkin tetap terlihat jika dapat memberikan pengalaman pengguna yang lebih baik. Hal ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Discover, Ringkasan AI) dan juga akan mencegah konten digunakan sebagai input langsung untuk Ringkasan AI. Jika Anda tidak menentukan aturan ini, Google dapat membuat cuplikan teks dan pratinjau video berdasarkan informasi yang ditemukan di halaman tersebut.
Untuk mengecualikan bagian tertentu dari konten Anda agar tidak muncul di cuplikan hasil penelusuran,
gunakan atribut
HTML |
|
Google diizinkan untuk mengindeks konten halaman jika disematkan di halaman lain
melalui
|
|
Gunakan maksimum [angka] karakter sebagai cuplikan tekstual untuk hasil penelusuran ini. (Perlu diketahui bahwa satu URL dapat ditampilkan sebagai beberapa hasil penelusuran di halaman hasil penelusuran.) Hal ini tidak memengaruhi pratinjau gambar atau video. Hal ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten, Ringkasan AI) dan juga akan membatasi jumlah konten yang dapat digunakan sebagai input langsung untuk Ringkasan AI. Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut. Aturan ini akan diabaikan jika [angka] yang dapat diurai tidak ditentukan. Jika Anda tidak menentukan aturan ini, Google yang akan memilih panjang cuplikan. Nilai khusus:
Contoh: Untuk menghentikan cuplikan ditampilkan di hasil penelusuran: <meta name="robots" content="max-snippet:0"> Untuk mengizinkan hingga 20 karakter ditampilkan dalam cuplikan: <meta name="robots" content="max-snippet:20"> Untuk menentukan bahwa tidak ada batasan jumlah karakter yang dapat ditampilkan dalam cuplikan: <meta name="robots" content="max-snippet:-1"> |
|
Tetapkan ukuran maksimum pratinjau gambar untuk halaman ini di hasil penelusuran.
Jika Anda tidak menentukan aturan Nilai [setelan] yang diterima:
Ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten). Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman (seperti AMP dan versi kanonis artikel) atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut.
Jika Anda ingin Google menggunakan gambar thumbnail yang lebih besar saat halaman AMP
dan versi kanonis artikelnya ditampilkan di Penelusuran atau Discover, tentukan nilai
Contoh: <meta name="robots" content="max-image-preview:standard"> |
|
Gunakan maksimum [angka] detik sebagai cuplikan video untuk video pada halaman ini di hasil penelusuran.
Jika Anda tidak menentukan aturan Nilai khusus:
Aturan ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Google Video, Discover, Asisten). Aturan ini akan diabaikan jika [angka] yang dapat diurai tidak ditentukan. Contoh: <meta name="robots" content="max-video-preview:-1"> |
|
Jangan menawarkan terjemahan halaman ini di hasil penelusuran. Jika Anda tidak menetapkan aturan ini, Google dapat menyediakan terjemahan cuplikan dan link judul hasil penelusuran untuk hasil yang tidak ditampilkan dalam bahasa kueri penelusuran. Jika pengguna mengklik terjemahan link judul, semua interaksi selanjutnya dari pengguna dengan halaman tersebut akan melalui Google Terjemahan, yang akan otomatis menerjemahkan link berikutnya. |
|
Jangan mengindeks gambar di halaman ini. Jika Anda tidak menentukan nilai ini, gambar pada halaman dapat diindeks dan ditampilkan di hasil penelusuran. |
|
Jangan menampilkan halaman ini di hasil penelusuran setelah tanggal/waktu yang ditentukan. Tanggal/waktu harus ditentukan dalam format yang digunakan secara luas termasuk, tetapi tidak terbatas pada RFC 822, RFC 850, dan ISO 8601. Aturan akan diabaikan jika tidak ada tanggal/waktu valid yang ditentukan. Secara default, tidak ada tanggal habis masa berlaku untuk konten. Jika Anda tidak menentukan aturan ini, halaman ini dapat ditampilkan dalam hasil penelusuran tanpa batas waktu. Googlebot akan mengurangi kecepatan crawling URL secara signifikan setelah melewati tanggal dan waktu yang ditentukan. Contoh: <meta name="robots" content="unavailable_after: 2020-09-21"> |
Menangani gabungan aturan pengindeksan dan penayangan
Anda dapat membuat petunjuk multi-aturan dengan menggabungkan aturan tag meta robots
dengan koma atau menggunakan beberapa tag meta. Berikut adalah contoh dari tag meta robots yang menginstruksikan web crawler untuk tidak mengindeks
halaman dan tidak meng-crawl link apa pun di halaman tersebut:
Daftar yang dipisahkan koma
<meta name="robots" content="noindex, nofollow">
Beberapa tag meta
<meta name="robots" content="noindex"> <meta name="robots" content="nofollow">
Berikut adalah contoh yang membatasi cuplikan teks menjadi maksimal 20 karakter, dan mengizinkan pratinjau gambar yang lebih besar:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Jika beberapa crawler ditentukan bersama dengan aturan yang berbeda, mesin telusur akan menggunakan gabungan aturan negatif. Contoh:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
Halaman yang berisi tag meta ini akan ditafsirkan seolah-olah memiliki
aturan noindex, nofollow saat di-crawl oleh Googlebot.
Menggunakan atribut HTML data-nosnippet
Anda dapat menentukan bagian tekstual dari halaman HTML agar tidak digunakan sebagai cuplikan. Hal ini dapat dilakukan
di tingkat elemen HTML dengan atribut HTML data-nosnippet pada
elemen span, div,
dan section. data-nosnippet
dianggap sebagai
atribut boolean.
Sedangkan untuk semua atribut boolean, nilai apa pun yang ditentukan akan diabaikan. Untuk memastikan keterbacaan oleh komputer,
bagian HTML ini harus berupa HTML yang valid dan semua tag yang sesuai harus tertutup.
Contoh:
<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>
<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->
<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->
<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->
<p>This text can be shown in a snippet.</p>
<div data-nosnippet>
<p>However, this is not in snippet.</p>
<ul>
<li>Stuff not in snippet</li>
<li>More stuff not in snippet</li>
</ul>
</div>
Google biasanya merender halaman agar dapat mengindeksnya, tetapi rendering ini tidak dijamin.
Oleh karena itu, ekstraksi data-nosnippet dapat terjadi
sebelum dan sesudah rendering. Untuk menghindari ketidakpastian rendering, jangan tambahkan atau hapus atribut
data-nosnippet dari node yang sudah ada melalui JavaScript.
Saat menambahkan elemen DOM melalui JavaScript, sertakan atribut
data-nosnippet seperlunya saat pertama kali menambahkan
elemen tersebut ke DOM halaman. Jika elemen kustom digunakan, gabungkan atau render elemen tersebut bersama
elemen div, span,
atau section jika Anda harus menggunakan
data-nosnippet.
Menggunakan data terstruktur
Tag meta Robots mengatur banyaknya konten yang otomatis diekstrak oleh Google dari halaman
web untuk ditampilkan sebagai hasil penelusuran. Namun, banyak penayang juga menggunakan data terstruktur schema.org
untuk menyediakan informasi tertentu melalui
presentasi penelusuran. Batasan tag meta
Robots tidak memengaruhi penggunaan data terstruktur tersebut, dengan pengecualian
article.description dan nilai
description bagi data terstruktur yang ditentukan untuk konten materi
iklan lainnya. Untuk menentukan jumlah karakter maksimum pratinjau berdasarkan nilai
description ini, gunakan
aturan max-snippet. Misalnya,
data terstruktur recipe di suatu halaman memenuhi syarat untuk disertakan dalam
carousel resep, meskipun pratinjau teks akan dibatasi. Anda dapat membatasi jumlah karakter
pratinjau teks dengan max-snippet, tetapi tag meta robots tersebut
tidak berlaku jika informasi disediakan menggunakan data terstruktur untuk hasil kaya.
Untuk mengelola penggunaan data terstruktur di halaman web Anda, ubah jenis dan nilai data terstruktur
tersebut, dengan menambahkan atau menghapus informasi untuk secara khusus menyediakan data
yang Anda inginkan. Perlu diketahui juga bahwa data terstruktur tetap dapat digunakan untuk hasil penelusuran jika
dideklarasikan dalam elemen data-nosnippet.
Implementasi praktis dari X-Robots-Tag
Anda dapat menambahkan X-Robots-Tag ke respons HTTP situs melalui
file konfigurasi dari software server web situs Anda. Misalnya, pada server web berbasis Apache,
Anda dapat menggunakan file .htaccess dan httpd.conf. Manfaat penggunaan X-Robots-Tag
dengan respons HTTP adalah Anda dapat menentukan aturan
crawling yang diterapkan secara global di seluruh situs. Dukungan ekspresi reguler memungkinkan adanya
tingkat fleksibilitas yang tinggi.
Misalnya, untuk menambahkan X-Robots-Tag
noindex, nofollow ke respons HTTP untuk semua file .PDF di
seluruh situs, tambahkan cuplikan berikut ke file .htaccess atau file httpd.conf root situs di
Apache, atau file .conf situs di NGINX.
Apache
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Anda dapat menggunakan X-Robots-Tag untuk file non-HTML seperti file gambar
yang tidak memungkinkan penggunaan tag meta robots pada HTML. Berikut adalah contoh penambahan aturan
X-Robots-Tag noindex untuk
file gambar (.png, .jpeg, .jpg, .gif) di seluruh situs:
Apache
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
NGINX
location ~* \.(png|jpe?g|gif)$ {
add_header X-Robots-Tag "noindex";
}
Anda juga dapat menetapkan header X-Robots-Tag untuk masing-masing file statis:
Apache
# the htaccess file must be placed in the directory of the matched file. <Files "unicorn.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location = /secrets/unicorn.pdf {
add_header X-Robots-Tag "noindex, nofollow";
}
Menggabungkan aturan robots.txt dengan aturan pengindeksan dan penayangan
Tag meta robots dan header HTTP X-Robots-Tag ditemukan saat
URL di-crawl. Jika halaman tidak boleh di-crawl melalui file robots.txt, semua
informasi tentang aturan pengindeksan atau penayangan tidak akan ditemukan dan akan
diabaikan. Jika aturan pengindeksan atau penayangan harus diikuti, URL yang berisi
aturan tersebut harus diizinkan untuk di-crawl.