Memblokir pengindeksan penelusuran dengan 'noindex'

Anda dapat mencegah halaman muncul di Google Penelusuran dengan menyertakan tag meta noindex di kode HTML halaman, atau dengan menampilkan header noindex di permintaan HTTP. Saat berikutnya Googlebot meng-crawl halaman tersebut dan melihat tag atau header, Googlebot akan menghapus halaman tersebut sepenuhnya dari hasil Google Penelusuran, terlepas dari apakah situs lain ditautkan ke halaman tersebut atau tidak.

Menggunakan noindex akan berguna jika Anda tidak memiliki akses root ke server, karena memungkinkan Anda mengontrol akses ke situs berdasarkan halaman demi halaman.

Mengimplementasikan noindex

Ada 2 cara untuk mengimplementasikan noindex: sebagai tag meta dan sebagai header respons HTTP. Keduanya memiliki efek yang sama; pilih metode yang lebih sesuai dengan situs Anda.

Tag <meta>

Agar sebagian besar web crawler mesin telusur tidak mengindeks halaman di situs Anda, tempatkan tag meta berikut dalam bagian <head> halaman:

<meta name="robots" content="noindex">

Agar web crawler Google saja yang tidak mengindeks halaman:

<meta name="googlebot" content="noindex">

Perlu diketahui bahwa beberapa web crawler mesin telusur dapat menafsirkan perintah noindex secara berbeda. Oleh karena itu, kemungkinan halaman Anda masih muncul di hasil penelusuran mesin telusur lain.

Baca selengkapnya tentang tag meta noindex.

Membantu kami melihat tag meta Anda

Kami harus meng-crawl halaman Anda untuk melihat tag meta Anda. Jika halaman Anda masih muncul di hasil penelusuran, hal ini mungkin terjadi karena kami belum meng-crawl situs Anda sejak tag tersebut ditambahkan. Anda dapat meminta Google untuk meng-crawl ulang halaman Anda menggunakan alat Inspeksi URL. Alasan lainnya adalah karena file robots.txt mungkin memblokir URL ini dari web crawler Google, sehingga kami tidak dapat melihat tag. Untuk membatalkan pemblokiran laman Anda dari Google, Anda perlu mengedit file robots.txt. Anda dapat mengedit dan menguji robots.txt menggunakan alat Penguji robots.txt.

Header respons HTTP

Selain tag meta, Anda juga dapat menampilkan header X-Robots-Tag dengan nilai noindex atau none dalam respons Anda. Berikut adalah contoh respons HTTP dengan X-Robots-Tag yang memerintahkan crawler agar tidak mengindeks sebuah halaman:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Baca selengkapnya tentang header respons noindex.