Ringkasan topik crawling dan pengindeksan

Topik di bagian ini menjelaskan bagaimana Anda dapat mengontrol kemampuan Google untuk menemukan dan mengurai konten Anda guna menampilkannya di Penelusuran dan Properti Google lainnya, serta cara mencegah Google meng-crawl konten tertentu di situs Anda.

Berikut deskripsi singkat dari setiap halaman. Untuk mendapatkan ringkasan terkait crawling dan pengindeksan, baca panduan Cara kerja Penelusuran.

Topik
Peta situs	Memberi tahu Google tentang halaman di situs Anda yang baru atau diperbarui.
robots.txt	File robots.txt memberi tahu crawler mesin telusur halaman atau file mana yang dapat atau tidak dapat diminta oleh crawler dari situs.
Tag meta	Google mendukung beberapa ekstensi tag yang mengatur perilaku dan tampilan penelusuran.
Pengelolaan crawler	Meminta Google untuk meng-crawl ulang URL Mengurangi kecepatan crawling Googlebot Memverifikasi Googlebot Panduan pemilik situs besar untuk mengelola anggaran crawl Crawler Google
Penghapusan	Mengontrol informasi yang dibagikan dengan Google Menghapus halaman yang dihosting di situs Anda dari Google Menghapus gambar yang dihosting di halaman Anda agar tidak muncul di hasil penelusuran Memilih tidak ikut menampilkan konten di Google Lokal dan Properti Google lainnya dengan Search Console
Konten duplikat	Beri tahu Google tentang halaman duplikat di situs Anda untuk menghindari crawling yang berlebihan. Pelajari cara Google mendeteksi otomatis konten duplikat, menangani konten duplikat, dan menetapkan halaman kanonis ke grup halaman duplikat yang ditemukan.
Pemindahan dan perubahan situs	Pengalihan dan Google Penelusuran Pemindahan situs Menjeda atau menonaktifkan situs untuk sementara Error soft 404
Situs internasional dan multibahasa	Jika situs Anda berisi konten dalam berbagai bahasa, atau memiliki konten yang berbeda untuk berbagai lokasi, berikut cara untuk membantu Google memahami situs Anda.
Konten JavaScript	Ada beberapa perbedaan dan batasan yang perlu Anda perhitungkan saat mendesain halaman dan aplikasi Anda untuk mengakomodasi cara crawler mengakses dan merender konten Anda.