Ringkasan topik crawling dan pengindeksan

Topik di bagian ini menjelaskan bagaimana Anda dapat mengontrol kemampuan Google' untuk menemukan dan mengurai konten Anda guna menampilkannya di Penelusuran dan Properti Google lainnya, serta cara mencegah Google meng-crawl konten tertentu di situs Anda.

Berikut deskripsi singkat dari setiap halaman. Untuk mendapatkan ringkasan terkait crawling dan pengindeksan, baca panduan Cara kerja Penelusuran kami.

Topik
Jenis file yang dapat diindeks oleh Google	Google dapat mengindeks konten dari sebagian besar jenis halaman dan file. Jelajahi daftar jenis file paling umum yang dapat diindeks oleh Google Penelusuran.
Struktur URL	Pertimbangkan untuk mengelola konten Anda agar URL dapat disusun secara logis dan dengan cara yang paling dapat dipahami oleh pengguna.
Peta situs	Memberi tahu Google tentang halaman di situs Anda yang baru atau diperbarui.
Pengelolaan crawler	Meminta Google untuk meng-crawl ulang URL Mengurangi kecepatan crawling Googlebot Memverifikasi Googlebot dan crawler lainnya Panduan pemilik situs besar untuk mengelola anggaran crawling Pengaruh kode status HTTP, error jaringan, dan error DNS terhadap Google Penelusuran Crawler Google
robots.txt	File robots.txt memberi tahu crawler mesin telusur halaman atau file mana yang dapat atau tidak dapat diminta oleh crawler dari situs.
Kanonikalisasi	Pelajari apa itu kanonikalisasi URL dan cara memberi tahu Google tentang halaman duplikat di situs Anda untuk menghindari crawling yang berlebihan. Pelajari cara Google mendeteksi otomatis konten duplikat, menangani konten duplikat, dan menetapkan URL kanonis ke grup halaman duplikat yang ditemukan.
Situs seluler	Pelajari cara mengoptimalkan situs untuk perangkat seluler dan memastikan situs tersebut di-crawl serta diindeks dengan benar.
AMP	Jika Anda memiliki halaman AMP, pelajari cara kerja AMP di Google Penelusuran.
JavaScript	Ada beberapa perbedaan dan batasan yang perlu Anda perhitungkan saat mendesain halaman dan aplikasi Anda untuk mengakomodasi cara crawler mengakses dan merender konten Anda.
Metadata halaman dan konten	Menggunakan HTML yang valid untuk menentukan metadata halaman Semua tag meta yang dipahami oleh Google Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag Memblokir pengindeksan dengan tag meta noindex SafeSearch dan situs Anda Menjadikan link dapat di-crawl Mengualifikasi link keluar ke Google dengan atribut rel
Penghapusan	Mengontrol informasi yang dibagikan dengan Google Menghapus halaman yang dihosting di situs Anda dari Google Menghapus gambar yang dihosting di halaman Anda dari hasil penelusuran Cara agar informasi yang disamarkan tidak masuk ke Google Penelusuran
Pemindahan dan perubahan situs	Pengalihan dan Google Penelusuran Pemindahan situs Meminimalkan dampak pengujian A/B di Google Penelusuran Menjeda atau menonaktifkan situs untuk sementara