Daftar crawler umum Google

Crawler umum Google digunakan untuk menemukan informasi guna membuat indeks penelusuran Google, melakukan crawl khusus produk lainnya, dan untuk analisis. Crawler ini selalu mematuhi aturan robots.txt saat melakukan crawling otomatis. Properti teknis umum dari crawler Google juga berlaku untuk crawler umum.

Crawler umum biasanya meng-crawl dari rentang IP yang dipublikasikan di objek googlebot.json, dan mask DNS terbalik dari nama host-nya cocok dengan crawl-***-***-***-***.googlebot.com atau geo-crawl-***-***-***-***.geo.googlebot.com.

Daftar berikut menunjukkan crawler umum, string agen penggunanya seperti yang muncul di permintaan HTTP, token agen penggunanya untuk baris User-agent: dalam robots.txt, dan produk yang dipengaruhi oleh preferensi crawl untuk crawler. Crawler tertentu memiliki lebih dari satu token agen pengguna; Anda hanya perlu mencocokkan satu token crawler untuk menerapkan satu aturan. Daftar ini tidak lengkap; hanya mencakup pemohon yang kemungkinan besar muncul dalam file log dan yang telah kami terima pertanyaannya.

User-Agent dalam permintaan HTTP
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Jarang:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Token agen pengguna di robots.txt Googlebot
Contoh grup robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Googlebot memengaruhi Google Penelusuran (termasuk Discover dan semua fitur Google Penelusuran), serta produk lainnya seperti Google Gambar, Google Video, Google Berita, dan Discover.
Agen Pengguna dalam permintaan HTTP 
Googlebot-Image/1.0
robots.txt
Token agen pengguna di robots.txt Googlebot-Image
Googlebot
Contoh grup robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Googlebot-Image memengaruhi Google Gambar, Discover, Google Video, dan semua fitur di Google Penelusuran, di mana gambar, logo, dan favicon ditampilkan.
Agen Pengguna dalam permintaan HTTP 
Googlebot-Video/1.0
robots.txt
Token agen pengguna di robots.txt Googlebot-Video
Googlebot
Contoh grup robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Googlebot-Video memengaruhi fitur Google Penelusuran terkait video dan produk lainnya yang bergantung pada video.
Agen Pengguna dalam permintaan HTTP Googlebot-News tidak memiliki string agen pengguna permintaan HTTP terpisah. Crawling dilakukan dengan berbagai string agen pengguna Googlebot.
robots.txt
Token agen pengguna di robots.txt Googlebot-News
Googlebot
Contoh grup robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Googlebot-News memengaruhi semua platform Google Berita (misalnya, tab Berita di Google Penelusuran dan aplikasi Google Berita).
Agen Pengguna dalam permintaan HTTP
Agen desktop 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Agen seluler 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Token agen pengguna di robots.txt Storebot-Google
Contoh grup robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Storebot-Google memengaruhi semua platform Google Shopping (misalnya, tab Shopping di Google Penelusuran dan Google Shopping).
Agen Pengguna dalam permintaan HTTP
Agen desktop 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Agen seluler 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Token agen pengguna di robots.txt Google-InspectionTool
Googlebot
Contoh grup robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Google-InspectionTool memengaruhi alat pengujian Penelusuran seperti Pengujian Hasil Multimedia dan inspeksi URL di Search Console. Perubahan ini tidak memengaruhi Google Penelusuran atau produk lainnya.
Agen Pengguna dalam permintaan HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Token agen pengguna di robots.txt GoogleOther
Contoh grup robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna GoogleOther tidak memengaruhi produk tertentu. GoogleOther adalah crawler umum yang dapat digunakan oleh berbagai tim produk untuk mengambil konten yang dapat diakses secara publik dari situs. Misalnya, crawler ini dapat digunakan untuk crawl satu kali untuk tujuan riset dan pengembangan internal. Crawler ini tidak berdampak pada Google Penelusuran atau produk lainnya.
Agen Pengguna dalam permintaan HTTP 
GoogleOther-Image/1.0
robots.txt
Token agen pengguna di robots.txt GoogleOther-Image
GoogleOther
Contoh grup robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna GoogleOther-Image tidak memengaruhi produk tertentu, mirip seperti GoogleOther. GoogleOther-Image adalah versi GoogleOther yang dioptimalkan untuk mengambil URL gambar yang dapat diakses secara publik.
Agen Pengguna dalam permintaan HTTP 
GoogleOther-Video/1.0
robots.txt
Token agen pengguna di robots.txt GoogleOther-Video
GoogleOther
Contoh grup robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna GoogleOther-Video tidak memengaruhi produk tertentu, mirip seperti GoogleOther. GoogleOther-Video adalah versi GoogleOther yang dioptimalkan untuk mengambil URL video yang dapat diakses secara publik.
Substring Agen Pengguna dalam permintaan HTTP 
Google-CloudVertexBot
robots.txt
Token agen pengguna di robots.txt Google-CloudVertexBot
Googlebot
Contoh grup robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Google-CloudVertexBot memengaruhi crawl yang diminta oleh pemilik situs untuk membangun Agen Vertex AI. Perubahan ini tidak memengaruhi Google Penelusuran atau produk lainnya.
Agen Pengguna dalam permintaan HTTP Google-Extended tidak memiliki string agen pengguna permintaan HTTP yang terpisah. Crawling dilakukan dengan string agen pengguna Google yang sudah ada; token agen pengguna robots.txt digunakan dalam kapasitas kontrol.
robots.txt
Token agen pengguna di robots.txt Google-Extended
Contoh grup robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Google-Extended adalah token produk mandiri yang dapat digunakan penayang web untuk mengelola apakah situs mereka dapat membantu meningkatkan kualitas API generatif Vertex AI dan Aplikasi Gemini, termasuk model generasi mendatang yang mendukung produk tersebut. Perujukan dengan Google Penelusuran di Vertex AI tidak menggunakan halaman web untuk perujukan yang telah melarang Google-Extended. Google-Extended tidak memengaruhi penyertaan atau peringkat situs di Google Penelusuran.

Catatan tentang Chrome/W.X.Y.Z pada agen pengguna

String Chrome/W.X.Y.Z pada string agen pengguna dalam daftar adalah placeholder yang mewakili versi browser Chrome yang digunakan oleh agen pengguna tersebut: misalnya, 41.0.2272.96. Nomor versi ini bertambah seiring waktu untuk mencocokkan dengan versi rilis Chromium terbaru yang digunakan oleh Googlebot.

Jika Anda menelusuri log atau memfilter server untuk menemukan agen pengguna dengan pola ini, gunakan karakter pengganti untuk nomor versi, bukan menentukan nomor versi yang tepat.