รายการ Crawler ทั่วไปของ Google

Crawler ทั่วไปของ Google ใช้เพื่อค้นหาข้อมูลสำหรับสร้างดัชนีการค้นหาของ Google, ทำการ Crawl เฉพาะสำหรับผลิตภัณฑ์อื่นๆ และใช้สำหรับการวิเคราะห์ Crawler ประเภทนี้จะทําตามกฎของ robots.txt เสมอเมื่อทำการ Crawl โดยอัตโนมัติ คุณสมบัติทางเทคนิคทั่วไปของ Crawler ของ Google ยังนำไปใช้กับ Crawler ทั่วไปด้วย

โดยปกติ Crawler ทั่วไปจะทำการ Crawl จากช่วง IP ที่เผยแพร่ในออบเจ็กต์ googlebot.json และมาสก์ DNS แบบย้อนกลับของชื่อโฮสต์จะตรงกับ crawl-***-***-***-***.googlebot.com หรือ geo-crawl-***-***-***-***.geo.googlebot.com

รายการต่อไปนี้แสดง Crawler ทั่วไป สตริง User Agent ของ Crawler ตามที่ปรากฏในคำขอ HTTP, โทเค็น User Agent ของ Crawler สำหรับบรรทัด User-agent: ใน robots.txt และผลิตภัณฑ์ที่ได้รับผลกระทบจากการกำหนดค่าการ Crawl สำหรับ Crawler Crawler บางตัวมีโทเค็น User Agent มากกว่า 1 รายการ คุณต้องจับคู่โทเค็น Crawler เพียง 1 รายการเท่านั้นเพื่อใช้กฎ รายการนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น โดยครอบคลุมผู้ขอซึ่งมีแนวโน้มที่จะปรากฏในไฟล์บันทึกและที่เราได้รับคำถามมา

User-Agent ในคำขอ HTTP
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

น้อยครั้ง:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
โทเค็น User Agent ใน robots.txt Googlebot
ตัวอย่างกลุ่ม robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ Googlebot จะส่งผลต่อ Google Search (รวมถึงฟีเจอร์สำรวจและฟีเจอร์ทั้งหมดของ Google Search) รวมถึงผลิตภัณฑ์อื่นๆ เช่น Google รูปภาพ, Google วิดีโอ, Google News และสำรวจ
User Agent ในคําขอ HTTP 
Googlebot-Image/1.0
robots.txt
โทเค็น User Agent ใน robots.txt Googlebot-Image
Googlebot
ตัวอย่างกลุ่ม robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ Googlebot-Image จะส่งผลต่อ Google รูปภาพ, สำรวจ, Google วิดีโอ และฟีเจอร์ทั้งหมดใน Google Search ที่แสดงรูปภาพ โลโก้ และ Favicon
User Agent ในคําขอ HTTP 
Googlebot-Video/1.0
robots.txt
โทเค็น User Agent ใน robots.txt Googlebot-Video
Googlebot
ตัวอย่างกลุ่ม robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ส่งถึง User Agent Googlebot-Video จะส่งผลต่อฟีเจอร์ของ Google Search ที่เกี่ยวข้องกับวิดีโอและผลิตภัณฑ์อื่นๆ ที่อาศัยวิดีโอ
User Agent ในคําขอ HTTP Googlebot-news ไม่มีสตริง User Agent ของคำขอ HTTP แยกต่างหาก การ Crawl จะดําเนินการด้วยสตริง User Agent หลายรายการของ Googlebot
robots.txt
โทเค็น User Agent ใน robots.txt Googlebot-News
Googlebot
ตัวอย่างกลุ่ม robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ การตั้งค่าการ Crawl ที่ส่งถึง User Agent ของ Googlebot-News จะมีผลต่อทุกแพลตฟอร์มของ Google News (เช่น แท็บ News ใน Google Search และแอป Google News)
User Agent ในคําขอ HTTP
Agent ในเดสก์ท็อป 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Agent ในอุปกรณ์เคลื่อนที่ 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
โทเค็น User Agent ใน robots.txt Storebot-Google
ตัวอย่างกลุ่ม robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent Storebot-Google จะส่งผลต่อทุกแพลตฟอร์มของ Google Shopping (เช่น แท็บ Shopping ใน Google Search และ Google Shopping)
User Agent ในคําขอ HTTP
Agent ในเดสก์ท็อป 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Agent ในอุปกรณ์เคลื่อนที่ 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
โทเค็น User Agent ใน robots.txt Google-InspectionTool
Googlebot
ตัวอย่างกลุ่ม robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ส่งถึง User Agent Google-InspectionTool จะส่งผลต่อเครื่องมือทดสอบต่างๆ ของ Search เช่น การทดสอบผลการค้นหาที่เป็นริชมีเดียและการตรวจสอบ URL ใน Search Console โดยไม่มีผลต่อ Google Search หรือผลิตภัณฑ์อื่นๆ
User Agent ในคําขอ HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
โทเค็น User Agent ใน robots.txt GoogleOther
ตัวอย่างกลุ่ม robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ระบุสำหรับ User Agent GoogleOther จะไม่ส่งผลต่อผลิตภัณฑ์ใดโดยเฉพาะ GoogleOther เป็น Crawler ทั่วไปที่ทีมผลิตภัณฑ์ต่างๆ อาจใช้เพื่อดึงเนื้อหาที่เข้าถึงได้แบบสาธารณะจากเว็บไซต์ เช่น ใช้สําหรับทำการ Crawl เพียงครั้งเดียวสำหรับการค้นคว้าและพัฒนาภายใน โดยไม่มีผลต่อ Google Search หรือผลิตภัณฑ์อื่นๆ
User Agent ในคําขอ HTTP 
GoogleOther-Image/1.0
robots.txt
โทเค็น User Agent ใน robots.txt GoogleOther-Image
GoogleOther
ตัวอย่างกลุ่ม robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ส่งถึง User Agent ของ GoogleOther-Image จะไม่ส่งผลต่อผลิตภัณฑ์ใดผลิตภัณฑ์หนึ่งโดยเฉพาะ เช่นเดียวกับ GoogleOther GoogleOther-Image คือ GoogleOther เวอร์ชันที่ได้รับการเพิ่มประสิทธิภาพสำหรับการดึงข้อมูล URL รูปภาพที่เข้าถึงได้แบบสาธารณะ
User Agent ในคําขอ HTTP 
GoogleOther-Video/1.0
robots.txt
โทเค็น User Agent ใน robots.txt GoogleOther-Video
GoogleOther
ตัวอย่างกลุ่ม robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ GoogleOther-Video ไม่มีผลต่อผลิตภัณฑ์ที่เฉพาะเจาะจงใดๆ ซึ่งคล้ายกับ GoogleOther GoogleOther-Video คือ GoogleOther เวอร์ชันที่ได้รับการเพิ่มประสิทธิภาพสำหรับการดึงข้อมูล URL ของวิดีโอที่เข้าถึงได้แบบสาธารณะ
สตริงย่อย User-Agent ในคําขอ HTTP 
Google-CloudVertexBot
robots.txt
โทเค็น User Agent ใน robots.txt Google-CloudVertexBot
Googlebot
ตัวอย่างกลุ่ม robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ Google-CloudVertexBot มีผลต่อการ Crawl ที่เจ้าของเว็บไซต์ขอ สำหรับการสร้าง Vertex AI Agent โดยไม่มีผลต่อ Google Search หรือผลิตภัณฑ์อื่นๆ
User Agent ในคําขอ HTTP Google-Extended ไม่มีสตริง User Agent ของคำขอ HTTP แยกต่างหาก การ Crawl จะดําเนินการด้วยสตริง User Agent ของ Google ที่มีอยู่ มีการใช้ โทเค็น User Agent ของ robots.txt ในความสามารถในการควบคุม
robots.txt
โทเค็น User Agent ใน robots.txt Google-Extended
ตัวอย่างกลุ่ม robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ Google-Extended เป็นโทเค็นผลิตภัณฑ์แบบสแตนด์อโลนซึ่งทำหน้าที่เป็นส่วนควบคุมใหม่ที่ผู้เผยแพร่เว็บสามารถใช้จัดการว่าจะให้เว็บไซต์ของตนช่วยปรับปรุงแอป Gemini และ Vertex AI Generative API รวมถึงโมเดลรุ่นใหม่ๆ ที่ขับเคลื่อนผลิตภัณฑ์เหล่านั้นหรือไม่ การเชื่อมต่อแหล่งข้อมูลกับ Google Search ใน Vertex AI จะไม่ใช้หน้าเว็บในการเชื่อมต่อแหล่งข้อมูลซึ่งไม่อนุญาต Google-Extended Google-Extended ไม่ส่งผลต่อการรวมหรือการจัดอันดับเว็บไซต์ใน Google Search

หมายเหตุเกี่ยวกับW.X.Y.Z ใน User Agent

สตริง Chrome/W.X.Y.Z ในสตริง User Agent ในรายการคือตัวยึดตำแหน่ง ที่แสดงถึงเวอร์ชันของเบราว์เซอร์ Chrome ที่ใช้โดย User Agent ดังกล่าว เช่น 41.0.2272.96 หมายเลขเวอร์ชันนี้จะเพิ่มขึ้นเมื่อเวลาผ่านไปเพื่อจับคู่กับ Chromium เวอร์ชันที่เผยแพร่ล่าสุดซึ่ง Googlebot ใช้

หากกำลังค้นหาบันทึกหรือกรองเซิร์ฟเวอร์สำหรับ User Agent ที่มีรูปแบบนี้ ให้ใช้ไวลด์การ์ดหมายเลขเวอร์ชันแทนการระบุหมายเลขเวอร์ชันที่ถูกต้อง