รายการ Crawler กรณีพิเศษของ Google

Crawler กรณีพิเศษจะใช้โดยผลิตภัณฑ์ Google ที่เฉพาะเจาะจง ซึ่งมีข้อตกลงระหว่างเว็บไซต์ที่ได้รับการ Crawl กับผลิตภัณฑ์เกี่ยวกับขั้นตอนการ Crawl เช่น AdsBot จะไม่สนใจ User Agent ใน robots.txt ส่วนกลาง (*) เมื่อได้รับอนุญาตจากผู้เผยแพร่โฆษณา คุณสมบัติทางเทคนิคทั่วไปของ Crawler ของ Google ยังนำไปใช้กับ Crawler กรณีพิเศษด้วย

Crawler กรณีพิเศษอาจไม่สนใจกฎของ robots.txt ดังนั้นจึงทํางานจากช่วง IP ที่ต่างจาก Crawler ทั่วไป ช่วง IP จะเผยแพร่ในออบเจ็กต์ special-crawlers.json มาสก์ DNS แบบย้อนกลับของ Crawler กรณีพิเศษจะตรงกับ rate-limited-proxy-***-***-***-***.google.com

รายการต่อไปนี้แสดง Crawler กรณีทั่วไป, สตริง User Agent ของ Crawler ตามที่ปรากฏในคำขอ HTTP, โทเค็น User Agent ของ Crawler สำหรับบรรทัด User-agent: ใน robots.txt และผลิตภัณฑ์ที่ได้รับผลกระทบจากการกำหนดค่าการ Crawl สำหรับ Crawler รายการนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น โดยครอบคลุมผู้ขอซึ่งมีแนวโน้มที่จะปรากฏในไฟล์บันทึกและที่เราได้รับคำถามมา

User Agent ในคําขอ HTTP 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt
โทเค็น User Agent ใน robots.txt

APIs-Google

ระบบจะไม่สนใจ User Agent ส่วนกลาง (*)
ตัวอย่างกลุ่ม robots.txt 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ APIs-Google จะส่งผลต่อการแสดงข้อความ Push ของ Google APIs
User Agent ในคําขอ HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
โทเค็น User Agent ใน robots.txt

AdsBot-Google-Mobile

ระบบจะไม่สนใจ User Agent ส่วนกลาง (*)
ตัวอย่างกลุ่ม robots.txt 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ AdsBot-Google-Mobile จะส่งผลต่อความสามารถของ Google Ads ในการตรวจสอบคุณภาพโฆษณาหน้าเว็บ
User Agent ในคําขอ HTTP 
AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt
โทเค็น User Agent ใน robots.txt

AdsBot-Google

ระบบจะไม่สนใจ User Agent ส่วนกลาง (*)
ตัวอย่างกลุ่ม robots.txt 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ส่งถึง User Agent ของ AdsBot-Google จะส่งผลต่อความสามารถของ Google Ads ในการตรวจสอบคุณภาพโฆษณาหน้าเว็บ
User Agent ในคําขอ HTTP
Agent ในเดสก์ท็อป 
Mediapartners-Google
Agent ในอุปกรณ์เคลื่อนที่ 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt
โทเค็น User Agent ใน robots.txt Mediapartners-Google

ระบบจะไม่สนใจ User Agent ส่วนกลาง (*)
ตัวอย่างกลุ่ม robots.txt 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ส่งถึง User Agent Mediapartners-Google จะส่งผลต่อ Google AdSense Crawler ของ AdSense จะไปยังเว็บไซต์ที่เข้าร่วมเพื่อแสดงโฆษณาที่เกี่ยวข้อง
User Agent ในคําขอ HTTP 
Google-Safety
robots.txt User Agent ของ Google-Safety ไม่สนใจกฎของ robots.txt
ผลิตภัณฑ์ที่ได้รับผลกระทบ User Agent "Google-Safety" จะจัดการการ Crawl สำหรับการละเมิดโดยเฉพาะ เช่น การค้นหามัลแวร์สำหรับลิงก์ที่โพสต์แบบสาธารณะในผลิตภัณฑ์และบริการของ Google ดังนั้นจึงไม่ได้รับผลกระทบจากค่ากำหนดการ Crawl

Crawler กรณีพิเศษที่เลิกใช้งานแล้ว

Crawler กรณีพิเศษต่อไปนี้ไม่ได้ใช้งานอีกต่อไป และมีการบันทึกไว้ที่นี่เพื่อเป็นประวัติอ้างอิงเท่านั้น

User Agent ในคําขอ HTTP 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
โทเค็น User Agent ใน robots.txt AdsBot-Google-Mobile

ระบบจะไม่สนใจ User Agent ส่วนกลาง (*)
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากําหนดการ Crawl ที่ส่งถึง User Agent ของ AdsBot-Google-Mobile จะส่งผลต่อความสามารถของ Google Ads ในการตรวจสอบคุณภาพโฆษณาในหน้าเว็บของ iPhone
User Agent ในคําขอ HTTP 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt
โทเค็น User Agent ใน robots.txt DuplexWeb-Google

Duplex on the web อาจไม่สนใจไวลด์การ์ด *
ผลิตภัณฑ์ที่ได้รับผลกระทบ รองรับบริการ Duplex on the web
User Agent ในคําขอ HTTP 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt
โทเค็น User Agent ใน robots.txt Googlebot-Image
Googlebot
User Agent ในคําขอ HTTP 
AdsBot-Google-Mobile-Apps
robots.txt
โทเค็น User Agent ใน robots.txt AdsBot-Google-Mobile-Apps

User Agent ของ AdsBot-Google-Mobile-Apps ปฏิบัติตามกฎของโรบ็อต AdsBot-Google แต่ไม่สนใจ User Agent ส่วนกลาง (*)
ผลิตภัณฑ์ที่ได้รับผลกระทบ ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ AdsBot-Google-Mobile-Apps จะส่งผลต่อความสามารถของ Google Ads ในการตรวจสอบคุณภาพโฆษณาในหน้าแอป Android
User Agent ในคําขอ HTTP 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt
โทเค็น User Agent ใน robots.txt googleweblight

ระบบใช้ User Agent googleweblight ของ Web Light เฉพาะสำหรับคำขอการเรียกดูที่ชัดแจ้งของบุคคลที่เข้าชม ดังนั้นจึงไม่สนใจกฎ robots.txt ที่ใช้เพื่อบล็อกคำขอรวบรวมข้อมูลอัตโนมัติได้
ผลิตภัณฑ์ที่ได้รับผลกระทบ User Agent ของ Web Light ตรวจสอบว่ามีการแสดงข้อมูลส่วนหัว no-transform หรือไม่เมื่อใดก็ตามที่ผู้ใช้คลิกหน้าของคุณใน Search ภายใต้เงื่อนไขที่เหมาะสม