ลดอัตราการ Crawl ของ Googlebot

Google มีอัลกอริทึมที่ซับซ้อนซึ่งกำหนดอัตราการ Crawl ที่เหมาะสมสำหรับเว็บไซต์ เป้าหมายของเราคือทำการ Crawl หน้าเว็บจากเว็บไซต์ของคุณให้มากที่สุดในการเข้าชมแต่ละครั้ง โดยไม่ทำให้เกิดปัญหากับแบนด์วิดท์ของเซิร์ฟเวอร์ของคุณ ในบางกรณี การ Crawl เว็บไซต์ของคุณโดย Google อาจทำให้โครงสร้างพื้นฐานทำงานหนักมาก หรือทำให้เกิดค่าใช้จ่ายไม่พึงประสงค์ในระหว่างที่เกิดความขัดข้อง คุณอาจเลือกที่จะลดจำนวนครั้งในการส่งคำขอจาก Googlebot เพื่อลดปัญหานี้

คำเตือน: เมื่อพิจารณาลดอัตรา การ Crawl ของ Googlebot โปรดทราบว่าการดำเนินการเช่นนี้จะส่งผลกระทบในวงกว้าง Googlebot จะพบหน้าเว็บใหม่น้อยลง หน้าที่มีอยู่จะรีเฟรชน้อยครั้งกว่า (เช่น ราคาและความพร้อมจำหน่ายผลิตภัณฑ์อาจใช้เวลาแสดงให้เห็นใน Search นานกว่า) และหน้าที่นำออกอาจอยู่ในดัชนีนานกว่า

หากต้องการลดอัตราการ Crawl เป็นระยะเวลาสั้นๆ อย่างเร่งด่วน (เช่น 2-3 ชั่วโมงหรือ 1-2 วัน) ให้ส่งรหัสสถานะการตอบสนองของ HTTP 500, 503 หรือ 429 แทนการส่ง 200 สำหรับคำขอทำการ Crawl Googlebot จะลดอัตราการ Crawl ของเว็บไซต์เมื่อพบ URL จำนวนมากที่มีรหัสสถานะการตอบกลับ HTTP 500, 503 หรือ 429 (เช่น หากคุณปิดใช้เว็บไซต์) อัตราการ Crawl ที่ลดลงจะส่งผลต่อทั้งชื่อโฮสต์ของเว็บไซต์ (เช่น subdomain.example.com) ทั้งการ Crawl URL ที่แสดงข้อผิดพลาด รวมถึง URL ที่แสดงเนื้อหา เมื่อจำนวนข้อผิดพลาดเหล่านี้ลดลง อัตรา การ Crawl จะเริ่มเพิ่มขึ้นอีกครั้งโดยอัตโนมัติ

โปรดทราบว่าการ Crawl ที่เพิ่มขึ้นอย่างรวดเร็วอาจเกิดจากความไม่มีประสิทธิภาพของโครงสร้างของเว็บไซต์หรือไม่ก็เกิดจากปัญหาเกี่ยวกับเว็บไซต์ ดูคำแนะนำเกี่ยวกับการเพิ่มประสิทธิภาพการ Crawl

คำเตือน: เราไม่แนะนำให้ทำเช่นนี้เป็นเวลานาน (หมายถึงนานกว่า 1-2 วัน) หาก Googlebot สังเกตเห็นรหัสสถานะเหล่านี้ใน URL เดียวกันเป็นเวลาหลายวัน Googlebot อาจนำ URL ดังกล่าวออกจากดัชนีของ Google

หากการไม่สามารถแสดงข้อผิดพลาดต่อ Googlebot ในโครงสร้างพื้นฐานได้ ให้ส่งคำขอพิเศษเพื่อลดอัตราการ Crawl คุณจะขอให้เพิ่มอัตราการ Crawl ไม่ได้