การทำความเข้าใจวิธีที่ User Agent ของ Google โต้ตอบกับเว็บไซต์จะช่วยให้หน้าเว็บที่สำคัญที่สุดปรากฏในที่ต่างๆ ในระบบนิเวศของ Google ได้มากขึ้นโดยไม่ทำให้เซิร์ฟเวอร์ทำงานหนักเกินไป ไม่ว่าคุณจะเป็นเจ้าของเว็บไซต์หรือนักพัฒนาซอฟต์แวร์ เอกสารนี้จะช่วยให้คุณควบคุมวิธีที่ระบบจะทำการ Crawl เว็บไซต์ได้ดียิ่งขึ้น
ดูข้อมูลเพิ่มเติม
คุณยืนยันได้ว่า Web Crawler หรือตัวดึงข้อมูลเว็บที่เข้าถึงเซิร์ฟเวอร์ของคุณมาจาก Google จริงหรือไม่ เช่น Googlebot
เริ่มใช้งาน
Crawler ของ Google จะปรับให้เข้ากับเว็บไซต์และเซิร์ฟเวอร์ของคุณโดยอัตโนมัติเพื่อค้นหาและแสดงเนื้อหาที่ดีที่สุดและใหม่ล่าสุดอย่างมีประสิทธิภาพ หากต้องการช่วยคุณจัดการสถานการณ์เร่งด่วนที่เกี่ยวข้องกับเซิร์ฟเวอร์และการ Crawl คุณมีตัวเลือกในการลดอัตราการ Crawl โดยสมัครใจได้หากจำเป็น
เริ่มใช้งาน
คุณสามารถใช้ไฟล์ robots.txt เพื่ออนุญาตหรือไม่อนุญาตให้ทำการ Crawl หน้าเว็บแต่ละหน้าหรือทั้งเว็บไซต์ได้
เริ่มใช้งาน

ค่ากำหนดการ Crawl ส่งผลต่อตำแหน่งที่เว็บไซต์ของคุณปรากฏใน Google อย่างไร

โครงสร้างพื้นฐานในการ Crawl ของ Google ใช้ร่วมกันในผลิตภัณฑ์ต่างๆ ของ Google ซึ่งหมายความว่าการทำตามแนวทางปฏิบัติแนะนำจะช่วยให้ผู้ใช้ค้นพบเนื้อหาเว็บของคุณได้อย่างมีประสิทธิภาพมากขึ้นและทำให้เนื้อหาของคุณปรากฏใน Google
Google Search ใช้ Googlebot ในการ Crawl เว็บไซต์เพื่อค้นหาเนื้อหาที่เกี่ยวข้องสำหรับผู้ใช้
แอป Gemini และ Vertex AI API สำหรับ Gemini ใช้ Google-Extended ดูข้อมูลเพิ่มเติมเกี่ยวกับ Google-Extended
ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ Storebot-Google จะส่งผลต่อทุกแพลตฟอร์มของ Google Shopping
Crawler ของ AdSense จะไปยังเว็บไซต์ที่เข้าร่วมเพื่อแสดงโฆษณาที่เกี่ยวข้อง
ค่ากำหนดการ Crawl ที่ส่งถึง User Agent ของ User Agent ของ Googlebot-News จะส่งผลต่อผลิตภัณฑ์ Google News ซึ่งรวมถึง news.google.com และแอป Google News
ตัวดึงข้อมูลของ Google-NotebookLM จะขอ URL แต่ละรายการที่ผู้ใช้ NotebookLM ระบุเป็นแหล่งข้อมูลสำหรับโปรเจ็กต์ของตน