การยืนยัน Googlebot และโปรแกรมรวบรวมข้อมูลอื่นๆ ของ Google

คุณยืนยันได้ว่าโปรแกรมรวบรวมข้อมูลเว็บที่เข้าถึงเซิร์ฟเวอร์ของคุณคือโปรแกรมรวบรวมข้อมูลของ Google เช่น Googlebot จริงไหม วิธีนี้มีประโยชน์หากกังวลว่านักส่งสแปมหรือผู้ไม่ประสงค์ดีอื่นๆ กำลังเข้าถึงเว็บไซต์ของคุณโดยอ้างตัวเป็น Googlebot Google จะไม่โพสต์รายชื่อที่อยู่ IP สาธารณะของเจ้าของเว็บไซต์ลงในรายการที่อนุญาต เนื่องจากช่วงที่อยู่ IP ดังกล่าวสามารถเปลี่ยนแปลงได้ ซึ่งทำให้เกิดปัญหากับเจ้าของเว็บไซต์ที่ฮาร์ดโค้ดที่อยู่ไว้ คุณจึงต้องเรียกใช้การค้นหา DNS ตามที่ได้อธิบายไว้ในส่วนถัดไป

ยืนยันว่า Googlebot (หรือโปรแกรมรวบรวมข้อมูลอื่นของ Google) เป็นโปรแกรมรวบรวมข้อมูล

ใช้เครื่องมือบรรทัดคำสั่ง

  1. เรียกใช้การค้นหา DNS แบบย้อนกลับกับที่อยู่ IP ที่เข้าถึงจากบันทึกของคุณโดยใช้คำสั่ง host
  2. ยืนยันว่าชื่อโดเมนเป็น googlebot.com หรือ google.com
  3. เรียกใช้การค้นหา DNS แบบส่งต่อกับชื่อโดเมนที่ได้รับในขั้นตอนที่ 1 โดยใช้คำสั่ง host กับชื่อโดเมนที่ได้รับนั้น จากนั้นตรวจดูว่าชื่อโดเมนที่ได้นั้นเป็นที่อยู่ IP เดิมที่เข้าถึงจากบันทึกของคุณ

ตัวอย่างที่ 1

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

ตัวอย่างที่ 2

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

ใช้โซลูชันอัตโนมัติ

Google ไม่มีไลบรารีซอฟต์แวร์ที่ระบุโปรแกรมรวบรวมข้อมูลได้ คุณใช้ไลบรารีแบบโอเพนซอร์สเพื่อยืนยัน Googlebot ได้