Feedfetcher

Feedfetcher คือวิธีที่ Google ทำการ Crawl ฟีด RSS หรือ Atom สําหรับ Google Podcasts, Google News และ PubSubHubbub Feedfetcher จะจัดเก็บและรีเฟรชฟีดที่ผู้ใช้แอปหรือบริการขอเป็นระยะๆ เฉพาะฟีดพอดแคสต์เท่านั้นที่จะจัดทําดัชนีใน Google Search และอาจจะยังจัดทำดัชนีแม้ว่าฟีดนั้นไม่เป็นไปตามข้อกําหนด Atom หรือ RSS ต่อไปนี้เป็นคำตอบของคำถามที่พบบ่อยเกี่ยวกับวิธีการทำงานของโปรแกรมดึงฟีดที่ผู้ใช้ควบคุม

ฉันจะขอไม่ให้ Google เรียกฟีดของเว็บไซต์บางส่วนหรือทั้งหมดได้อย่างไร

Feedfetcher ของ Google จะพยายามรับเนื้อหาของฟีดมาแสดง เมื่อผู้ใช้เพิ่มบริการหรือแอปที่ใช้ข้อมูล Feedfetcher เนื่องจากคำขอของ Feedfetcher มาจากการกระทำที่ชัดแจ้งของผู้ใช้ที่เป็นมนุษย์ และไม่ได้มาจากโปรแกรมรวบรวมข้อมูลอัตโนมัติ Feedfetcher จะไม่ทำตามหลักเกณฑ์ของ robots.txt

หากฟีดของคุณเผยแพร่แบบสาธารณะ Google จะจำกัดการเข้าถึงของผู้ใช้ไม่ได้ วิธีแก้ไขวิธีหนึ่งคือ กำหนดค่าเว็บไซต์ให้แสดงข้อความแสดงสถานะข้อผิดพลาด 404, 410 หรืออื่นๆ ไปยัง User Agent ของ Feedfetcher-Google

หากฟีดได้มาจากบล็อกหรือบริการโฮสติ้งเว็บไซต์ โปรดติดต่อบริการนั้นๆ โดยตรงให้จำกัดการเข้าถึงฟีดดังกล่าว

Feedfetcher จะรวบรวมข้อมูลฟีดของฉันบ่อยเพียงใด

โดยเฉลี่ยแล้ว Feedfetcher ไม่ควรรวบรวมข้อมูลจากเว็บไซต์ส่วนใหญ่เกินชั่วโมงละครั้ง เว็บไซต์ที่อัปเดตบ่อยบางเว็บอาจมีการรีเฟรชบ่อยกว่านั้น อย่างไรก็ตาม โปรดทราบว่าเนื่องจากเครือข่ายมีความล่าช้า Feedfetcher จึงอาจปรากฏขึ้นชั่วครู่เพื่อรวบรวมข้อมูลฟีดของคุณให้บ่อยขึ้น

Feedfetcher รวบรวมข้อมูลฟีดตามคำขอของบริการหรือแอปที่ผู้ใช้ติดตั้ง เป็นไปได้ว่าผู้ใช้อาจขอ URL ฟีดที่ไม่มีอยู่

ทำไม Feedfetcher ดาวน์โหลดข้อมูลจากเว็บเซิร์ฟเวอร์ "ลับ" ของฉัน

Feedfetcher รวบรวมข้อมูลฟีดตามคำขอของบริการหรือแอปที่ผู้ใช้ติดตั้ง เป็นไปได้ว่าคำขอมาจากผู้ใช้ที่ทราบเกี่ยวกับเซิร์ฟเวอร์ "ลับ" ของคุณหรือเกิดการพิมพ์ผิดโดยไม่ได้ตั้งใจ

ทำไม Feedfetcher ไม่ทำตามไฟล์ robots.txt ของฉัน

Feedfetcher จะรวบรวมข้อมูลฟีดเฉพาะหลังจากที่ผู้ใช้ดำเนินการอย่างชัดแจ้งเพื่อเริ่มใช้บริการหรือแอปที่ขอข้อมูลจากฟีด โดย Feedfetcher ทำหน้าที่เป็นตัวแทนตรงของผู้ใช้ที่เป็นมนุษย์ ไม่ใช่โรบ็อต ด้วยเหตุนี้จึงไม่สนใจรายการใน robots.txt เนื่องจาก Feedfetcher ทำหน้าที่เป็นตัวแทนของผู้ใช้หลายคน จึงประหยัดแบนด์วิดท์ด้วยการขอฟีดทั่วไปเพียงครั้งเดียวสำหรับผู้ใช้ทุกคนที่ขอฟีดผ่านแอปหรือบริการ ฟีดทั่วไปคือ RSS และ Atom

คุณป้องกันไม่ให้ Feedfetcher รวบรวมข้อมูลเว็บไซต์ได้โดยกำหนดค่าเซิร์ฟเวอร์ให้แสดงข้อความสถานะข้อผิดพลาด 404, 410 หรืออื่นๆ ไปยัง User Agent ของ Feedfetcher-Google

ทำไมจึงมีการเข้าชมจากคอมพิวเตอร์หลายเครื่องที่ Google.com โดยทั้งหมดมาพร้อมกับ user-agent Feedfetcher

Feedfetcher ได้รับการออกแบบมาให้กระจายการทำงานในคอมพิวเตอร์หลายเครื่องเพื่อปรับปรุงประสิทธิภาพการทำงานและขนาดในขณะที่เว็บเติบโตขึ้น คอมพิวเตอร์เครื่องต่างๆ ที่ใช้มักอยู่ใกล้เว็บไซต์ที่ตัวมันกำลังรวบรวมข้อมูลในเครือข่าย เพื่อลดการใช้แบนด์วิดท์

ช่วยบอกที่อยู่ IP ที่ Feedfetcher สร้างคำขอได้ไหม ฉันจะได้กรองบันทึก

ที่อยู่ IP ที่ Feedfetcher ใช้จะเปลี่ยนแปลงเป็นครั้งคราว วิธีที่ดีที่สุดในการระบุคำขอของ Feedfetcher คือมองหา User Agent ซึ่งก็คือ Feedfetcher-Google

ทำไม Feedfetcher ดาวน์โหลดหน้าเดิมในเว็บไซต์หลายครั้ง

โดยทั่วไป Feedfetcher จะดาวน์โหลดไฟล์แต่ละไฟล์เพียง 1 ครั้งจากเว็บไซต์ของคุณระหว่างการรวบรวมข้อมูลฟีดครั้งหนึ่งๆ ไม่บ่อยนักที่เครื่องจะหยุดและเริ่มใหม่ ซึ่งอาจเป็นสาเหตุให้เครื่องรวบรวมข้อมูลหน้าที่เข้าชมไปแล้วเมื่อไม่นานมานี้อีกครั้ง

Feedfetcher จะไม่ติดตามลิงก์เหมือนกับโปรแกรมรวบรวมข้อมูลเว็บทั่วไป แต่จะทำตามคำขอที่ได้รับจากผู้ใช้บริการหรือแอปที่ใช้ Feedfetcher

ที่นี่ไม่มีคำตอบสำหรับสิ่งที่ฉันถามเกี่ยวกับ Feedfetcher ฉันจะขอรับความช่วยเหลือเพิ่มเติมได้จากที่ใด

หากคุณยังคงประสบปัญหา ให้ลองโพสต์คำถามในฟอรัมของ Search Central