หน้าเว็บถูกบล็อกไม่ให้จัดทำดัชนี

เครื่องมือค้นหาจะแสดงหน้าในผลการค้นหาเฉพาะในกรณีที่หน้าเหล่านั้นไม่ได้บล็อกการจัดทำดัชนีโดยโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาอย่างชัดแจ้ง ส่วนหัว HTTP และเมตาแท็กบางรายการบอกโปรแกรมรวบรวมข้อมูลว่าไม่ควรจัดทำดัชนีหน้าเว็บ

บล็อกเฉพาะการจัดทำดัชนีสำหรับเนื้อหาที่คุณไม่ต้องการให้ปรากฏในผลการค้นหา

วิธีที่การตรวจสอบการจัดทำดัชนีของ Lighthouse ไม่สำเร็จ

Lighthouse จะแจ้งหน้าที่เครื่องมือค้นหาจัดทำดัชนีไม่ได้

การตรวจสอบ Lighthouse แสดงให้เห็นว่าเครื่องมือค้นหาจัดทำดัชนีหน้าเว็บของคุณไม่ได้

Lighthouse จะตรวจสอบส่วนหัวหรือองค์ประกอบที่บล็อกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาทั้งหมดเท่านั้น ตัวอย่างเช่น องค์ประกอบ <meta> ด้านล่างป้องกันไม่ให้ Crawler ของเครื่องมือค้นหาทั้งหมด (หรือที่เรียกว่าโรบ็อต) เข้าถึงหน้าเว็บของคุณ

<meta name="robots" content="noindex"/>

ส่วนหัวการตอบกลับ HTTP นี้ยังบล็อกโปรแกรมรวบรวมข้อมูลทั้งหมดด้วย

X-Robots-Tag: noindex

คุณอาจมีองค์ประกอบ <meta> ที่บล็อกโปรแกรมรวบรวมข้อมูลบางโปรแกรมด้วย เช่น

<meta name="Googlebot" content="noindex"/>

Lighthouse ไม่ได้ทำการตรวจสอบคำสั่งเฉพาะของ Crawler เช่นนี้ แต่อาจทำให้การค้นหาหน้าเว็บยากขึ้น โปรดใช้ด้วยความระมัดระวัง Lighthouse จะแสดงคำเตือนหากคำสั่งเฉพาะสำหรับ Crawler กำลังบล็อกบ็อตการจัดทำดัชนีทั่วไป

วิธีตรวจสอบว่าเครื่องมือค้นหาสามารถรวบรวมข้อมูลหน้าเว็บของคุณได้

ก่อนอื่น ดูให้แน่ใจว่าคุณต้องการให้เครื่องมือค้นหาจัดทำดัชนีหน้าเว็บ หน้าบางหน้า เช่น แผนผังเว็บไซต์ หรือเนื้อหาทางกฎหมายไม่ควรได้รับการจัดทำดัชนี (โปรดทราบว่าการบล็อกการจัดทำดัชนีไม่ได้ป้องกันไม่ให้ผู้ใช้เข้าถึงหน้าเว็บหากรู้ URL ของหน้าเว็บ)

สำหรับหน้าที่คุณต้องการให้จัดทำดัชนี ให้นำส่วนหัว HTTP หรือองค์ประกอบ <meta> ที่บล็อกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาออก คุณอาจต้องทำตามขั้นตอนต่อไปนี้บางส่วนหรือทั้งหมด ทั้งนี้ขึ้นอยู่กับวิธีการตั้งค่าเว็บไซต์

  • นำส่วนหัวการตอบกลับ HTTP X-Robots-Tag ออกหากคุณตั้งค่าส่วนหัวการตอบกลับ HTTP ดังนี้
X-Robots-Tag: noindex
  • นำเมตาแท็กต่อไปนี้ออกหากมีส่วนหัวของหน้า:
<meta name="robots" content="noindex">
  • หลีกเลี่ยงเมตาแท็กที่บล็อกโปรแกรมรวบรวมข้อมูลที่เจาะจงหากมีแท็กเหล่านี้ที่ส่วนหัวของหน้า เช่น
<meta name="Googlebot" content="noindex">

เพิ่มการควบคุมอื่น (ไม่บังคับ)

คุณอาจต้องการควบคุมว่าเครื่องมือค้นหาจะจัดทำดัชนีหน้าเว็บของคุณอย่างไร ตัวอย่างเช่น คุณอาจไม่ต้องการให้ Google จัดทำดัชนีรูปภาพ แต่คุณต้องการให้หน้าที่เหลือได้รับการจัดทำดัชนี

ดูข้อมูลเกี่ยวกับวิธีกำหนดค่าองค์ประกอบ <meta> และส่วนหัว HTTP สำหรับเครื่องมือค้นหาที่เจาะจงได้จากคำแนะนำต่อไปนี้

แหล่งข้อมูล