อัปเดตไฟล์ robots.txt

หากต้องการอัปเดตกฎในไฟล์ robots.txt ที่มีอยู่ ให้ดาวน์โหลดสำเนาของไฟล์ robots.txt จากเว็บไซต์และทำการแก้ไขที่จำเป็น

ดาวน์โหลดไฟล์ robots.txt

คุณสามารถดาวน์โหลดไฟล์ robots.txt ได้หลายวิธี เช่น

  • ไปที่ไฟล์ robots.txt เช่น https://example.com/robots.txt และคัดลอกเนื้อหาลงในไฟล์ข้อความใหม่ในคอมพิวเตอร์ ตรวจสอบว่าคุณทำตามหลักเกณฑ์เกี่ยวกับรูปแบบไฟล์เมื่อสร้างไฟล์ในเครื่องไฟล์ใหม่
  • ดาวน์โหลดสำเนาจริงของไฟล์ robots.txt ด้วยเครื่องมืออย่าง cURL เช่น 
    curl https://example.com/robots.txt -o robots.txt
  • ใช้รายงาน robots.txt ใน Search Console เพื่อคัดลอกเนื้อหาของไฟล์ robots.txt ซึ่งหลังจากนั้นคุณจะนำไปวางในไฟล์ในคอมพิวเตอร์ได้

แก้ไขไฟล์ robots.txt

เปิดไฟล์ robots.txt ที่ดาวน์โหลดจากเว็บไซต์ของคุณในตัวแก้ไขข้อความและแก้ไขกฎตามที่จำเป็น ตรวจสอบว่าคุณใช้ไวยากรณ์ที่ถูกต้องและบันทึกไฟล์โดยมีการเข้ารหัส UTF-8

อัปโหลดไฟล์ robots.txt

อัปโหลดไฟล์ robots.txt ไฟล์ใหม่ไปยังไดเรกทอรีรากเป็นไฟล์ข้อความชื่อ robots.txt วิธีที่คุณอัปโหลดไฟล์ไปยังเว็บไซต์จะขึ้นอยู่กับแพลตฟอร์มและเซิร์ฟเวอร์เป็นหลัก ดูเคล็ดลับในการค้นหาความช่วยเหลือเกี่ยวกับการอัปโหลดไฟล์ robots.txt ไปยังเว็บไซต์ของคุณ

รีเฟรชแคช robots.txt ของ Google

ในระหว่างขั้นตอนการ Crawl อัตโนมัติ Crawler ของ Google จะสังเกตเห็นการเปลี่ยนแปลงที่คุณทำกับไฟล์ robots.txt และอัปเดตเวอร์ชันแคชทุก 24 ชั่วโมง หากต้องการให้อัปเดตแคชเร็วขึ้น ให้ใช้ฟังก์ชันขอให้ทำการ Crawl อีกครั้งในรายงาน robots.txt