ข้อกําหนดเกี่ยวกับแท็ก meta ของ Robots, data-nosnippet และ X-Robots-Tag
เอกสารนี้แสดงรายละเอียดเกี่ยวกับการใช้การตั้งค่าระดับหน้าเว็บและระดับข้อความในการปรับลักษณะที่ Google แสดงเนื้อหาในผลการค้นหา คุณระบุการตั้งค่าระดับหน้าเว็บได้โดยใส่แท็ก meta ไว้ในหน้า HTML หรือในส่วนหัว HTTP และระบุการตั้งค่าระดับข้อความได้ด้วยแอตทริบิวต์ data-nosnippet ในเอลิเมนต์ HTML ภายในหน้าเว็บ
โปรดทราบว่าระบบจะอ่านการตั้งค่าและทำตามได้ต่อเมื่อ Crawler ได้รับอนุญาตให้เข้าถึงหน้าเว็บที่มีการตั้งค่าดังกล่าวเท่านั้น
กฎ <meta name="robots" content="noindex"> มีผลกับ Crawler ของเครื่องมือค้นหา หากต้องการบล็อก Crawler ที่ไม่ใช่การค้นหา เช่น AdsBot-Google คุณจะต้องเพิ่มกฎที่กำหนดเป้าหมสยไปยัง Crawler นั้นโดยเฉพาะ (เช่น <meta name="AdsBot-Google" content="noindex">)
การใช้แท็ก meta ของ robots
แท็ก meta ของ robots ช่วยให้คุณใช้วิธีการที่ละเอียดและเจาะจงหน้าเว็บเพื่อควบคุมวิธีที่ระบบจัดทำดัชนีหน้า HTML หนึ่งๆ และแสดงต่อผู้ใช้ในผลการค้นหาของ Google Search วางแท็ก meta ของ robots ในส่วน <head> ของหน้าเว็บนั้น ดังนี้
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex"> (…) </head> <body>(…)</body> </html>
ในตัวอย่างนี้ แท็ก meta ของ robots สั่งเครื่องมือค้นหาว่าอย่าแสดงหน้าเว็บดังกล่าวในผลการค้นหา ค่าของแอตทริบิวต์ name (robots) ระบุว่ากฎนี้มีผลกับ Crawler ทั้งหมด ทั้งแอตทริบิวต์ name และ content ไม่คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่ หากต้องการให้มีผลกับ Crawler ที่เจาะจง ให้ระบุโทเค็น User Agent ของ Crawler นั้นถึงแทนค่า robots ของแอตทริบิวต์ name Google รองรับโทเค็น User Agent 2 รายการในแท็ก meta ของ robots และจะไม่สนใจค่าอื่นๆ ดังนี้
googlebot: สำหรับผลการค้นหาข้อความทั้งหมดgooglebot-news: สำหรับผลการค้นหาข่าว
เช่น หากต้องการสั่ง Google ไม่ให้แสดงตัวอย่างข้อมูลในผลการค้นหาโดยเฉพาะ ให้ระบุ googlebot เป็นชื่อของแท็ก meta ดังนี้
<meta name="googlebot" content="nosnippet">
หากต้องการแสดงตัวอย่างข้อมูลแบบเต็มในผลการค้นหาเว็บของ Google แต่ไม่แสดงตัวอย่างข้อมูลใน Google News ให้ระบุ googlebot-news เป็นชื่อของแท็ก meta ดังนี้
<meta name="googlebot-news" content="nosnippet">
หากต้องการระบุ Crawler ทีละรายการ ให้ใช้แท็ก meta ของ robots หลายรายการ ดังนี้
<meta name="googlebot" content="notranslate"> <meta name="googlebot-news" content="nosnippet">
หากต้องการบล็อกการจัดทำดัชนีทรัพยากรที่ไม่ใช่ HTML เช่น ไฟล์ PDF, ไฟล์วิดีโอ หรือไฟล์ภาพ ให้ใช้ส่วนหัวการตอบกลับ X-Robots-Tag แทน
การใช้ส่วนหัว HTTP ของ X-Robots-Tag
คุณใช้ X-Robots-Tag เป็นเอลิเมนต์การตอบสนองของส่วนหัว HTTP สำหรับ URL หนึ่งๆ ได้ นอกจากนี้ กฎที่ใช้ในแท็ก meta ของ robots ยังระบุเป็น X-Robots-Tag ได้อีกด้วย ต่อไปนี้คือตัวอย่างการตอบสนองของ HTTP ที่มี X-Robots-Tag ซึ่งห้ามไม่ให้ Crawler จัดทำดัชนีหน้าเว็บ
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
คุณสามารถใส่ส่วนหัว X-Robots-Tag หลายรายการไว้รวมกันภายในการตอบสนองของ HTTP หรือจะระบุรายการกฎที่คั่นด้วยคอมมาก็ได้ ต่อไปนี้คือตัวอย่างการตอบสนองของส่วนหัว HTTP ที่มี noimageindex X-Robots-Tag รวมอยู่กับ unavailable_after X-Robots-Tag
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noimageindex X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
X-Robots-Tag อาจระบุ User Agent ก่อนกฎก็ได้ เช่น คุณใช้ชุดส่วนหัว HTTP ของ X-Robots-Tag ต่อไปนี้เพื่ออนุญาตให้แสดงหน้าเว็บตามเงื่อนไขในผลการค้นหาของเครื่องมือค้นหาที่ต่างกันได้
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
กฎที่ระบุโดยไม่มี User Agent นั้นจะมีผลกับ Crawler ทั้งหมด ส่วนหัว HTTP, ชื่อ User Agent และค่าที่ระบุไม่คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่
กฎการจัดทําดัชนีและการแสดงผลที่ใช้ได้
กฎต่อไปนี้ (พร้อมใช้งานในรูปแบบที่เครื่องอ่านได้ด้วย) สามารถใช้เพื่อควบคุมการจัดทําดัชนีและการแสดงผลตัวอย่างข้อมูลที่มีแท็ก meta ของ robots และ X-Robots-Tag โดยแต่ละค่าจะแสดงถึงกฎเฉพาะ ระบบอาจรวมกฎหลายข้อในรายการที่คั่นด้วยคอมมาหรือในแท็ก meta แยกต่างหาก กฎเหล่านี้ไม่คำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่
| กฎ | |
|---|---|
|
ไม่มีข้อจำกัดในการจัดทำดัชนีหรือแสดงผล กฎนี้เป็นค่าเริ่มต้นและไม่มีผลใดๆ หากมีการระบุไว้อย่างชัดเจน |
|
อย่าแสดงหน้า สื่อ หรือทรัพยากรนี้ในผลการค้นหา หากไม่ระบุกฎนี้ หน้า สื่อ หรือทรัพยากรนั้นอาจได้รับการจัดทำดัชนีและแสดงในผลการค้นหา หากต้องการนำข้อมูลออกจาก Google โปรดปฏิบัติตามคำแนะนำทีละขั้นตอน |
|
อย่าไปที่ลิงก์ในหน้านี้ หากไม่ระบุกฎนี้ Google อาจใช้ลิงก์ในหน้าเพื่อค้นพบหน้าเว็บที่เชื่อมโยงเหล่านั้น ดูข้อมูลเพิ่มเติมเกี่ยวกับ nofollow
|
|
เทียบเท่ากับ noindex, nofollow
|
|
อย่าแสดงตัวอย่างข้อความหรือวิดีโอในผลการค้นหาสำหรับหน้านี้ ภาพขนาดย่อแบบนิ่ง (หากมี) อาจยังมองเห็นได้อยู่หากทำให้ผู้ใช้ได้รับประสบการณ์การใช้งานดีขึ้น ค่านี้มีผลต่อผลการค้นหาทุกรูปแบบ (ใน Google Web Search, Google รูปภาพ, สำรวจ, ข้อมูลภาพรวมโดย AI) และจะป้องกันไม่ให้มีการใช้เนื้อหาเป็นอินพุตโดยตรงสำหรับข้อมูลภาพรวมโดย AI หากไม่ระบุกฎนี้ Google อาจสร้างตัวอย่างข้อความและวิดีโอตามข้อมูลที่พบในหน้า
หากไม่ต้องการให้เนื้อหาบางส่วนแสดงรวมอยู่ในตัวอย่างผลการค้นหา ให้ใช้ แอตทริบิวต์ |
|
Google ได้รับอนุญาตให้จัดทําดัชนีเนื้อหาของหน้าเว็บหากฝังในหน้าอื่นผ่าน
|
|
ใช้ตัวอย่างข้อความที่มีอักขระไม่เกิน [จำนวน] ตัวสำหรับผลการค้นหานี้ (โปรดทราบว่า URL อาจแสดงเป็นผลการค้นหาหลายรายการในหน้าผลการค้นหา) ข้อกำหนดนี้ไม่มีผลต่อการแสดงตัวอย่างรูปภาพหรือวิดีโอ ค่านี้มีผลต่อผลการค้นหาทุกรูปแบบ (เช่น Google Web Search, Google รูปภาพ, สำรวจ, Assistant, ข้อมูลภาพรวมโดย AI) และจะจำกัดปริมาณเนื้อหาที่อาจใช้เป็นอินพุตโดยตรงสำหรับข้อมูลภาพรวมโดย AI อย่างไรก็ตาม ข้อจำกัดนี้จะไม่มีผลในกรณีที่ผู้เผยแพร่เนื้อหาอนุญาตให้ใช้เนื้อหาแยกต่างหาก ตัวอย่างเช่น หากผู้เผยแพร่เนื้อหาแสดงเนื้อหาในรูปแบบ Structured Data ในหน้าเว็บหรือมีข้อตกลงการอนุญาตให้ใช้สิทธิกับ Google การตั้งค่านี้จะไม่รบกวนการใช้งานที่ได้รับอนุญาตซึ่งมีความเจาะจงมากกว่า ระบบจะละเว้นกฎนี้หากไม่มีการระบุ [จำนวน] ที่แยกวิเคราะห์ได้ หากไม่ระบุกฎนี้ Google จะเลือกความยาวของตัวอย่าง ค่าพิเศษ
ตัวอย่าง หากต้องการหยุดแสดงตัวอย่างในผลการค้นหา <meta name="robots" content="max-snippet:0"> หากต้องการอนุญาตให้แสดงอักขระในตัวอย่างได้สูงสุด 20 อักขระ <meta name="robots" content="max-snippet:20"> หากต้องการระบุว่าไม่จำกัดจำนวนอักขระที่แสดงในตัวอย่างได้ <meta name="robots" content="max-snippet:-1"> |
|
กำหนดขนาดสูงสุดของตัวอย่างรูปภาพสำหรับหน้าเว็บนี้ในผลการค้นหา
หากไม่ระบุกฎ ค่า [การตั้งค่า] ที่ยอมรับมีดังนี้
ค่านี้มีผลต่อผลการค้นหาทุกรูปแบบ (เช่น Google ค้นเว็บ, Google รูปภาพ, Discover, Assistant) อย่างไรก็ตาม ข้อจำกัดนี้จะไม่มีผลในกรณีที่ผู้เผยแพร่เนื้อหาอนุญาตให้ใช้เนื้อหาแยกต่างหาก ตัวอย่างเช่น หากผู้เผยแพร่เนื้อหาให้เนื้อหาในรูปแบบ Structured Data ในหน้าเว็บ (เช่น เวอร์ชัน AMP และ Canonical ของบทความ) หรือมีข้อตกลงการอนุญาตให้ใช้สิทธิกับ Google การตั้งค่านี้จะไม่รบกวนการใช้งานที่ได้รับอนุญาตซึ่งมีความเจาะจงมากกว่า
หากไม่ต้องการให้ Google ใช้ภาพขนาดย่อที่ใหญ่ขึ้นเมื่อหน้า AMP และเวอร์ชัน Canonical ของบทความแสดงใน Search หรือ Discover ให้ระบุค่า ตัวอย่าง <meta name="robots" content="max-image-preview:standard"> |
|
ใช้ตัวอย่างวิดีโอที่มีความยาวไม่เกิน [จำนวน] วินาทีสำหรับวิดีโอในหน้านี้ในผลการค้นหา
หากไม่ระบุกฎ ค่าพิเศษ
ค่านี้มีผลต่อผลการค้นหาทุกรูปแบบ (ใน Google ค้นเว็บ, Google รูปภาพ, Google วิดีโอ, Discover, Assistant) ระบบจะละเว้นกฎนี้หากไม่มีการระบุ [จำนวน] ที่แยกวิเคราะห์ได้ ตัวอย่าง <meta name="robots" content="max-video-preview:-1"> |
|
อย่าเสนอคำแปลของหน้านี้ในผลการค้นหา หากไม่ระบุกฎนี้ เมื่อมีผลการค้นหาที่ไม่ใช่ภาษาที่ใช้ค้นหา Google อาจแปลลิงก์ Title และตัวอย่างของผลการค้นหานั้น หากผู้ใช้คลิกลิงก์ชื่อที่แปลแล้ว การโต้ตอบทุกอย่างที่ผู้ใช้ทำกับหน้าเว็บต่อจากนั้นจะทำผ่าน Google แปลภาษา ซึ่งจะแปลลิงก์ทั้งหมดที่ตามมาโดยอัตโนมัติ |
|
อย่าจัดทำดัชนีรูปภาพที่อยู่ในหน้านี้ หากไม่ระบุค่านี้ รูปภาพที่อยู่ในหน้าเว็บอาจได้รับการจัดทำดัชนีและแสดงในผลการค้นหา |
|
อย่าแสดงหน้านี้ในผลการค้นหาหลังจากวันที่/เวลาที่ระบุ ต้องระบุวันที่/เวลาในรูปแบบที่ใช้กันอย่างแพร่หลาย ซึ่งรวมถึงแต่ไม่จำกัดเพียง RFC 822, RFC 850 และ ISO 8601 ระบบจะละเว้นกฎนี้หากไม่มีการระบุวันที่/เวลาที่ถูกต้อง โดยค่าเริ่มต้น เนื้อหาจะไม่มีวันที่หมดอายุ หากไม่ระบุกฎนี้ หน้านี้อาจแสดงในผลการค้นหาอย่างไม่จำกัด Googlebot จะลดอัตราการ Crawl ของ URL ลงเป็นอย่างมากหลังจากวันที่และเวลาที่ระบุ ตัวอย่าง <meta name="robots" content="unavailable_after: 2020-09-21"> |
ข้อมูลอ้างอิงเกี่ยวกับกฎที่ผ่านมาและกฎอื่นๆ ที่ไม่ได้ใช้งาน
Google Search จะไม่ใช้และไม่สนใจกฎต่อไปนี้ เรารวมกฎเหล่านี้ไว้ที่นี่เนื่องจากผู้คนมักถามถึงกฎเหล่านี้หรือเราเคยใช้กฎเหล่านี้ในอดีต
| รายการกฎที่ผ่านมาและกฎอื่นๆ ที่ไม่ได้ใช้ | |
|---|---|
|
Google Search ไม่ได้ใช้กฎ noarchive อีกต่อไปเพื่อควบคุมว่าจะแสดงลิงก์ที่แคชไว้ในผลการค้นหาหรือไม่ เนื่องจากฟีเจอร์ลิงก์ที่แคชไว้ไม่มีอยู่แล้ว
|
|
Google Search ไม่ได้ใช้กฎ nocache
|
|
Google Search ไม่ได้ใช้กฎ |
การจัดการกฎการจัดทําดัชนีและการแสดงผลแบบรวม
คุณสร้างคำสั่งที่มีกฎหลายข้อได้โดยรวมกฎแท็ก meta ของ robots และคั่นด้วยคอมมา หรือใช้แท็ก meta หลายรายการ ต่อไปนี้คือตัวอย่างแท็ก meta ของ robots ที่บอก Web Crawler ไม่ให้จัดทำดัชนีหน้าเว็บและไม่ให้ทำการ Crawl ลิงก์ใดๆ ในหน้าเว็บเลย
รายการที่คั่นด้วยคอมมา
<meta name="robots" content="noindex, nofollow">
แท็ก meta หลายแท็ก
<meta name="robots" content="noindex"> <meta name="robots" content="nofollow">
ต่อไปนี้คือตัวอย่างที่จำกัดความยาวของตัวอย่างข้อความไว้ที่ 20 อักขระและอนุญาตให้แสดงตัวอย่างรูปภาพขนาดใหญ่
<meta name="robots" content="max-snippet:20, max-image-preview:large">
ในกรณีที่มีการระบุ Crawler หลายโปรแกรมพร้อมกับกฎหลายรายการ เครื่องมือค้นหาจะใช้ผลรวมของกฎเชิงลบ เช่น
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
Googlebot จะเข้าใจว่าหน้าเว็บที่มีแท็ก meta เหล่านี้มีกฎ noindex, nofollow เมื่อทำการ Crawl
การใช้แอตทริบิวต์ HTML data-nosnippet
คุณกำหนดส่วนที่เป็นข้อความของหน้า HTML เพื่อไม่ให้ใช้เป็นตัวอย่างได้ ซึ่งทำได้ในระดับเอลิเมนต์ HTML ที่มีแอตทริบิวต์ HTML "data-nosnippet" ในเอลิเมนต์ span, div และ section ระบบถือว่า data-nosnippet เป็นแอตทริบิวต์บูลีน
โดยระบบจะไม่สนใจค่าที่ระบุ เช่นเดียวกับแอตทริบิวต์บูลีนอื่นๆ ทั้งหมด ส่วน HTML ต้องเป็น HTML ที่ถูกต้องและมีการปิดแท็กที่เกี่ยวข้องทั้งหมดตามความเหมาะสมเพื่อให้เครื่องอ่านได้
ตัวอย่าง
<p>This text can be shown in a snippet <span data-nosnippet>and this part would not be shown</span>.</p> <div data-nosnippet>not in snippet</div> <div data-nosnippet="true">also not in snippet</div> <div data-nosnippet="false">also not in snippet</div> <!-- all values are ignored --> <div data-nosnippet>some text</html> <!-- unclosed "div" will include all content afterwards --> <mytag data-nosnippet>some text</mytag> <!-- NOT VALID: not a span, div, or section --> <p>This text can be shown in a snippet.</p> <div data-nosnippet> <p>However, this is not in snippet.</p> <ul> <li>Stuff not in snippet</li> <li>More stuff not in snippet</li> </ul> </div>
โดยปกติแล้ว Google จะแสดงผลหน้าเว็บเพื่อจัดทำดัชนี แต่ไม่รับประกันการแสดงผล
จึงอาจมีการดึง data-nosnippet ทั้งก่อนและหลังการแสดงผล โปรดอย่าเพิ่มหรือลบแอตทริบิวต์ data-nosnippet ของโหนดที่มีอยู่ผ่าน JavaScript เพื่อหลีกเลี่ยงความไม่แน่นอนจากการแสดงผล
เมื่อเพิ่มเอลิเมนต์ของ DOM ผ่าน JavaScript ให้ใส่แอตทริบิวต์ data-nosnippet ตามความจำเป็นเมื่อเริ่มเพิ่มเอลิเมนต์ใน DOM ของหน้าเว็บ หากมีการใช้เอลิเมนต์ที่กำหนดเอง ให้รวมหรือแสดงผลด้วยเอลิเมนต์ div, span หรือ section หากคุณต้องการใช้ data-nosnippet
การใช้ Structured Data
แท็ก meta ของ Robots ควบคุมปริมาณเนื้อหาที่ Google ดึงมาจากหน้าเว็บโดยอัตโนมัติเพื่อแสดงเป็นผลการค้นหา แต่ผู้เผยแพร่เนื้อหาจำนวนมากยังใช้ Structured Data ของ schema.org เพื่อให้ข้อมูลที่เจาะจงใช้ในการแสดงการค้นหาได้ด้วย ข้อจำกัดของแท็ก meta ของ Robots ไม่ส่งผลต่อการใช้ Structured Data นั้น โดยมีข้อยกเว้นของ article.description และค่า description ของ Structured Data ที่ระบุไว้สำหรับงานสร้างสรรค์อื่นๆ หากต้องการระบุความยาวสูงสุดของตัวอย่างที่อิงตามค่า description เหล่านี้ ให้ใช้กฎ max-snippet ตัวอย่างเช่น Structured Data recipe ในหน้าเว็บจะมีสิทธิ์รวมอยู่ในภาพสไลด์สูตรอาหาร แม้ว่าจะมีการจำกัดข้อความที่แสดงตัวอย่าง คุณจำกัดความยาวของตัวอย่างข้อความได้ด้วย max-snippet แต่ระบบจะไม่ใช้แท็ก meta ของ robots นั้นหากมีการระบุข้อมูลโดยใช้ Structured Data สำหรับผลการค้นหาที่เป็นริชมีเดีย
หากต้องการจัดการการใช้ Structured Data สำหรับหน้าเว็บ ให้แก้ไขประเภท Structured Data และค่าโดยการเพิ่มหรือนำข้อมูลออก เพื่อให้เหลือเฉพาะข้อมูลที่ต้องการให้แสดง และโปรดทราบว่า Structured Data จะใช้กับผลการค้นหาได้ต่อไปเมื่อมีการประกาศภายในเอลิเมนต์ data-nosnippet
แนวทางการปรับใช้ X-Robots-Tag
คุณเพิ่ม X-Robots-Tag ในการตอบสนอง HTTP ของเว็บไซต์ผ่านไฟล์การกำหนดค่าของซอฟต์แวร์สำหรับเว็บเซิร์ฟเวอร์ของเว็บไซต์ได้ เช่น ในเว็บเซิร์ฟเวอร์ที่ใช้ Apache คุณจะใช้ไฟล์ .htaccess และ httpd.conf ได้ ประโยชน์ของการใช้ X-Robots-Tag ที่มีการตอบสนองของ HTTP คือคุณระบุกฎการ Crawl ที่มีผลทั่วทั้งเว็บไซต์ได้ การรองรับนิพจน์ทั่วไปช่วยให้มีความยืดหยุ่นในระดับสูง
เช่น หากต้องการเพิ่ม noindex, nofollow, X-Robots-Tag ในการตอบกลับของ HTTP สําหรับไฟล์ .PDF ทั้งหมดทั่วทั้งเว็บไซต์ ให้เพิ่มข้อมูลโค้ดต่อไปนี้ในไฟล์ราก .htaccess หรือไฟล์ httpd.conf ของเว็บไซต์ใน Apache หรือไฟล์ .conf ของเว็บไซต์ใน NGINX
Apache
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
ในกรณีที่ใช้แท็ก meta ของ robots ใน HTML ไม่ได้ คุณสามารถใช้ X-Robots-Tag สำหรับไฟล์ที่ไม่ใช่ HTML เช่น ไฟล์ภาพ ต่อไปนี้คือตัวอย่างการเพิ่มกฎ noindex X-Robots-Tag สําหรับไฟล์ภาพ (.png, .jpeg, .jpg, .gif) ทั่วทั้งเว็บไซต์
Apache
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
NGINX
location ~* \.(png|jpe?g|gif)$ {
add_header X-Robots-Tag "noindex";
}
คุณยังตั้งค่าส่วนหัว X-Robots-Tag สำหรับไฟล์แบบคงที่แต่ละไฟล์ได้ดังนี้
Apache
# the htaccess file must be placed in the directory of the matched file. <Files "unicorn.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location = /secrets/unicorn.pdf {
add_header X-Robots-Tag "noindex, nofollow";
}การรวมกฎ robots.txt กับกฎการจัดทําดัชนีและการแสดงผล
ระบบจะค้นพบแท็ก meta ของ robots และส่วนหัว X-Robots-Tag ของ HTTP เมื่อมีการ Crawl URL แล้ว หากไม่มีการอนุญาตให้ทำการ Crawl หน้าเว็บผ่านไฟล์ robots.txt ระบบจะไม่พบข้อมูลเกี่ยวกับกฎในการจัดทำดัชนีหรือการแสดงผล ซึ่งทำให้กฎดังกล่าวถูกละเว้นไป หากต้องทำตามกฎของการจัดทำดัชนีหรือกฎการแสดง คุณต้องอนุญาตให้ระบบทำการ Crawl URL ที่มีกฎเหล่านั้นได้