Cập nhật tệp robots.txt

Nếu sử dụng một dịch vụ lưu trữ trang web, chẳng hạn như Wix, Drupal hoặc Blogger, có thể bạn không cần (hoặc không thể) trực tiếp chỉnh sửa tệp robots.txt của mình. Thay vào đó, có thể nhà cung cấp dịch vụ cung cấp một trang cài đặt tìm kiếm hoặc một cơ chế khác để giúp công cụ tìm kiếm biết được có nên thu thập dữ liệu trên trang của bạn không.

Nếu bạn muốn ẩn hoặc hiện một trong các trang của mình trên công cụ tìm kiếm, hãy tìm hướng dẫn về cách sửa đổi chế độ hiển thị của trang trong công cụ tìm kiếm trên dịch vụ lưu trữ của bạn (ví dụ: tìm "wix ẩn trang khỏi công cụ tìm kiếm").

Để cập nhật các quy tắc trong tệp robots.txt hiện có, hãy tải một bản sao của tệp robots.txt xuống từ trang web của bạn rồi chỉnh sửa những chỗ cần thiết.

Tải tệp robots.txt xuống

Bạn có thể tải tệp robots.txt xuống theo nhiều cách, chẳng hạn như:

• Chuyển đến tệp robots.txt (ví dụ: https://example.com/robots.txt) rồi sao chép nội dung của tệp này vào một tệp văn bản mới trên máy tính. Hãy nhớ tuân thủ các nguyên tắc liên quan đến định dạng tệp khi tạo tệp mới trên máy tính.
• Dùng một công cụ như cURL để tải một bản sao thực tế của tệp robots.txt xuống. Ví dụ:

  curl https://example.com/robots.txt -o robots.txt

• Sử dụng báo cáo về tệp robots.txt trong Search Console để sao chép nội dung của tệp robots.txt. Sau đó, bạn có thể dán nội dung này vào một tệp trên máy tính.

Chỉnh sửa tệp robots.txt

Mở tệp robots.txt mà bạn đã tải xuống từ trang web của mình trong một trình chỉnh sửa văn bản rồi chỉnh sửa nội dung cần thiết cho các quy tắc. Hãy nhớ dùng cú pháp chính xác và lưu tệp bằng phương thức mã hoá UTF-8.

Tải tệp robots.txt lên

Tải tệp robots.txt mới lên thư mục gốc của miền dưới dạng một tệp văn bản có tên robots.txt. Cách thức tải tệp lên trang web phần lớn phụ thuộc vào nền tảng và máy chủ. Hãy xem các mẹo của chúng tôi được trợ giúp về cách tải tệp robots.txt lên trang web.

Nếu bạn không có quyền tải tệp lên thư mục gốc của miền, hãy liên hệ với người quản lý miền để thực hiện thay đổi.

Ví dụ: nếu trang chủ của trang web nằm trong subdomain.example.com/site/example/, thì có thể bạn sẽ không cập nhật được tệp robots.txt tại subdomain.example.com/robots.txt. Trong trường hợp này, hãy liên hệ với chủ sở hữu của example.com/ để thực hiện mọi thay đổi cần thiết đối với tệp robots.txt.

Làm mới tệp robots.txt trong bộ nhớ đệm của Google

Trong quá trình thu thập dữ liệu tự động, trình thu thập dữ liệu của Google phát hiện các thay đổi bạn đã thực hiện đối với tệp robots.txt và cập nhật phiên bản đã lưu vào bộ nhớ đệm sau mỗi 24 giờ. Nếu bạn cần cập nhật bộ nhớ đệm nhanh hơn, hãy dùng chức năng Yêu cầu thu thập lại dữ liệu trong báo cáo về tệp robots.txt.