Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang
Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
Cập nhật tệp robots.txt
Để cập nhật các quy tắc trong tệp robots.txt hiện có, hãy tải một bản sao của tệp robots.txt xuống từ trang web của bạn rồi chỉnh sửa những chỗ cần thiết.
Tải tệp robots.txt xuống
Bạn có thể tải tệp robots.txt xuống theo nhiều cách, chẳng hạn như:
Chuyển đến tệp robots.txt (ví dụ: https://example.com/robots.txt) rồi sao chép nội dung của tệp này vào một tệp văn bản mới trên máy tính. Hãy nhớ tuân thủ các nguyên tắc liên quan đến định dạng tệp khi tạo tệp mới trên máy tính.
Dùng một công cụ như cURL để tải một bản sao thực tế của tệp robots.txt xuống. Ví dụ:
curl https://example.com/robots.txt -o robots.txt
Sử dụng báo cáo về tệp robots.txt trong Search Console để sao chép nội dung của tệp robots.txt. Sau đó, bạn có thể dán nội dung này vào một tệp trên máy tính.
Chỉnh sửa tệp robots.txt
Mở tệp robots.txt mà bạn đã tải xuống từ trang web của mình trong một trình chỉnh sửa văn bản rồi chỉnh sửa nội dung cần thiết cho các quy tắc. Hãy nhớ dùng cú pháp chính xác và lưu tệp bằng phương thức mã hoá UTF-8.
Tải tệp robots.txt lên
Tải tệp robots.txt mới lên thư mục gốc của miền dưới dạng một tệp văn bản có tên robots.txt. Cách thức tải tệp lên trang web phần lớn phụ thuộc vào nền tảng và máy chủ. Hãy xem các mẹo của chúng tôi được trợ giúp về cách tải tệp robots.txt lên trang web.
Làm mới tệp robots.txt trong bộ nhớ đệm của Google
Trong quá trình thu thập dữ liệu tự động, trình thu thập dữ liệu của Google phát hiện các thay đổi bạn đã thực hiện đối với tệp robots.txt và cập nhật phiên bản đã lưu vào bộ nhớ đệm sau mỗi 24 giờ. Nếu bạn cần cập nhật bộ nhớ đệm nhanh hơn, hãy dùng chức năng Yêu cầu thu thập lại dữ liệu trong báo cáo về tệp robots.txt.
[null,null,["Cập nhật lần gần đây nhất: 2025-08-04 UTC."],[[["\u003cp\u003eThe robots.txt file controls which parts of your website search engines can crawl and index.\u003c/p\u003e\n"],["\u003cp\u003eYou can edit your robots.txt file by downloading it, making changes, and uploading it back to your website's root directory.\u003c/p\u003e\n"],["\u003cp\u003eWebsite hosting services may offer alternative ways to manage search engine crawling, such as through their settings pages.\u003c/p\u003e\n"],["\u003cp\u003eGoogle automatically updates its cached version of your robots.txt file, but you can request a faster refresh using Search Console.\u003c/p\u003e\n"]]],["To modify your `robots.txt` file, first download a copy using methods like direct access, cURL, or the Search Console report. Then, edit the file in a text editor, ensuring correct syntax and UTF-8 encoding. Upload the updated file to your site's root directory, typically named `robots.txt`. If direct uploading is not possible, contact your domain manager. Google automatically updates its cached version every 24 hours, or you can use the robots.txt report to request faster recrawling.\n"],null,["# Submit Updated Robots.txt to Google | Google Search Central\n\nUpdate your robots.txt file\n===========================\n\n|\n| **If you use a site hosting service, such as Wix or Blogger**, you might not need to (or\n| be able to) edit your robots.txt file directly. Instead, your provider might expose a search\n| settings page or some other mechanism to tell search engines whether or not to crawl your\n| page.\n|\n|\n| If you want to hide or unhide one of your pages from search engines, search for instructions\n| about modifying your page visibility in search engines on your hosting service, for example,\n| search for \"wix hide page from search engines\".\n\n\nTo update the rules in your existing robots.txt file, download a copy of your robots.txt file\nfrom your site and make the necessary edits.\n\nDownload your robots.txt file\n-----------------------------\n\n\nYou can download your robots.txt file various ways, for example:\n\n- Navigate to your robots.txt file, for example `https://example.com/robots.txt` and copy its contents into a new text file on computer. Make sure you follow the guidelines related to the [file format](/search/docs/crawling-indexing/robots/create-robots-txt#format_location) when creating the new local file.\n- Download an actual copy of your robots.txt file with a tool like cURL. For example: \n\n ```\n curl https://example.com/robots.txt -o robots.txt\n ```\n- Use the [robots.txt report](https://support.google.com/webmasters/answer/6062598) in Search Console to copy the content of your robots.txt file, which you can then paste into a file on your computer.\n\nEdit your robots.txt file\n-------------------------\n\n\nOpen the robots.txt file you downloaded from your site in a text editor and make the necessary\nedits to the rules. Make sure you use the\n[correct syntax](/search/docs/crawling-indexing/robots/create-robots-txt#create_rules)\nand that you save the file with UTF-8 encoding.\n\nUpload your robots.txt file\n---------------------------\n\n\nUpload your new robots.txt file to the root directory of your site as a text file named\nrobots.txt. The way you upload a file to your site is highly platform and server dependent. Check\nout our tips for finding help with\n[uploading a robots.txt file to your site](/search/docs/crawling-indexing/robots/create-robots-txt#upload).\n|\n| **If you do not have permission to upload files to the root directory of your site, contact\n| your domain manager to make changes.**\n|\n|\n| For example, if your site home page resides under\n| `subdomain.example.com/site/example/`, you likely cannot update the robots.txt file\n| at `subdomain.example.com/robots.txt`. In this case, contact the owner of\n| `example.com/` to make any necessary changes to the robots.txt file.\n\nRefresh Google's robots.txt cache\n---------------------------------\n\n\nDuring the automatic crawling process, Google's crawlers notice changes you made to your\nrobots.txt file and update the cached version every 24 hours. If you need to update the\ncache faster, use the **Request a recrawl** function of the\n[robots.txt report](https://support.google.com/webmasters/answer/6062598)."]]
