Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang
Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
Giảm tốc độ thu thập dữ liệu của Google
Cơ sở hạ tầng của trình thu thập dữ liệu của Google dùng các thuật toán phức tạp để xác định tốc độ thu thập dữ liệu tối ưu đối với một trang web. Mục tiêu của chúng tôi là thu thập dữ liệu nhiều trang nhất có thể trên trang web của bạn trong mỗi lần truy cập mà không làm máy chủ của bạn quá tải. Trong một số trường hợp, việc Google thu thập dữ liệu trên trang web của bạn có thể gây ra một sự cố nghiêm trọng cho cơ sở hạ tầng của bạn hoặc gây ra chi phí không mong muốn trong thời gian trang ngừng hoạt động. Để giảm bớt tình trạng này, bạn có thể lựa chọn giảm số lượng yêu cầu do trình thu thập dữ liệu của Google đưa ra.
Tìm hiểu nguyên nhân khiến số lượt thu thập dữ liệu tăng đột biến
Việc số lượt thu thập dữ liệu tăng đột biến có thể là do cấu trúc trang web không hiệu quả hoặc do các vấn đề khác với trang web của bạn. Dựa trên các báo cáo mà chúng tôi nhận được trước đây, những nguyên nhân thường gặp nhất là:
Cấu hình URL không hiệu quả trên trang web, thường là do
một chức năng cụ thể của trang web gây ra:
Điều hướng đa chiều hoặc các chức năng sắp xếp và lọc khác của trang web
Lịch có rất nhiều URL tương ứng với các ngày cụ thể
Bạn nên kiểm tra với công ty lưu trữ và xem nhật ký truy cập gần đây của máy chủ để tìm hiểu về nguồn gốc của lưu lượng truy cập và xem liệu nguồn lưu lượng truy cập đó có phù hợp với các nguyên nhân thường gặp nêu trên dẫn đến việc số lượt thu thập dữ liệu tăng đột biến hay không. Sau đó, hãy xem hướng dẫn của chúng tôi về cách quản lý hoạt động thu thập dữ liệu của các URL điều hướng đa chiều và tối ưu hoá hiệu quả thu thập dữ liệu.
Giảm cấp tốc lưu lượng truy cập của trình thu thập dữ liệu (dành cho trường hợp khẩn cấp)
Nếu bạn cần nhanh chóng giảm tốc độ thu thập dữ liệu trong một khoảng thời gian ngắn (ví dụ: một vài giờ hoặc 1-2 ngày), hãy trả về mã trạng thái phản hồi HTTP 500, 503 hoặc 429 thay vì 200 đối với các yêu cầu thu thập dữ liệu. Cơ sở hạ tầng thu thập dữ liệu của Google sẽ giảm tốc độ thu thập dữ liệu của trang web khi gặp phải một số lượng đáng kể URL có mã trạng thái phản hồi HTTP 500, 503 hoặc 429 (ví dụ: khi bạn đã vô hiệu hoá trang web).
Tốc độ thu thập dữ liệu bị giảm sẽ ảnh hưởng đến toàn bộ tên máy chủ của trang web của bạn (ví dụ: subdomain.example.com), cả quá trình thu thập dữ liệu những URL trả về lỗi cũng như những URL trả về nội dung. Khi số lượng những lỗi này giảm xuống, tốc độ thu thập dữ liệu sẽ tự động tăng trở lại.
Yêu cầu đặc biệt để giảm tốc độ thu thập dữ liệu
Nếu không thể phân phát lỗi cho trình thu thập dữ liệu của Google trên cơ sở hạ tầng của bạn, hãy gửi một yêu cầu đặc biệt để báo cáo vấn đề về tốc độ thu thập dữ liệu cao bất thường, đồng thời đề cập đến tốc độ tối ưu cho trang web của bạn trong yêu cầu. Bạn không thể yêu cầu tăng tốc độ thu thập dữ liệu. Quá trình đánh giá và thực hiện yêu cầu này có thể sẽ mất vài ngày.
[null,null,["Cập nhật lần gần đây nhất: 2025-09-01 UTC."],[[["\u003cp\u003eGoogle automatically adjusts crawl rate to avoid overloading your server, but you can reduce it further if needed.\u003c/p\u003e\n"],["\u003cp\u003eTemporarily reducing crawl rate can be achieved by returning 500, 503, or 429 HTTP response codes, but this impacts content freshness and discovery.\u003c/p\u003e\n"],["\u003cp\u003eFor longer-term crawl rate reduction, file a special request with Google; however, increasing the rate isn't possible.\u003c/p\u003e\n"],["\u003cp\u003eBefore reducing crawl rate, consider optimizing your website structure for better crawling efficiency as this might resolve the issue.\u003c/p\u003e\n"],["\u003cp\u003eExtended use of error codes to control crawling may lead to URLs being dropped from Google's index, so it's crucial to use this method cautiously.\u003c/p\u003e\n"]]],["Google's crawlers may need to be slowed if they overload a site. Common causes for increased crawling include inefficient site structure, like faceted navigation. For urgent reductions, return `500`, `503`, or `429` HTTP status codes to crawler requests; this will lower the crawl rate, but can negatively affect site indexing if done for too long. Alternatively, if returning errors isn't viable, submit a special request specifying an optimal crawl rate. Note: reducing the crawl rate will result in slower updates of existing pages.\n"],null,["# Reduce Google Crawl Rate | Google Search Central\n\nReduce the Google crawl rate\n============================\n\n\nGoogle's crawler infrastructure has sophisticated algorithms to determine the optimal crawl rate\nfor a site. Our goal is to crawl as many pages from your site as we can on each visit without\noverwhelming your server. In some cases, Google's crawling of your site might be causing a\ncritical load on your infrastructure, or cause unwanted costs during an outage. To alleviate this,\nyou may decide to reduce the number of requests made by Google's crawlers.\n\nUnderstand the cause of the sharp increase in crawling\n------------------------------------------------------\n\n\nSharp increase in crawling may be caused by inefficiencies in your site's structure or issues with\nyour site otherwise. Based on the reports we've received in the past, the most common causes are:\n\n- Inefficient configuration of URLs on the site, which is typically casued by a specific functionality of the site:\n - Faceted navigation or other sorting and filtering functionality of the site\n - A calendar with a lot of URLs for specific dates\n- [A Dynamic Search Ad target](/search/docs/crawling-indexing/large-site-managing-crawl-budget#adsbot)\n\n\nWe strongly recommend that you check with your hosting company and look at recent access logs of\nyour server to understand the source of the traffic, and see if it fits in the aformentioned\ncommon causes of the sharp increase in crawling. Then, check our guides about\n[managing crawling of faceted navigation URLs](/search/docs/crawling-indexing/crawling-managing-faceted-navigation)\nand\n[optimizing crawling efficiency](/search/docs/crawling-indexing/large-site-managing-crawl-budget#improve_crawl_efficiency).\n\nUrgently reduce crawler traffic (for emergencies)\n-------------------------------------------------\n\n| **Warning**: When considering reducing the Google's crawl rate, keep in mind that this will have broad effects. For Search, Googlebot will discover fewer new pages, and existing pages will be refreshed less frequently (for example, prices and product availability may take longer to be reflected in Search), and removed pages may stay in the index longer. For Google Ads, your campaigns may be cancelled or paused, and your ads may not serve.\n\n\nIf you need to urgently reduce the crawl rate for short period of time (for example, a couple\nof hours, or 1-2 days), then return `500`, `503`, or `429` HTTP\nresponse status code instead of `200` to the crawl requests. Google's crawling\ninfrastructure reduces your site's crawling rate when it encounters a significant number of URLs\nwith `500`, `503`, or `429` HTTP response status codes (for\nexample, if you\n[disabled your website](/search/docs/crawling-indexing/pause-online-business)).\nThe reduced crawl rate affects the whole hostname of your site (for example,\n`subdomain.example.com`), both the crawling of the URLs that return errors, as well as\nthe URLs that return content. Once the number of these errors is reduced, the crawl rate will\nautomatically start increasing again.\n| **Warning**: We don't recommend that you do this for a long period of time (meaning, longer than 1-2 days) as it may have a negative effect on how your site appears in Google products. For example, in case of Search, if Googlebot observes these status codes on the same URL for multiple days, the URL may be dropped from Google's index.\n\nExceptional requests to reduce crawl rate\n-----------------------------------------\n\n\nIf serving errors to Google's crawlers is not feasible on your infrastructure,\n[file a special request](https://search.google.com/search-console/googlebot-report)\nto report a problem with unusually high crawl rate, mentioning the optimal rate for your site in\nyour request. You cannot request an increase in crawl rate, and it may take several days for the\nrequest to be evaluated and fulfilled."]]
