Giảm tốc độ thu thập dữ liệu của Googlebot

Google dùng các thuật toán phức tạp để xác định tốc độ thu thập dữ liệu tối ưu cho một trang web. Mục tiêu của chúng tôi là thu thập dữ liệu nhiều trang trên trang web của bạn nhất có thể trong mỗi lần truy cập mà không làm quá tải băng thông máy chủ của bạn. Trong một số trường hợp, việc Google thu thập dữ liệu trang web của bạn có thể gây ra lưu lượng truy cập rất lớn vào sở hạ tầng của bạn hoặc gây ra chi phí không mong muốn trong thời gian trang ngừng hoạt động. Để khắc phục điều này, bạn có thể quyết định giảm số lượng yêu cầu do Googlebot đưa ra.

Nếu bạn quyết định giảm tốc độ thu thập dữ liệu của Googlebot thì bạn có một số lựa chọn sau:

Giảm tốc độ thu thập dữ liệu bằng cách cài đặt trên Search Console (nên làm)

Để nhanh chóng giảm tốc độ thu thập dữ liệu, bạn có thể thay đổi tốc độ thu thập dữ liệu của Googlebot bằng chế độ cài đặt trên Search Console. Những thay đổi với chế độ cài đặt này thường có hiệu lực sau vài ngày. Để sử dụng chế độ cài đặt này, trước tiên, bạn cần xác minh quyền sở hữu đối với trang web của mình. Hãy nhớ rằng bạn không nên đặt tốc độ thu thập dữ liệu thành một giá trị quá thấp so với nhu cầu của trang web. Bạn có thể tìm hiểu thêm về sự tác động của ngân sách thu thập dữ liệu đối với Googlebot.

Để Google tự giảm tốc độ thu thập dữ liệu

Nếu bạn cần nhanh chóng giảm tốc độ thu thập dữ liệu trong một khoảng thời gian ngắn (ví dụ: một vài giờ hoặc 1-2 ngày), hãy trả về một trang thông tin lỗi có mã kết quả HTTP là 500, 503 hoặc 429 thay vì trả về toàn bộ nội dung. Googlebot sẽ giảm tốc độ thu thập dữ liệu đối với trang web của bạn khi bắt gặp một số lượng đáng kể các URL có mã kết quả HTTP 500, 503 hoặc 429 (ví dụ: nếu bạn đã vô hiệu hoá trang web của mình). Sự thay đổi này sẽ thể hiện ở cả tốc độ thu thập dữ liệu các URL trả về những lỗi này, và tốc độ thu thập dữ liệu toàn bộ trang web. Khi số lượng những lỗi này giảm xuống, tốc độ thu thập dữ liệu sẽ tự động tăng trở lại.