Ảnh hưởng của mã trạng thái HTTP, lỗi mạng và lỗi DNS đối với Google Tìm kiếm

Trang này mô tả các ảnh hưởng của mã trạng thái HTTP, lỗi mạng và lỗi DNS đối với Google Tìm kiếm. Chúng tôi sẽ đề cập 20 mã trạng thái phổ biến nhất mà Googlebot gặp trên môi trường web cũng như các lỗi mạng và lỗi DNS tiêu biểu nhất. Các mã trạng thái ít gặp hơn, chẳng hạn như 418 (I'm a teapot), sẽ không được đề cập. Mọi vấn đề được đề cập trong trang này đều có lỗi hoặc cảnh báo tương ứng trong báo cáo Số liệu thống kê về hoạt động thu thập dữ liệu của Search Console.

Mã trạng thái HTTP

Mã trạng thái HTTP là do máy chủ lưu trữ trang web tạo ra khi phản hồi yêu cầu của ứng dụng, chẳng hạn như trình duyệt hoặc trình thu thập dữ liệu. Mỗi mã trạng thái HTTP có một ý nghĩa riêng, nhưng thông thường, kết quả của yêu cầu sẽ giống nhau. Ví dụ: có nhiều mã trạng thái để báo hiệu lệnh chuyển hướng, nhưng kết quả mà những mã đó trả về thì giống nhau.

Search Console tạo thông báo lỗi cho mã trạng thái trong phạm vi 4xx–5xx và cho lệnh chuyển hướng không thành công (3xx). Nếu máy chủ phản hồi bằng mã trạng thái 2xx, thì Google có thể cân nhắc lập chỉ mục nội dung nhận được trong phản hồi đó.

Mã trạng thái HTTP
2xx (success)

Google sẽ cân nhắc lập chỉ mục nội dung này. Nếu nội dung có dấu hiệu bị lỗi, chẳng hạn như trang trống hoặc thông báo lỗi, thì Search Console sẽ hiển thị lỗi 404 mềm.

200 (success)

Googlebot sẽ đưa nội dung vào quy trình lập chỉ mục. Hệ thống lập chỉ mục có thể lập chỉ mục nội dung này (nhưng không chắc chắn).

201 (created)
202 (accepted)

Googlebot sẽ chờ nhận nội dung trong một khoảng thời gian nhất định, sau đó đưa phần nội dung đã nhận vào quy trình lập chỉ mục. Thời gian chờ tùy thuộc vào loại tác nhân người dùng, ví dụ: thời gian chờ của Googlebot Smartphone có thể khác với thời gian chờ của Googlebot Image.

204 (no content)

Googlebot báo hiệu cho quy trình lập chỉ mục rằng Googlebot không nhận được nội dung nào. Search Console có thể hiển thị lỗi 404 mềm trong báo cáo Phạm vi lập chỉ mục của trang web.

3xx (redirects)

Googlebot đi theo tối đa 10 bước chuyển hướng. Nếu trình thu thập dữ liệu không nhận được nội dung trong vòng 10 bước, thì Search Console sẽ hiện lỗi chuyển hướng trong báo cáo Phạm vi lập chỉ mục của trang web. Số bước chuyển hướng mà Googlebot đi theo tùy thuộc vào loại tác nhân người dùng; ví dụ: Googlebot Smartphone có thể có giá trị khác với Googlebot Image.

301 (moved permanently)

Googlebot sẽ đi theo lệnh chuyển hướng và quy trình lập chỉ mục sẽ coi lệnh chuyển hướng là một tín hiệu mạnh cho thấy trang đích của lệnh chuyển hướng nên được chọn làm trang chính tắc.

302 (found)

Googlebot sẽ đi theo lệnh chuyển hướng và quy trình lập chỉ mục sẽ coi lệnh chuyển hướng là một tín hiệu yếu cho thấy trang đích của lệnh chuyển hướng nên được chọn làm trang chính tắc.

303 (see other)
304 (not modified)

Googlebot sẽ báo hiệu cho quy trình lập chỉ mục rằng nội dung này giống với nội dung trong lần thu thập dữ liệu trước đó. Quy trình lập chỉ mục có thể tính toán lại các tín hiệu của URL, nhưng ngoài điểm này ra thì mã trạng thái không ảnh hưởng đến việc lập chỉ mục.

307 (temporary redirect) Tương đương với 302.
308 (moved permanently) Tương đương với 301.
4xx (client errors)

Quy trình lập chỉ mục của Google không xem xét việc lập chỉ mục URL trả về mã trạng thái 4xx. Những URL đã được lập chỉ mục và trả về mã trạng thái 4xx sẽ bị xoá khỏi chỉ mục.

400 (bad request)

Ngoại trừ lỗi 429, mọi lỗi 4xx đều được xử lý như nhau: Googlebot báo hiệu cho quy trình lập chỉ mục rằng nội dung không tồn tại.

Quy trình lập chỉ mục sẽ xoá URL khỏi chỉ mục nếu URL này đã có trong chỉ mục. Hệ thống sẽ không xử lý những trang 404 mới gặp. Tần suất thu thập dữ liệu sẽ giảm dần.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Googlebot coi mã trạng thái 429 là tín hiệu cho thấy máy chủ bị quá tải và coi đó là một lỗi máy chủ.

5xx (server errors)

Các lỗi máy chủ 5xx429 sẽ thông báo để trình thu thập dữ liệu của Google tạm thời giảm tốc độ thu thập dữ liệu. Những URL đã lập chỉ mục sẽ vẫn còn trong chỉ mục, nhưng cuối cùng sẽ bị xoá.

500 (internal server error)

Googlebot giảm tốc độ thu thập dữ liệu cho trang web. Tốc độ thu thập dữ liệu sẽ giảm tương ứng với số lượng URL riêng lẻ đang trả về lỗi máy chủ. Quy trình lập chỉ mục của Google sẽ xoá khỏi chỉ mục những URL liên tục trả về lỗi máy chủ.

502 (bad gateway)
503 (service unavailable)

Lỗi mạng và lỗi DNS

Lỗi mạng và lỗi DNS nhanh chóng ảnh hưởng tiêu cực đến sự xuất hiện của URL trong Google Tìm kiếm. Googlebot xử lý lỗi thời gian chờ, lỗi đặt lại kết nối và lỗi DNS tương tự như cách xử lý lỗi máy chủ 5xx. Trong trường hợp có lỗi mạng, tốc độ thu thập dữ liệu ngay lập tức bắt đầu chậm lại, vì lỗi mạng là dấu hiệu cho thấy máy chủ có thể không xử lý được tải phân phát. Những URL đã lập chỉ mục nhưng không thể truy cập được sẽ bị xoá khỏi chỉ mục của Google trong vòng vài ngày. Search Console có thể tạo lỗi cho từng lỗi tương ứng.

Gỡ lỗi mạng

Những lỗi này xảy ra trước hoặc trong khi Google thu thập dữ liệu URL. Lỗi có thể xảy ra trước khi máy chủ phản hồi nên không có mã trạng thái nào báo hiệu được vấn đề. Do đó, việc chẩn đoán những lỗi này có thể khó khăn hơn. Để gỡ lỗi thời gian chờ và lỗi đặt lại kết nối:

  • Kiểm tra nhật ký và chế độ cài đặt tường lửa. Có thể do một bộ quy tắc chặn có phạm vi quá rộng.
  • Kiểm tra lưu lượng truy cập mạng. Hãy dùng những công cụ như tcpdumpWireshark để thu thập và phân tích các gói TCP, đồng thời tìm những điểm bất thường do một thành phần mạng hoặc mô-đun máy chủ cụ thể gây ra.
  • Nếu bạn không tìm thấy điều gì đáng ngờ, hãy liên hệ với công ty lưu trữ của bạn.

Lỗi có thể nằm trong bất kỳ thành phần máy chủ nào đang xử lý lưu lượng truy cập mạng. Ví dụ: giao diện mạng bị quá tải có thể làm mất gói, từ đó gây ra lỗi thời gian chờ (không thể thiết lập kết nối) và lỗi đặt lại kết nối (gói RST đã được gửi vì có cổng bị đóng nhầm).

Gỡ lỗi DNS

Cấu hình sai là nguyên nhân phổ biến nhất gây ra các lỗi DNS. Để gỡ lỗi DNS, hãy làm như sau:

  • Kiểm tra các bản ghi DNS của bạn. Kiểm tra kỹ để đảm bảo rằng các bản ghi ACNAME của bạn đang lần lượt trỏ đến đúng địa chỉ IP và tên máy chủ. Ví dụ:
    dig +nocmd example.com a +noall +answer
    dig +nocmd www.example.com cname +noall +answer
  • Kiểm tra để đảm bảo rằng tất cả máy chủ định danh đang trỏ đến đúng địa chỉ IP trang web của bạn. Ví dụ:
    dig +nocmd example.com ns +noall +answer
    example.com.    86400  IN  NS  a.iana-servers.net.
    example.com.    86400  IN  NS  b.iana-servers.net.
    dig +nocmd @a.iana-servers.net example.com +noall +answer
    example.com.    86400  IN  A  93.184.216.34
    dig +nocmd @b.iana-servers.net example.com +noall +answer
    ...
  • Nếu từng thực hiện thay đổi với cấu hình DNS trong vòng 72 giờ qua, bạn có thể phải chờ những thay đổi này có hiệu lực trên toàn bộ mạng DNS.
  • Nếu bạn đang tự chạy máy chủ DNS của mình, hãy đảm bảo máy chủ hoạt động tốt và không bị quá tải.