Hướng dẫn chuyên sâu về cách thức hoạt động của Google Tìm kiếm

Google Tìm kiếm là một công cụ tìm kiếm hoàn toàn tự động, sử dụng những phần mềm được gọi là trình thu thập dữ liệu web có chức năng thường xuyên khám phá trên web nhằm tìm các trang để thêm vào chỉ mục của chúng tôi. Trên thực tế, rất ít trang xuất hiện trong các kết quả tìm kiếm của chúng tôi được gửi theo cách thủ công. Phần lớn các trang được tự động tìm thấy và thêm vào kết quả khi trình thu thập dữ liệu web của chúng tôi thu thập dữ liệu trên web. Tài liệu này giải thích các giai đoạn trong cách thức hoạt động của Tìm kiếm cho bối cảnh trang web của bạn. Khi nắm được kiến thức cơ sở này, bạn có thể khắc phục các vấn đề về quá trình thu thập dữ liệu, lập chỉ mục các trang và tìm hiểu cách tối ưu hoá trang web trên Google Tìm kiếm.

Một vài lưu ý trước khi bắt đầu

Trước khi đi sâu vào cách thức hoạt động của Tìm kiếm, bạn cần lưu ý rằng Google không nhận tiền để thu thập dữ liệu thường xuyên hơn hay tăng thứ hạng cao hơn cho trang web. Nếu ai đó nói khác thì họ đã nhầm.

Google không đảm bảo sẽ thu thập dữ liệu, lập chỉ mục hoặc phân phát trang của bạn, ngay cả khi trang của bạn tuân thủ Yêu cầu cơ bản của Google Tìm kiếm.

Google Tìm kiếm hoạt động theo ba giai đoạn và không phải tất cả các trang đều vượt qua được mỗi giai đoạn:

  1. Thu thập dữ liệu: Google dùng các chương trình tự động gọi là trình thu thập dữ liệu để tải văn bản, hình ảnh và video trên các trang mà chúng tôi tìm thấy trên Internet.
  2. Lập chỉ mục: Google phân tích các tệp văn bản, hình ảnh và video trên trang rồi lưu trữ thông tin trong chỉ mục của Google, một cơ sở dữ liệu lớn.
  3. Phân phát kết quả tìm kiếm: Khi người dùng tìm kiếm trên Google, Google sẽ trả về thông tin liên quan đến cụm từ mà người dùng tìm kiếm.

Thu thập dữ liệu

Giai đoạn đầu tiên là tìm những trang tồn tại trên web. Do không tồn tại một danh mục trung tâm về mọi trang web, Google phải liên tục tìm những trang mới và mới cập nhập, rồi thêm những trang đó vào danh sách các trang đã biết. Quá trình này gọi là "Phát hiện URL". Google biết đến một số trang vì chúng tôi từng truy cập những trang đó. Google tìm thấy các trang khác khi đi theo đường liên kết từ một trang đã biết đến một trang mới, ví dụ: một trang trung tâm (chẳng hạn như trang danh mục), đường liên kết đến một bài đăng mới trên blog. Ngoài ra, chúng tôi cũng phát hiện một số trang khác khi bạn gửi danh sách các trang (sơ đồ trang web) để Google thu thập dữ liệu.

Khi phát hiện ra URL của một trang, Google có thể truy cập (hoặc "thu thập dữ liệu") trang đó để tìm hiểu nội dung trên trang. Chúng tôi sử dụng một số lượng lớn máy tính để thu thập dữ liệu hàng tỷ trang trên web. Chương trình thực hiện việc tìm nạp của chúng tôi được gọi là Googlebot (còn gọi là robot, bot, spider hay trình thu thập dữ liệu) Googlebot sử dụng một quy trình dựa trên thuật toán để xác định những trang web cần thu thập dữ liệu, tần suất thu thập và số trang cần tìm nạp trên từng trang web. Trình thu thập dữ liệu của Google cũng được lập trình để cố gắng không thu thập dữ liệu quá nhanh trên trang web để tránh làm quá tải trang web. Cơ chế này dựa trên phản hồi của trang web (ví dụ: lỗi HTTP 500 tức là "chậm lại") và chế độ cài đặt trong Search Console.

Tuy nhiên, Googlebot không thu thập dữ liệu tất cả các trang mà Googlebot phát hiện được. Một số trang có thể không được chủ sở hữu trang web cho phép thu thập dữ liệu, một số trang khác có thể không truy cập được nếu không đăng nhập vào trang web.

Trong quá trình thu thập dữ liệu, Google kết xuất trang và chạy mọi JavaScript tìm được bằng cách sử dụng một phiên bản Chrome mới, tương tự như cách trình duyệt của bạn kết xuất các trang mà bạn truy cập. Quá trình kết xuất đóng vai trò quan trọng vì các trang web thường dựa vào JavaScript để đưa nội dung vào trang. Nếu trang chưa kết xuất nội dung thì có thể Google sẽ không thấy nội dung đó.

Khả năng thu thập dữ liệu phụ thuộc vào việc trình thu thập dữ liệu của Google có truy cập được trang web hay không. Một số vấn đề thường gặp khi Googlebot truy cập các trang web bao gồm:

Lập chỉ mục

Sau khi thu thập dữ liệu trên một trang, Google sẽ cố gắng tìm hiểu nội dung của trang đó. Giai đoạn này gọi là lập chỉ mục và bao gồm cả hoạt động xử lý và phân tích nội dung văn bản cũng như thẻ và thuộc tính chính của nội dung, chẳng hạn như phần tử <title> và thuộc tính alt, hình ảnh, video, v.v.

Trong quá trình lập chỉ mục, Google xác định xem một trang có phải là trang trùng lặp của một trang khác trên Internet hay trang chính tắc không. Trang chính tắc là trang có thể xuất hiện trong kết quả tìm kiếm. Để chọn trang chính tắc, trước tiên, chúng tôi sẽ nhóm các trang có nội dung tương tự với nhau (còn gọi là hoạt động phân cụm) trên Internet. Sau đó, chúng tôi sẽ chọn trang tiêu biểu nhất trong nhóm đó. Các trang khác trong nhóm là các phiên bản thay thế có thể được phân phát trong những trường hợp cụ thể, như khi người dùng đang tìm kiếm trên thiết bị di động hoặc đang tìm một trang rất cụ thể trong nhóm đó.

Google cũng thu thập các tín hiệu về trang chính tắc và nội dung của trang đó (có thể dùng trong giai đoạn tiếp theo) để phân phát trang trong kết quả tìm kiếm. Có một số tín hiệu bao gồm cả ngôn ngữ của trang, quốc gia bản địa của nội dung, khả năng hữu dụng của trang, v.v.

Thông tin được thu thập về trang chính tắc và cụm của trang đó có thể được lưu trữ trong chỉ mục của Google, một cơ sở dữ liệu lớn được lưu trữ trên hàng nghìn máy tính. Google không đảm bảo hoạt động lập chỉ mục; không phải mọi trang mà Google xử lý đều sẽ được lập chỉ mục.

Hoạt động lập chỉ mục cũng phụ thuộc vào nội dung và siêu dữ liệu của trang. Một số vấn đề thường gặp khi lập chỉ mục có thể bao gồm:

Phân phát kết quả tìm kiếm

Khi người dùng nhập một cụm từ tìm kiếm, công cụ tìm kiếm của chúng tôi sẽ tìm kiếm các trang thích hợp trong chỉ mục và trả về kết quả mà chúng tôi cho là có chất lượng cao nhất và phù hợp nhất với cụm từ tìm kiếm của họ. Mức độ phù hợp được xác định dựa trên hàng trăm yếu tố, có thể bao gồm cả thông tin về vị trí, ngôn ngữ và thiết bị của người dùng (máy tính hoặc điện thoại). Ví dụ: khi tìm kiếm cùng một cụm từ là "cửa hàng sửa xe đạp", người dùng ở Paris và người dùng ở Hong Kong sẽ nhận được những kết quả khác nhau.

Search Console có thể cho bạn biết rằng một trang đã được lập chỉ mục nhưng bạn lại không thấy trang đó trên kết quả tìm kiếm. Điều này có thể là do:

Hướng dẫn này giải thích cách thức hoạt động của Tìm kiếm, nhưng chúng tôi luôn không ngừng nỗ lực cải thiện thuật toán của mình. Bạn có thể theo dõi những thay đổi này bằng cách theo dõi blog của Trung tâm Google Tìm kiếm.