Triển khai trình bổ trợ Norconex HTTP Collector Indexer

Cảnh báo: Các trình kết nối tham chiếu của Cloud Search được cung cấp "nguyên trạng" dưới dạng mã mẫu để sử dụng khi tạo trình kết nối đang hoạt động của riêng bạn. Mã mẫu này đòi hỏi phải tuỳ chỉnh và thử nghiệm đáng kể trước khi được sử dụng trong môi trường proof-of-Concept (Khái niệm) hoặc môi trường thực tế (production). Để sử dụng sản xuất, chúng tôi khuyên bạn nên nhận trợ giúp từ một trong các đối tác Cloud Search của chúng tôi. Để được trợ giúp thêm về cách tìm một đối tác Cloud Search phù hợp, hãy liên hệ với Người quản lý tài khoản của Google.

Hướng dẫn này dành cho quản trị viên trình bổ trợ trình lập chỉ mục Norconex HTTP Collector của Google Cloud Search, tức là bất kỳ ai chịu trách nhiệm tải xuống, triển khai, định cấu hình và duy trì trình bổ trợ trình lập chỉ mục. Hướng dẫn này giả định rằng bạn đã quen thuộc với các hệ điều hành Linux, các khái niệm cơ bản về việc thu thập dữ liệu trên web, XML và Norconex HTTP Collector.

Hướng dẫn này đưa ra hướng dẫn cách thực hiện các tác vụ chính liên quan đến việc triển khai trình bổ trợ trình lập chỉ mục:

• Tải xuống phần mềm trình bổ trợ trình lập chỉ mục
• Định cấu hình Google Cloud Search
• Định cấu hình Trình thu thập HTTP Norconex và hoạt động thu thập dữ liệu trên web
• Bắt đầu thu thập thông tin trang web và tải nội dung lên

Thông tin về những việc mà quản trị viên Google Workspace phải thực hiện để ánh xạ Google Cloud Search với trình bổ trợ trình lập chỉ mục Norconex HTTP Collector không xuất hiện trong hướng dẫn này. Để biết thông tin về các công việc đó, hãy xem bài viết Quản lý nguồn dữ liệu của bên thứ ba.

Tổng quan về trình bổ trợ trình lập chỉ mục Norconex HTTP Collector của Cloud Search

Theo mặc định, Cloud Search có thể khám phá, lập chỉ mục và phân phát nội dung từ các sản phẩm của Google Workspace, chẳng hạn như Google Tài liệu và Gmail. Bạn có thể mở rộng phạm vi tiếp cận của Google Cloud Search để phân phát nội dung web đến người dùng bằng cách triển khai trình bổ trợ trình lập chỉ mục cho Norconex HTTP Collector (một trình thu thập dữ liệu web nguồn mở dành cho doanh nghiệp).

Tệp thuộc tính cấu hình

Để trình bổ trợ trình bổ trợ lập chỉ mục có thể thu thập dữ liệu trên web và tải nội dung lên API lập chỉ mục, bạn, trong vai trò quản trị viên của trình bổ trợ trình lập chỉ mục, hãy cung cấp thông tin cụ thể trong các bước định cấu hình được mô tả trong tài liệu này ở phần Các bước triển khai.

Để sử dụng trình bổ trợ trình lập chỉ mục, bạn phải đặt các thuộc tính trong 2 tệp cấu hình:

• {gcs-crawl-config.xml}-- chứa các chế độ cài đặt cho Norconex HTTP Collector.
• sdk-configuration.properties-- chứa chế độ cài đặt dành cho Google Cloud Search.

Các thuộc tính trong mỗi tệp cho phép trình bổ trợ công cụ lập chỉ mục Google Cloud Search và Norconex HTTP Collector giao tiếp với nhau.

Thu thập thông tin trên web và tải nội dung lên

Sau khi điền các tệp cấu hình, bạn có các chế độ cài đặt cần thiết để bắt đầu thu thập thông tin trên web. Norconex HTTP Collector thu thập dữ liệu web, khám phá nội dung tài liệu liên quan đến cấu hình và tải phiên bản nhị phân (hoặc văn bản) gốc của nội dung tài liệu lên Cloud Search API để lập chỉ mục và cuối cùng phân phát nội dung cho người dùng của bạn.

Hệ điều hành được hỗ trợ

Bạn phải cài đặt trình bổ trợ trình lập chỉ mục Norconex HTTP Collector của Google Cloud Search trên Linux.

Phiên bản Norconex HTTP Collector được hỗ trợ

Trình bổ trợ trình lập chỉ mục Norconex HTTP Collector của Google Cloud Search hỗ trợ phiên bản 2.8.0.

Hỗ trợ ACL

Trình bổ trợ trình lập chỉ mục hỗ trợ việc kiểm soát quyền truy cập vào tài liệu trong miền Google Workspace bằng cách sử dụng Danh sách kiểm soát quyền truy cập (ACL).

Nếu các ACL mặc định được bật trong cấu hình trình bổ trợ Google Cloud Search (defaultAcl.mode được đặt thành none và được định cấu hình bằng defaultAcl.*), thì trước tiên, trình bổ trợ trình lập chỉ mục sẽ cố gắng tạo và áp dụng một ACL mặc định.

Nếu các ACL mặc định không được bật, trình bổ trợ sẽ quay lại cấp quyền đọc cho toàn bộ miền Google Workspace.

Để biết nội dung mô tả chi tiết về các tham số cấu hình ACL, hãy xem Tham số trình kết nối do Google cung cấp.

Điều kiện tiên quyết

Trước khi triển khai trình bổ trợ trình lập chỉ mục, hãy đảm bảo rằng bạn có các thành phần bắt buộc sau đây:

• Java JRE 1.8 được cài đặt trên một máy tính chạy trình bổ trợ trình lập chỉ mục

• Thông tin trên Google Workspace cần thiết để thiết lập mối quan hệ giữa Cloud Search và Norconex HTTP Collector:

  • Khoá riêng tư của Google Workspace (chứa mã tài khoản dịch vụ)
  • Mã nguồn dữ liệu trên Google Workspace

  Thông thường, quản trị viên Google Workspace của miền có thể cung cấp các thông tin đăng nhập này cho bạn.

Các bước triển khai

Để triển khai trình bổ trợ trình lập chỉ mục, hãy làm theo các bước sau:

1. Cài đặt Norconex HTTP Collector và phần mềm trình bổ trợ cho trình lập chỉ mục
2. Định cấu hình Google Cloud Search
3. Định cấu hình Trình thu thập HTTP Norconex
4. Định cấu hình tính năng thu thập thông tin trên web
5. Bắt đầu thu thập dữ liệu trên web và tải nội dung lên

Bước 1: Cài đặt Norconex HTTP Collector và phần mềm trình bổ trợ trình lập chỉ mục

1. Tải phần mềm cam kết Norconex xuống từ trang này.
2. Giải nén phần mềm đã tải xuống vào thư mục ~/norconex/
3. Sao chép trình bổ trợ xác thực từ GitHub. git clone https://github.com/google-cloudsearch/norconex-committer-plugin.git, sau đó là cd norconex-committer-plugin
4. Hãy xem phiên bản trình bổ trợ xác nhận mong muốn và tạo tệp ZIP: git checkout tags/v1-0.0.3 và mvn package (Để bỏ qua các bài kiểm thử khi tạo trình kết nối, hãy sử dụng mvn package -DskipTests.)
5. cd target
6. Sao chép tệp jar của trình bổ trợ đã tạo vào thư mục Noconex lib. cp google-cloudsearch-norconex-committer-plugin-v1-0.0.3.jar ~/norconex/norconex-collector-http-{version}/lib
7. Giải nén tệp ZIP bạn vừa tạo rồi giải nén tệp: unzip google-cloudsearch-norconex-committer-plugin-v1-0.0.3.zip
8. Thực thi tập lệnh cài đặt để sao chép .jar của trình bổ trợ và tất cả các thư viện bắt buộc vào thư mục của trình thu thập http:
   1. Thay đổi đối với trình bổ trợ trình cam kết đã trích xuất được giải nén ở trên: cd google-cloudsearch-norconex-committer-plugin-v1-0.0.3
   2. Thực thi $ sh install.sh và cung cấp đường dẫn đầy đủ đến norconex/norconex-collector-http-{version}/lib làm thư mục mục tiêu khi được nhắc.
   3. Nếu tìm thấy các tệp jar trùng lặp, hãy chọn tuỳ chọn 1 (Chỉ sao chép nguồn Jar nếu mới có phiên bản lớn hơn hoặc giống với phiên bản Jar mục tiêu sau khi đổi tên Jar mục tiêu).

Bước 2: Định cấu hình Google Cloud Search

Để trình bổ trợ trình lập chỉ mục kết nối với Norconex HTTP Collector và lập chỉ mục nội dung có liên quan, bạn phải tạo tệp cấu hình Cloud Search trong thư mục Norconex nơi cài đặt Norconex HTTP Collector. Bạn nên đặt tên cho tệp cấu hình Cloud Search là sdk-configuration.properties.

Tệp cấu hình này phải chứa các cặp khoá/giá trị xác định một thông số. Tệp cấu hình phải chỉ định ít nhất các tham số cần thiết sau đây để truy cập vào nguồn dữ liệu Cloud Search.

Xem xét	Thông số
Mã nguồn dữ liệu	api.sourceId = 1234567890abcdef Bắt buộc. Mã nguồn Cloud Search do quản trị viên Google Workspace thiết lập.
Tài khoản dịch vụ	api.serviceAccountPrivateKeyFile = ./PrivateKey.json Bắt buộc. Tệp khoá tài khoản dịch vụ Cloud Search do quản trị viên Google Workspace tạo để hỗ trợ tiếp cận của trình bổ trợ trình lập chỉ mục.

Ví dụ sau đây cho thấy một tệp sdk-configuration.properties.

#
# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json
#

Tệp cấu hình cũng có thể chứa các tham số cấu hình do Google cung cấp. Các tham số này có thể ảnh hưởng đến cách trình bổ trợ này đẩy dữ liệu vào Google Cloud Search API. Ví dụ: tập hợp tham số batch.* xác định cách trình kết nối kết hợp các yêu cầu.

Nếu bạn không xác định tham số trong tệp cấu hình, hệ thống sẽ sử dụng giá trị mặc định (nếu có). Để biết nội dung mô tả chi tiết về từng thông số, hãy xem các thông số của trình kết nối do Google cung cấp.

Bạn có thể định cấu hình trình bổ trợ trình lập chỉ mục để điền siêu dữ liệu và dữ liệu có cấu trúc cho nội dung đang được lập chỉ mục. Bạn có thể trích xuất các giá trị điền sẵn cho trường siêu dữ liệu và trường dữ liệu có cấu trúc từ thẻ meta trong nội dung HTML đang được lập chỉ mục hoặc có thể chỉ định giá trị mặc định trong tệp cấu hình.

Chế độ cài đặt	Tham số
Tiêu đề	itemMetadata.title.field=movieTitle itemMetadata.title.defaultValue=Gone with the Wind Theo mặc định, trình bổ trợ này sử dụng HTML title làm tiêu đề của tài liệu đang được lập chỉ mục. Trong trường hợp thiếu tiêu đề, bạn có thể tham chiếu đến thuộc tính siêu dữ liệu có chứa giá trị tương ứng với tiêu đề tài liệu hoặc đặt một giá trị mặc định.
Dấu thời gian đã tạo	itemMetadata.createTime.field=releaseDate itemMetadata.createTime.defaultValue=1940-01-17 Thuộc tính siêu dữ liệu chứa giá trị của dấu thời gian tạo tài liệu.
Lần sửa cuối	itemMetadata.updateTime.field=releaseDate itemMetadata.updateTime.defaultValue=1940-01-17 Thuộc tính siêu dữ liệu chứa giá trị của dấu thời gian sửa đổi gần đây nhất đối với tài liệu.
Ngôn ngữ tài liệu	itemMetadata.contentLanguage.field=languageCode itemMetadata.contentLanguage.defaultValue=en-US Ngôn ngữ của nội dung của các tài liệu được lập chỉ mục.
Loại đối tượng giản đồ	itemMetadata.objectType=movie Loại đối tượng mà trang web sử dụng, như xác định trong phần định nghĩa đối tượng giản đồ nguồn dữ liệu. Trình kết nối sẽ không lập chỉ mục bất kỳ dữ liệu có cấu trúc nào nếu bạn không chỉ định thuộc tính này. Lưu ý: Thuộc tính cấu hình này trỏ đến một giá trị thay vì thuộc tính siêu dữ liệu, đồng thời các hậu tố .field và .defaultValue cũng không được hỗ trợ.

Định dạng ngày giờ

Định dạng ngày giờ chỉ định các định dạng dự kiến có trong các thuộc tính siêu dữ liệu. Nếu tệp cấu hình không chứa tham số này, thì giá trị mặc định sẽ được sử dụng. Bảng sau đây trình bày thông số này.

Chế độ cài đặt

Tham số

Mẫu ngày giờ bổ sung

structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX

Danh sách được phân tách bằng dấu chấm phẩy gồm các mẫu java.time.format.DateTimeFormatter bổ sung. Các mẫu này được dùng khi phân tích cú pháp giá trị chuỗi cho bất kỳ trường ngày hoặc giờ nào trong siêu dữ liệu hoặc giản đồ. Giá trị mặc định là một danh sách trống, nhưng các định dạng RFC 3339 và RFC 1123 luôn được hỗ trợ.

Bước 3: Định cấu hình Trình thu thập HTTP Norconex

Tệp lưu trữ zip norconex-committer-google-cloud-search-{version}.zip bao gồm tệp cấu hình mẫu là minimum-config.xml.

Google khuyên bạn nên bắt đầu định cấu hình bằng cách sao chép tệp mẫu:

1. Thay đổi sang thư mục Norconex HTTP Collector:
   $ cd ~/norconex/norconex-collector-http-{version}/
2. Sao chép tệp cấu hình:
   $ cp examples/minimum/minimum-config.xml gcs-crawl-config.xml
3. Chỉnh sửa tệp mới tạo (trong ví dụ này là gcs-crawl-config.xml) cũng như thêm hoặc thay thế các nút <committer> và <tagger> hiện có như mô tả trong bảng sau.

Xem xét	Thông số
<committer> node	<committer class="com.norconex.committer.googlecloudsearch. GoogleCloudSearchCommitter"> Bắt buộc. Để bật trình bổ trợ, bạn phải thêm nút <committer> làm nút con của nút <httpcollector> gốc.
<UploadFormat>	<uploadFormat>raw</uploadFormat> Không bắt buộc. Định dạng mà trình bổ trợ trình lập chỉ mục đẩy nội dung tài liệu sang API trình lập chỉ mục của Google Cloud Search. Các giá trị hợp lệ là: raw: trình bổ trợ lập chỉ mục đẩy nội dung tài liệu gốc, chưa chuyển đổi. text: trình bổ trợ lập chỉ mục đẩy nội dung văn bản được trích xuất. Giá trị mặc định là raw.
BinaryContent Tagger <tagger> node	<tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/> Bắt buộc nếu giá trị của <UploadFormat> là raw. Trong trường hợp này, trình bổ trợ trình lập chỉ mục cần có trường nội dung nhị phân của tài liệu. Bạn phải thêm nút BinaryContentTagger <tagger> làm phần tử con của nút <importer> / <preParseHandlers>.

Ví dụ sau cho thấy cách sửa đổi bắt buộc đối với gcs-crawl-config.xml.

<committer class="com.norconex.committer.googlecloudsearch.GoogleCloudSearchCommitter">
    <configFilePath>/full/path/to/gcs-sdk-config.properties</configFilePath>
    
    <uploadFormat>raw</uploadFormat>
</committer>
<importer>
  <preParseHandlers>
    <tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>
  </preParseHandlers>
</importer>

Bước 4: Định cấu hình tính năng thu thập thông tin web

Trước khi bắt đầu thu thập dữ liệu trên web, bạn phải định cấu hình để quá trình thu thập dữ liệu chỉ bao gồm thông tin mà tổ chức của bạn muốn cung cấp trong kết quả tìm kiếm. Các chế độ cài đặt quan trọng nhất cho hoạt động thu thập dữ liệu trên web là một phần của(các) nút <crawler> và có thể bao gồm:

• URL bắt đầu
• Độ sâu tối đa của trình thu thập thông tin
• Số lượng luồng

Thay đổi các giá trị cấu hình này theo nhu cầu của bạn. Để biết thêm thông tin chi tiết về cách thiết lập tính năng thu thập dữ liệu web, cũng như danh sách đầy đủ các thông số cấu hình có sẵn, hãy xem trang Cấu hình của Trình thu thập HTTP.

Bước 5: Bắt đầu thu thập thông tin trang web và tải nội dung lên

Sau khi cài đặt và thiết lập trình bổ trợ trình lập chỉ mục, bạn có thể chạy trình bổ trợ đó ở chế độ cục bộ.

Ví dụ sau giả định các thành phần bắt buộc nằm trong thư mục cục bộ trên hệ thống Linux. Chạy lệnh sau:

$ ./collector-http[.bat|.sh] -a start -c gcs-crawl-config.xml

Giám sát trình thu thập thông tin bằng JEF Monitor

Trình theo dõi Norconex JEF (Khung thực thi công việc) là một công cụ đồ hoạ để theo dõi tiến trình của các quy trình và công việc của Trình thu thập dữ liệu web Norconex (Bộ thu thập HTTP). Để xem hướng dẫn đầy đủ về cách thiết lập tiện ích này, hãy truy cập vào phần Theo dõi tiến trình của trình thu thập thông tin bằng Trình theo dõi JEF.