Ten przewodnik jest przeznaczony dla administratorów wtyczki Google Cloud Search Norconex HTTP Collector, czyli wszystkich osób odpowiedzialnych za pobieranie, wdrażanie, konfigurowanie i obsługę wtyczki indeksującego. W przewodniku zakładamy, że znasz systemy operacyjne Linux, podstawy indeksowania stron internetowych, język XML i kolektor HTTP Norconex.
Ten przewodnik zawiera instrukcje wykonywania kluczowych zadań związanych z wdrażaniem wtyczki indeksującego:
- Pobierz oprogramowanie wtyczki indeksującej
- Konfigurowanie Google Cloud Search
- Konfigurowanie kolektora HTTP i indeksowania sieci Norconex
- Rozpoczynanie indeksowania internetu i przesyłanie treści
Informacje o czynnościach, które musi wykonać administrator Google Workspace, aby zmapować Google Cloud Search na wtyczkę indeksującą Norconex HTTP Collector, nie są widoczne w tym przewodniku. Informacje o tych zadaniach znajdziesz w artykule Zarządzanie zewnętrznymi źródłami danych.
Omówienie wtyczki indeksującego kolektor HTTP kolektora HTTP Cloud Search Norconex
Domyślnie Cloud Search może wykrywać, indeksować i udostępniać treści z usług Google Workspace, takich jak Dokumenty Google czy Gmail. Możesz rozszerzyć zasięg Google Cloud Search o wyświetlanie treści z internetu użytkownikom. W tym celu wdróż wtyczkę indeksującego Norconex HTTP Collector, czyli internetowego robota indeksującego typu open source dla przedsiębiorstw.
Pliki właściwości konfiguracji
Aby umożliwić wtyczce indeksującej przeprowadzanie indeksowania internetu i przesyłanie treści do interfejsu indeksowania interfejsu API, jako administrator wtyczki indeksującego podaj określone informacje podczas konfiguracji opisanych w tym dokumencie w sekcji Etapy wdrażania.
Aby użyć wtyczki indeksującej, musisz ustawić właściwości w 2 plikach konfiguracji:
{gcs-crawl-config.xml}
– zawiera ustawienia kolektora HTTP Norconex.sdk-configuration.properties
– zawiera ustawienia Google Cloud Search.
Właściwości w każdym pliku umożliwiają wtyczce indeksującego Google Cloud Search i kolektorowi HTTP Norconex komunikację ze sobą.
Indeksowanie internetu i przesyłanie treści
Po wprowadzeniu ustawień w plikach konfiguracji masz ustawienia niezbędne do rozpoczęcia indeksowania internetu. Norconex HTTP Collector indeksuje internet, wykrywa treści dokumentów związane z ich konfiguracją i przesyła oryginalne binarne (lub tekstowe) wersje treści dokumentu do interfejsu Cloud Search Indexing API, gdzie jest ona indeksowana, a następnie udostępniana użytkownikom.
Obsługiwany system operacyjny
Wtyczka Google Cloud Search Norconex HTTP Collector indeksującego musi być zainstalowana w systemie Linux.
Obsługiwana wersja kolektora HTTP Norconex
Wtyczka Google Cloud Search Norconex HTTP Collector zbierającego dane obsługuje wersję 2.8.0.
Obsługa list kontroli dostępu (ACL)
Wtyczka indeksująca umożliwia kontrolowanie dostępu do dokumentów w domenie Google Workspace przy użyciu list kontroli dostępu (ACL).
Jeśli domyślne listy kontroli dostępu są włączone w konfiguracji wtyczki Google Cloud Search (defaultAcl.mode
ma wartość inną niż none
i skonfigurowano za pomocą defaultAcl.*
), wtyczka indeksującego najpierw próbuje utworzyć i zastosować domyślną listę kontroli dostępu.
Jeśli domyślne listy kontroli dostępu nie są włączone, wtyczka przywraca uprawnienia do odczytu całej domenie Google Workspace.
Szczegółowe opisy parametrów konfiguracji listy kontroli dostępu (ACL) znajdziesz w artykule Parametry oprogramowania sprzęgającego dostarczone przez Google.
Wymagania wstępne
Zanim wdrożysz wtyczkę indeksującego, sprawdź, czy masz te wymagane komponenty:
- Środowisko Java JRE 1.8 zainstalowane na komputerze, na którym działa wtyczka indeksująca
Informacje o Google Workspace wymagane do nawiązania relacji między Cloud Search a kolektorem HTTP Norconex:
- Klucz prywatny Google Workspace (zawierający identyfikator konta usługi)
- Identyfikator źródła danych Google Workspace
Zwykle administrator Google Workspace w domenie może dostarczyć te dane logowania za Ciebie.
Etapy wdrażania
Aby wdrożyć wtyczkę indeksującą, wykonaj te czynności:
- Instalowanie oprogramowania Norconex HTTP Collector i wtyczki indeksującej
- Konfigurowanie Google Cloud Search
- Konfigurowanie kolektora HTTP Norconex
- Konfigurowanie indeksowania internetu
- Rozpoczynanie indeksowania internetu i przesyłanie treści
Krok 1. Zainstaluj oprogramowanie Norconex HTTP Collector i wtyczki indeksujące
- Pobierz oprogramowanie Norconex Commiter z tej strony.
- Rozpakuj pobrane oprogramowanie do folderu
~/norconex/
- Sklonuj wtyczkę zatwierdzającą z GitHuba.
git clone https://github.com/google-cloudsearch/norconex-committer-plugin.git
, a następniecd norconex-committer-plugin
- Sprawdź żądaną wersję wtyczki zatwierdzającego i skompiluj plik ZIP:
git checkout tags/v1-0.0.3
orazmvn package
(aby pominąć testy podczas tworzenia oprogramowania sprzęgającego, użyjmvn package -DskipTests
). cd target
- Skopiuj plik jar wbudowanej wtyczki do katalogu lib norconex.
cp google-cloudsearch-norconex-committer-plugin-v1-0.0.3.jar ~/norconex/norconex-collector-http-{version}/lib
- Rozpakuj właśnie utworzony plik ZIP, a następnie rozpakuj go:
unzip google-cloudsearch-norconex-committer-plugin-v1-0.0.3.zip
- Uruchom skrypt instalacyjny, aby skopiować plik .jar wtyczki i wszystkie wymagane biblioteki do katalogu kolektora HTTP:
- Zmień na wyodrębnioną wtyczkę zatwierdzającą, która została rozpakowana powyżej:
cd google-cloudsearch-norconex-committer-plugin-v1-0.0.3
- Wykonaj polecenie
$ sh install.sh
i gdy pojawi się prośba, podaj pełną ścieżkę donorconex/norconex-collector-http-{version}/lib
jako katalogu docelowego. - W przypadku znalezienia zduplikowanych plików jar wybierz opcję
1
(Kopiuj źródłowy plik Jar tylko wtedy, gdy jest w wersji wyższej lub takiej samej jak docelowy Jar po zmianie nazwy docelowego pliku Jar).
- Zmień na wyodrębnioną wtyczkę zatwierdzającą, która została rozpakowana powyżej:
Krok 2. Skonfiguruj Google Cloud Search
Aby wtyczka indeksującego mogła połączyć się z Norconex HTTP Collector i zindeksować odpowiednie treści, musisz utworzyć plik konfiguracji Cloud Search w katalogu Norconex, w którym zainstalowano kolektor HTTP Norconex. Google zaleca nazwę pliku konfiguracji Cloud Search sdk-configuration.properties
.
Ten plik konfiguracyjny musi zawierać pary klucz-wartość definiujące parametr. Plik konfiguracji musi określać co najmniej poniższe parametry, które są niezbędne do uzyskania dostępu do źródła danych Cloud Search.
Ustawienie | Parametr |
Identyfikator źródła danych | api.sourceId = 1234567890abcdef
Wymagane. Identyfikator źródła Cloud Search skonfigurowany przez administratora Google Workspace. |
Konto usługi | api.serviceAccountPrivateKeyFile = ./PrivateKey.json
Wymagane. Plik klucza konta usługi Cloud Search utworzony przez administratora Google Workspace na potrzeby ułatwień dostępu przez wtyczkę indeksującego. |
Poniższy przykład zawiera plik sdk-configuration.properties
.
#
# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json
#
Plik konfiguracji może też zawierać parametry konfiguracyjne dostarczone przez Google.
Te parametry mogą mieć wpływ na to, jak ta wtyczka przekazuje dane do interfejsu Google Cloud Search API. Na przykład zestaw parametrów batch.*
określa sposób, w jaki oprogramowanie sprzęgające łączy żądania.
Jeśli parametr nie zostanie zdefiniowany w pliku konfiguracji, zostanie użyta wartość domyślna, jeśli jest dostępna. Szczegółowy opis poszczególnych parametrów znajdziesz w artykule Parametry oprogramowania sprzęgającego dostarczone przez Google.
Wtyczka indeksująca możesz skonfigurować wypełnianie metadanych i uporządkowanych danych na potrzeby indeksowania treści. Wartości do wypełnienia pól metadanych i uporządkowanych danych można wyodrębnić z metatagów w indeksowanej treści HTML lub określić wartości domyślne w pliku konfiguracji.
Ustawienie | Parametr |
Tytuł | itemMetadata.title.field=movieTitle
itemMetadata.title.defaultValue=Gone with the Wind
Domyślnie wtyczka używa HTML title jako tytułu indeksowanego dokumentu. Jeśli brakuje tytułu, możesz skorzystać z atrybutu metadanych, który zawiera wartość odpowiadającą tytułowi dokumentu, lub ustawić wartość domyślną.
|
Sygnatura czasowa utworzenia | itemMetadata.createTime.field=releaseDate
itemMetadata.createTime.defaultValue=1940-01-17
Atrybut metadanych, który zawiera wartość sygnatury czasowej utworzenia dokumentu. |
Czas ostatniej modyfikacji | itemMetadata.updateTime.field=releaseDate
itemMetadata.updateTime.defaultValue=1940-01-17
Atrybut metadanych, który zawiera wartość sygnatury czasowej ostatniej modyfikacji dokumentu. |
Język dokumentów | itemMetadata.contentLanguage.field=languageCode
itemMetadata.contentLanguage.defaultValue=en-US
Język treści indeksowanych dokumentów. |
Typ obiektu schematu | itemMetadata.objectType=movie
Typ obiektu używany przez witrynę, zdefiniowany w definicjach obiektów schematu źródła danych. Jeśli ta właściwość nie zostanie określona, oprogramowanie sprzęgające nie zindeksuje żadnych uporządkowanych danych.
Uwaga: ta właściwość konfiguracji wskazuje wartość, a nie atrybut metadanych, a sufiksy |
Formaty daty i godziny
Formaty daty i godziny określają formaty, które powinny być stosowane w atrybutach metadanych. Jeśli plik konfiguracji nie zawiera tego parametru, używane są wartości domyślne. Ten parametr znajduje się w tabeli poniżej.
Ustawienie
Parametr
Dodatkowe wzorce daty i godziny
structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX
Rozdzielana średnikami lista dodatkowych wzorców java.time.format.DateTimeFormatter. Wzorce są używane podczas analizy wartości ciągów w dowolnych polach daty lub daty i godziny w metadanych lub schemacie. Wartość domyślna to pusta lista, ale formaty RFC 3339 i RFC 1123 są zawsze obsługiwane.
Krok 3. Skonfiguruj kolektor HTTP Norconex
Archiwum ZIP norconex-committer-google-cloud-search-{version}.zip
zawiera
przykładowy plik konfiguracji minimum-config.xml
.
Google zaleca rozpoczęcie konfiguracji od skopiowania przykładowego pliku:
- Przejdź do katalogu kolektora HTTP Norconex:
$ cd ~/norconex/norconex-collector-http-{version}/
- Skopiuj plik konfiguracji:
$ cp examples/minimum/minimum-config.xml gcs-crawl-config.xml
- Zmodyfikuj nowo utworzony plik (w tym przykładzie
gcs-crawl-config.xml
) i dodaj lub zastąp istniejące węzły<committer>
i<tagger>
zgodnie z opisem w poniższej tabeli.
Ustawienie | Parametr |
<committer> node
|
<committer class="com.norconex.committer.googlecloudsearch.
GoogleCloudSearchCommitter">
Wymagane. Aby włączyć wtyczkę, musisz dodać węzeł <committer> jako węzeł podrzędny węzła <httpcollector> .
|
<UploadFormat>
|
<uploadFormat>raw</uploadFormat>
Opcjonalne. Format, w którym wtyczka indeksującego przekazuje treść dokumentu do interfejsu API indeksującego Google Cloud Search. Prawidłowe wartości to:
Wartość domyślna to raw .
|
BinaryContent Tagger <tagger> node
|
<tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>
Wymagany, jeśli wartość <UploadFormat> to raw . W takim przypadku wtyczka indeksującego wymaga, aby w dokumencie było dostępne pole treści binarnej.
Węzeł BinaryContentTagger <tagger> musisz dodać jako element podrzędny węzła <importer> / <preParseHandlers> .
|
Oto przykład wymaganej zmiany gcs-crawl-config.xml
.
<committer class="com.norconex.committer.googlecloudsearch.GoogleCloudSearchCommitter">
<configFilePath>/full/path/to/gcs-sdk-config.properties</configFilePath>
<uploadFormat>raw</uploadFormat>
</committer>
<importer>
<preParseHandlers>
<tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>
</preParseHandlers>
</importer>
Krok 4. Skonfiguruj indeksowanie internetu
Zanim rozpoczniesz indeksowanie, musisz skonfigurować indeksowanie tak, aby obejmowało tylko informacje, które Twoja organizacja chce udostępnić w wynikach wyszukiwania. Najważniejsze ustawienia indeksowania internetu są częścią węzłów <crawler>
i mogą obejmować:
- Początkowe adresy URL
- Maksymalna głębokość indeksowania
- Liczba wątków
Zmień te wartości konfiguracji odpowiednio do swoich potrzeb. Bardziej szczegółowe informacje o konfigurowaniu indeksowania stron internetowych oraz pełna lista dostępnych parametrów konfiguracji znajdziesz na stronie Konfiguracja kolektora HTTP.
Krok 5. Rozpocznij indeksowanie witryny i prześlij treści
Po zainstalowaniu i skonfigurowaniu wtyczki indeksującego możesz ją uruchomić samoczynnie w trybie lokalnym.
W tym przykładzie zakładamy, że wymagane komponenty znajdują się w katalogu lokalnym systemu Linux. Uruchom to polecenie:
$ ./collector-http[.bat|.sh] -a start -c gcs-crawl-config.xml
Monitoruj robota za pomocą JEF Monitor
Monitor Norconex JEF (Job Execution Framework) to narzędzie graficzne do monitorowania postępów procesów i zadań programu Norconex Web Crawler (HTTP Collector). Pełny samouczek konfigurowania tego narzędzia znajdziesz w artykule Monitorowanie postępów robota za pomocą narzędzia JEF Monitor.