สร้างเครื่องมือเชื่อมต่อเนื้อหา

โปรแกรมเชื่อมต่อเนื้อหาคือโปรแกรมซอฟต์แวร์ที่สำรวจข้อมูลในที่เก็บข้อมูลขององค์กรและสร้างแหล่งข้อมูล Google มี ตัวเลือกต่อไปนี้สำหรับการพัฒนาเครื่องมือเชื่อมต่อเนื้อหา

  • SDK ของ Content Connector ตัวเลือกนี้เหมาะสำหรับโปรแกรมเมอร์ Java SDK เป็น Wrapper รอบ REST API ที่ช่วยให้คุณสร้างเครื่องมือเชื่อมต่อได้อย่างรวดเร็ว หากต้องการสร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ SDK โปรดดูสร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ Content Connector SDK

  • REST API หรือไลบรารี API ระดับต่ำ ใช้ตัวเลือกเหล่านี้หากคุณไม่ได้ใช้ Java หรือหากฐานของโค้ดของคุณรองรับ REST API หรือไลบรารีได้ดีกว่า หากต้องการ สร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ REST API โปรดดูที่ สร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ REST API

โดยทั่วไปแล้ว โปรแกรมเชื่อมต่อเนื้อหาจะทำงานต่อไปนี้

  1. อ่านและประมวลผลพารามิเตอร์การกำหนดค่า
  2. ดึงข้อมูลที่จัดทำดัชนีได้ซึ่งแบ่งเป็นส่วนๆ ที่เรียกว่า "รายการ" จากที่เก็บของบุคคลที่สาม
  3. รวม ACL, ข้อมูลเมตา และข้อมูลเนื้อหาไว้ในรายการที่จัดทำดัชนีได้
  4. จัดทำดัชนีรายการไปยังแหล่งข้อมูล Cloud Search
  5. (ไม่บังคับ) ฟังการแจ้งเตือนการเปลี่ยนแปลงจากที่เก็บ การแจ้งเตือนการเปลี่ยนแปลงจะเปลี่ยนเป็นคำขอจัดทำดัชนีเพื่อให้แหล่งข้อมูล Cloud Search ซิงค์อยู่เสมอ ตัวเชื่อมต่อจะดำเนินการ งานนี้เฉพาะในกรณีที่ที่เก็บรองรับการตรวจหาการเปลี่ยนแปลง

สร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ Content Connector SDK

ส่วนต่อไปนี้จะอธิบายวิธีสร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ Content Connector SDK

ตั้งค่าทรัพยากร Dependency

รวมทรัพยากร Dependency เหล่านี้ไว้ในไฟล์บิลด์

Maven

xml <dependency> <groupId>com.google.enterprise.cloudsearch</groupId> <artifactId>google-cloudsearch-indexing-connector-sdk</artifactId> <version>v1-0.0.3</version> </dependency>

Gradle

groovy compile group: 'com.google.enterprise.cloudsearch', name: 'google-cloudsearch-indexing-connector-sdk', version: 'v1-0.0.3'

สร้างการกำหนดค่าเครื่องมือเชื่อมต่อ

ตัวเชื่อมต่อทุกตัวใช้ไฟล์การกำหนดค่าสำหรับพารามิเตอร์ต่างๆ เช่น รหัสที่เก็บ กำหนดพารามิเตอร์เป็นคู่คีย์-ค่า เช่น api.sourceId=1234567890abcdef

Google Cloud Search SDK มีพารามิเตอร์ที่ Google จัดหาให้สำหรับเครื่องมือเชื่อมต่อทั้งหมด คุณต้องประกาศสิ่งต่อไปนี้ในไฟล์การกำหนดค่า

  • โปรแกรมเชื่อมต่อเนื้อหา: ประกาศ api.sourceId และ api.serviceAccountPrivateKeyFile ซึ่งจะระบุที่เก็บและ คีย์ส่วนตัวที่จำเป็นสำหรับการเข้าถึง
  • โปรแกรมเชื่อมต่อข้อมูลประจำตัว: ประกาศ api.identitySourceId เพื่อระบุแหล่งที่มาของข้อมูลประจำตัวภายนอก สำหรับการซิงค์ผู้ใช้ ให้ประกาศ api.customerId (รหัสที่ไม่ซ้ำสำหรับบัญชี Google Workspace) ด้วย

ประกาศพารามิเตอร์อื่นๆ ที่ Google จัดหาให้เพื่อลบล้างค่าเริ่มต้นเท่านั้น โปรดดูรายละเอียดเกี่ยวกับการสร้างรหัสและคีย์ที่ พารามิเตอร์ที่ Google จัดหาให้

นอกจากนี้ คุณยังกำหนดพารามิเตอร์เฉพาะที่เก็บได้ในไฟล์การกำหนดค่า

ส่งไฟล์การกำหนดค่าไปยังตัวเชื่อมต่อ

ตั้งค่าconfigพร็อพเพอร์ตี้ของระบบเพื่อส่งไฟล์การกำหนดค่า ใช้-D อาร์กิวเมนต์เมื่อเริ่มตัวเชื่อมต่อ เช่น

java -classpath myconnector.jar -Dconfig=MyConfig.properties MyConnector

หากไม่ระบุอาร์กิวเมนต์นี้ SDK จะพยายามใช้ไฟล์ชื่อ connector-config.properties ในไดเรกทอรีภายใน

กำหนดกลยุทธ์การไปยังส่วนต่างๆ

หน้าที่หลักของโปรแกรมเชื่อมต่อเนื้อหาคือการข้ามผ่านที่เก็บและจัดทำดัชนีข้อมูล คุณต้องใช้กลยุทธ์ตามขนาดและเลย์เอาต์ของที่เก็บ คุณออกแบบเองหรือเลือกกลยุทธ์จาก SDK ก็ได้

กลยุทธ์การสำรวจแบบเต็ม
สแกนทั้งที่เก็บและจัดทำดัชนีทุกรายการ กลยุทธ์นี้เหมาะที่สุดสำหรับ ที่เก็บขนาดเล็กซึ่งคุณสามารถรับภาระค่าใช้จ่ายในการสำรวจแบบเต็มได้ในระหว่าง การจัดทำดัชนีแต่ละครั้ง ใช้สำหรับที่เก็บข้อมูลขนาดเล็กที่มีข้อมูลส่วนใหญ่เป็นแบบคงที่ แบบไม่เป็นลำดับชั้น หรือเมื่อตรวจหาการเปลี่ยนแปลงได้ยาก
กลยุทธ์การข้ามรายการ
สแกนที่เก็บทั้งหมดเพื่อกำหนดสถานะของแต่ละรายการ จากนั้น จะจัดทำดัชนีเฉพาะรายการใหม่หรือรายการที่อัปเดต ใช้พารามิเตอร์นี้สำหรับการอัปเดตแบบเพิ่มทีละรายการในดัชนีขนาดใหญ่แบบไม่เป็นลำดับชั้นเมื่อไม่รองรับการตรวจหาการเปลี่ยนแปลง
การสำรวจกราฟ
สแกนโหนดหลักเพื่อกำหนดสถานะของรายการในโหนดนั้น จากนั้นจึงจัดทำดัชนีรายการใหม่หรือ อัปเดตในโหนดนั้น จากนั้นจะประมวลผลโหนดย่อยแบบเรียกซ้ำ ใช้ คำสั่งนี้สำหรับที่เก็บข้อมูลแบบลำดับชั้นซึ่งการแสดงรหัสทั้งหมดไม่สะดวก เช่น โครงสร้างไดเรกทอรีหรือเว็บไซต์

SDK จะใช้กลยุทธ์เหล่านี้ในคลาสเครื่องมือเชื่อมต่อเทมเพลต เทมเพลตเหล่านี้จะช่วยเร่งการพัฒนาได้ หากต้องการใช้เทมเพลต โปรดดูส่วนที่เกี่ยวข้อง

สร้างตัวเชื่อมต่อการส่งผ่านทั้งหมดโดยใช้คลาสเทมเพลต

ส่วนนี้อ้างอิงถึงโค้ดจาก FullTraversalSample

ใช้จุดแรกเข้าของเครื่องมือเชื่อมต่อ

จุดแรกเข้าคือเมธอด main() โดยจะสร้างอินสแตนซ์ Application และเรียกใช้ start() เพื่อเรียกใช้ตัวเชื่อมต่อ

ก่อนเรียกใช้ application.start() ให้ใช้คลาส IndexingApplication.Builder เพื่อสร้างอินสแตนซ์ของเทมเพลต FullTraversalConnector เทมเพลตนี้ยอมรับออบเจ็กต์ Repository

FullTraversalSample.java
/**
 * This sample connector uses the Cloud Search SDK template class for a full
 * traversal connector.
 *
 * @param args program command line arguments
 * @throws InterruptedException thrown if an abort is issued during initialization
 */
public static void main(String[] args) throws InterruptedException {
  Repository repository = new SampleRepository();
  IndexingConnector connector = new FullTraversalConnector(repository);
  IndexingApplication application = new IndexingApplication.Builder(connector, args).build();
  application.start();
}

SDK จะเรียกใช้ initConfig() หลังจากที่เมธอด main() เรียกใช้ Application.build() initConfig() วิธี

  1. ตรวจสอบว่า Configuration ยังไม่ได้เริ่มต้น
  2. เริ่มต้นออบเจ็กต์ Configuration ด้วยคู่คีย์-ค่าที่ Google จัดหาให้

ใช้การติดตั้งใช้งานอินเทอร์เฟซที่เก็บ

ออบเจ็กต์ Repository จะสำรวจและจัดทำดัชนีรายการที่เก็บ เมื่อใช้เทมเพลต คุณจะต้องลบล้างเมธอดบางอย่างในอินเทอร์เฟซ Repository เท่านั้น สำหรับ FullTraversalConnector ให้ลบล้างดังนี้

  • init(): สำหรับการตั้งค่าและการเริ่มต้นที่เก็บ
  • getAllDocs(): เพื่อไปยังและจัดทำดัชนีรายการทั้งหมด โดยจะเรียกใช้ 1 ครั้งสำหรับการข้ามแต่ละครั้งที่กำหนดเวลาไว้
  • (ไม่บังคับ) getChanges(): หากที่เก็บรองรับการตรวจหาการเปลี่ยนแปลง ให้ลบล้างการตั้งค่านี้เพื่อเรียกและ จัดทำดัชนีรายการที่แก้ไข
  • (ไม่บังคับ) close(): สำหรับการล้างข้อมูลที่เก็บระหว่างการปิดระบบ

แต่ละเมธอดจะแสดงผลออบเจ็กต์ ApiOperation ซึ่งทำการจัดทำดัชนีโดยใช้ IndexingService.indexItem()

รับพารามิเตอร์การกำหนดค่าที่กำหนดเอง

หากต้องการจัดการการกำหนดค่าของตัวเชื่อมต่อ คุณต้องดึงพารามิเตอร์ที่กำหนดเองจากออบเจ็กต์ Configuration ดำเนินการนี้ในเมธอด Repository ของคลาส init()

Configuration คลาสมีเมธอดในการดึงข้อมูลประเภทต่างๆ แต่ละเมธอดจะแสดงผลออบเจ็กต์ ConfigValue ใช้เมธอด get() ของออบเจ็กต์ ConfigValue เพื่อดึงค่า ข้อมูลโค้ดนี้จาก FullTraversalSample แสดงวิธีดึงค่าจำนวนเต็มที่กำหนดเอง

FullTraversalSample.java
@Override
public void init(RepositoryContext context) {
  log.info("Initializing repository");
  numberOfDocuments = Configuration.getInteger("sample.documentCount", 10).get();
}

หากต้องการดึงและแยกวิเคราะห์พารามิเตอร์ที่มีหลายค่า ให้ใช้เครื่องมือแยกวิเคราะห์ประเภทของคลาส Configuration ข้อมูลโค้ดนี้จากตัวเชื่อมต่อบทแนะนำ ใช้ getMultiValue เพื่อดึงรายการชื่อที่เก็บ GitHub

GithubRepository.java
ConfigValue<List<String>> repos = Configuration.getMultiValue(
    "github.repos",
    Collections.emptyList(),
    Configuration.STRING_PARSER);

ทำการสำรวจแบบเต็ม

แทนที่ getAllDocs() เพื่อทำการสำรวจแบบเต็ม เมธอดนี้ยอมรับ จุดตรวจสอบเพื่อดำเนินการจัดทำดัชนีต่อหากถูกขัดจังหวะ สำหรับแต่ละรายการ

  1. ตั้งค่าสิทธิ์
  2. ตั้งค่าข้อมูลเมตา
  3. รวมเป็นRepositoryDoc
  4. จัดแพ็กเกจแต่ละรายการลงในตัววนซ้ำที่ getAllDocs() ส่งคืน

หากชุดรายการมีขนาดใหญ่เกินกว่าจะเรียกใช้ได้ในการเรียกครั้งเดียว ให้ใช้จุดตรวจสอบและเรียกใช้ hasMore(true)

ตั้งค่าสิทธิ์สำหรับรายการ

ที่เก็บใช้รายการควบคุมการเข้าถึง (ACL) เพื่อระบุผู้ใช้หรือกลุ่มที่มี สิทธิ์เข้าถึงรายการ ACL จะแสดงรายการรหัสของผู้ใช้หรือกลุ่มที่ได้รับอนุญาต

หากต้องการให้ผู้ใช้เห็นเฉพาะผลการค้นหาที่ได้รับอนุญาตให้เข้าถึง คุณต้องทำซ้ำ ACL ของที่เก็บ รวม ACL เมื่อจัดทำดัชนีรายการเพื่อให้ Google Cloud Search ระดับการเข้าถึงที่ถูกต้องได้

Content Connector SDK มีคลาสและเมธอดในการสร้างรูปแบบ ACL ของ ที่เก็บข้อมูลส่วนใหญ่ วิเคราะห์ ACL ของที่เก็บและสร้าง ACL ที่เกี่ยวข้อง สำหรับ Cloud Search ในระหว่างการจัดทำดัชนี การสร้าง ACL ที่ซับซ้อน เช่น ACL ที่ใช้การรับค่า ต้องมีการวางแผนอย่างรอบคอบ ดูข้อมูลเพิ่มเติมได้ที่ ACL ของ Cloud Search

ใช้คลาส Acl.Builder เพื่อตั้งค่าการเข้าถึง ข้อมูลโค้ดนี้จากตัวอย่างการข้ามผ่านแบบเต็มช่วยให้ผู้ใช้โดเมนทั้งหมด (getCustomerPrincipal()) อ่านรายการทั้งหมด (setReaders()) ได้

FullTraversalSample.java
// Make the document publicly readable within the domain
Acl acl = new Acl.Builder()
    .setReaders(Collections.singletonList(Acl.getCustomerPrincipal()))
    .build();

การสร้าง ACL ของที่เก็บอย่างเหมาะสม โดยเฉพาะอย่างยิ่ง ACL ที่ใช้โมเดลการรับค่า ต้องใช้ข้อมูลใน ACL ของ Cloud Search

ตั้งค่าข้อมูลเมตาสำหรับรายการ

ระบบจะจัดเก็บข้อมูลเมตาไว้ในออบเจ็กต์ Item หากต้องการสร้าง Item คุณต้องมี ID, ประเภทรายการ, ACL, URL และเวอร์ชันที่ไม่ซ้ำกัน ใช้คลาสตัวช่วย IndexingItemBuilder

FullTraversalSample.java
// Url is required. Use google.com as a placeholder for this sample.
String viewUrl = "https://www.google.com";

// Version is required, set to current timestamp.
byte[] version = Longs.toByteArray(System.currentTimeMillis());

// Using the SDK item builder class to create the document with appropriate attributes
// (this can be expanded to include metadata fields etc.)
Item item = IndexingItemBuilder.fromConfiguration(Integer.toString(id))
    .setItemType(IndexingItemBuilder.ItemType.CONTENT_ITEM)
    .setAcl(acl)
    .setSourceRepositoryUrl(IndexingItemBuilder.FieldOrValue.withValue(viewUrl))
    .setVersion(version)
    .build();
สร้างรายการที่จัดทำดัชนีได้

ใช้ RepositoryDoc.Builder ชั้นเรียน

FullTraversalSample.java
// For this sample, content is just plain text
String content = String.format("Hello world from sample doc %d", id);
ByteArrayContent byteContent = ByteArrayContent.fromString("text/plain", content);

// Create the fully formed document
RepositoryDoc doc = new RepositoryDoc.Builder()
    .setItem(item)
    .setContent(byteContent, IndexingService.ContentFormat.TEXT)
    .build();

RepositoryDoc คือ ApiOperation ที่ดำเนินการคำขอ IndexingService.indexItem()

ใช้เมธอด setRequestMode() ของคลาส RepositoryDoc.Builder เพื่อตั้งค่าคำขอจัดทำดัชนีเป็น ASYNCHRONOUS หรือ SYNCHRONOUS ดังนี้

ASYNCHRONOUS
โหมดนี้มีเวลาในการตอบสนองตั้งแต่การจัดทำดัชนีจนถึงการแสดงผลนานกว่า แต่รองรับโควต้าอัตราการส่งข้อมูลที่มากกว่า ใช้โหมดอะซิงโครนัสสำหรับการจัดทำดัชนีเริ่มต้น (การทดแทนข้อมูล) ของที่เก็บทั้งหมด
SYNCHRONOUS
โหมดนี้มีเวลาในการตอบสนองจากการจัดทำดัชนีจนถึงการแสดงโฆษณาสั้นกว่า แต่มีโควต้าปริมาณงานน้อยกว่า ใช้โหมดพร้อมกันสำหรับการอัปเดตและการเปลี่ยนแปลงที่เก็บข้อมูลการจัดทำดัชนี โหมดคำขอ จะเป็น SYNCHRONOUS โดยค่าเริ่มต้น หากไม่ได้ระบุไว้
แพ็กเกจแต่ละรายการที่จัดทำดัชนีได้ในตัววนซ้ำ

เมธอด getAllDocs() จะแสดงผล CheckpointCloseableIterable ของออบเจ็กต์ RepositoryDoc ใช้ CheckpointCloseableIterableImpl.Builder ชั้นเรียน

FullTraversalSample.java
CheckpointCloseableIterable<ApiOperation> iterator =
  new CheckpointCloseableIterableImpl.Builder<>(allDocs).build();

ขั้นตอนถัดไป

สร้างตัวเชื่อมต่อการข้ามรายการโดยใช้คลาสเทมเพลต

คิวการจัดทำดัชนีของ Cloud Search จะเก็บรหัสและแฮชที่ไม่บังคับสำหรับ รายการในที่เก็บ เครื่องมือเชื่อมต่อการข้ามรายการจะพุชรหัสไปยังคิวนี้และ ดึงข้อมูลเหล่านั้นเพื่อจัดทำดัชนี Cloud Search จะดูแลคิวเหล่านี้ เพื่อกำหนดสถานะของรายการ เช่น การลบ ดู คิวการจัดทำดัชนีของ Cloud Search

ส่วนนี้อ้างอิงถึง ListTraversalSample

ใช้จุดแรกเข้าของเครื่องมือเชื่อมต่อ

เมธอด main() จะสร้างอินสแตนซ์ Application และเรียกใช้ start() ใช้ IndexingApplication.Builder เพื่อสร้างอินสแตนซ์ของ ListingConnector เทมเพลต

ListTraversalSample.java
/**
 * This sample connector uses the Cloud Search SDK template class for a
 * list traversal connector.
 *
 * @param args program command line arguments
 * @throws InterruptedException thrown if an abort is issued during initialization
 */
public static void main(String[] args) throws InterruptedException {
  Repository repository = new SampleRepository();
  IndexingConnector connector = new ListingConnector(repository);
  IndexingApplication application = new IndexingApplication.Builder(connector, args).build();
  application.start();
}

ใช้การติดตั้งใช้งานอินเทอร์เฟซที่เก็บ

ลบล้างเมธอดต่อไปนี้สำหรับ ListingConnector

  • init(): สำหรับการตั้งค่าที่เก็บ
  • getIds(): หากต้องการดึงรหัสและแฮชสำหรับระเบียนทั้งหมด
  • getDoc(): หากต้องการเพิ่ม อัปเดต หรือลบรายการออกจากดัชนี
  • (ไม่บังคับ) getChanges(): สำหรับการอัปเดตแบบเพิ่มทีละรายการโดยใช้การตรวจหาการเปลี่ยนแปลง
  • (ไม่บังคับ) close(): สำหรับการล้างข้อมูลที่เก็บ

ดำเนินการตามรายการ

ลบล้าง getIds() เพื่อดึงข้อมูลรหัสและแฮช แทนที่ getDoc() เพื่อจัดการ แต่ละรายการในคิวการจัดทำดัชนีของ Cloud Search

ส่งรหัสสินค้าและค่าแฮช

แทนที่ getIds() เพื่อดึงข้อมูลรหัสและแฮชเนื้อหา จัดแพ็กเกจเป็นคำขอPushItems ไปยังคิวการจัดทำดัชนี

ListTraversalSample.java
PushItems.Builder allIds = new PushItems.Builder();
for (Map.Entry<Integer, Long> entry : this.documents.entrySet()) {
  String documentId = Integer.toString(entry.getKey());
  String hash = this.calculateMetadataHash(entry.getKey());
  PushItem item = new PushItem().setMetadataHash(hash);
  log.info("Pushing " + documentId);
  allIds.addPushItem(documentId, item);
}

ใช้ PushItems.Builder เพื่อจัดแพ็กเกจรหัสและแฮช

ListTraversalSample.java
ApiOperation pushOperation = allIds.build();
CheckpointCloseableIterable<ApiOperation> iterator =
  new CheckpointCloseableIterableImpl.Builder<>(
      Collections.singletonList(pushOperation))
  .build();
return iterator;
เรียกและจัดการแต่ละรายการ

ลบล้าง getDoc() เพื่อจัดการรายการในคิวการจัดทำดัชนี รายการอาจเป็นรายการใหม่ แก้ไขแล้ว ไม่มีการเปลี่ยนแปลง หรือถูกลบ

  1. ตรวจสอบว่ามีรหัสสินค้าในที่เก็บหรือไม่ หากไม่ถูกต้อง ให้ลบออก
  2. สำรวจดัชนีเพื่อดูสถานะ หากไม่มีการเปลี่ยนแปลง (ACCEPTED) ไม่ต้องดำเนินการใดๆ
  3. รายการที่มีการเปลี่ยนแปลงหรือรายการใหม่: ตั้งค่าสิทธิ์ ตั้งค่าข้อมูลเมตา รวมเป็น RepositoryDoc แล้วส่งคืน
จัดการรายการที่ถูกลบ

ข้อมูลโค้ดนี้แสดงวิธีตรวจสอบว่ามีรายการอยู่หรือไม่ และลบรายการหากไม่มี

ListTraversalSample.java
String resourceName = item.getName();
int documentId = Integer.parseInt(resourceName);

if (!documents.containsKey(documentId)) {
  // Document no longer exists -- delete it
  log.info(() -> String.format("Deleting document %s", item.getName()));
  return ApiOperations.deleteItem(resourceName);
}
จัดการรายการที่ไม่เปลี่ยนแปลง

สำรวจคิวการจัดทำดัชนีเพื่อจัดการรายการที่ไม่มีการเปลี่ยนแปลง

ListTraversalSample.java
String currentHash = this.calculateMetadataHash(documentId);
if (this.canSkipIndexing(item, currentHash)) {
  // Document neither modified nor deleted, ack the push
  log.info(() -> String.format("Document %s not modified", item.getName()));
  PushItem pushItem = new PushItem().setType("NOT_MODIFIED");
  return new PushItems.Builder().addPushItem(resourceName, pushItem).build();
}

ตัวอย่างนี้ใช้แฮชเพื่อตรวจหาการเปลี่ยนแปลง

ListTraversalSample.java
/**
 * Checks to see if an item is already up to date
 *
 * @param previousItem Polled item
 * @param currentHash  Metadata hash of the current github object
 * @return PushItem operation
 */
private boolean canSkipIndexing(Item previousItem, String currentHash) {
  if (previousItem.getStatus() == null || previousItem.getMetadata() == null) {
    return false;
  }
  String status = previousItem.getStatus().getCode();
  String previousHash = previousItem.getMetadata().getHash();
  return "ACCEPTED".equals(status)
      && previousHash != null
      && previousHash.equals(currentHash);
}
ตั้งค่าสิทธิ์สำหรับรายการ

ที่เก็บใช้รายการควบคุมการเข้าถึง (ACL) เพื่อระบุผู้ใช้หรือกลุ่มที่มี สิทธิ์เข้าถึงรายการ ACL จะแสดงรายการรหัสของผู้ใช้หรือกลุ่มที่ได้รับอนุญาต

หากต้องการให้ผู้ใช้เห็นเฉพาะผลการค้นหาที่ได้รับอนุญาตให้เข้าถึง คุณต้องทำซ้ำ ACL ของที่เก็บ รวม ACL เมื่อจัดทำดัชนีรายการเพื่อให้ Google Cloud Search ระดับการเข้าถึงที่ถูกต้องได้

Content Connector SDK มีคลาสและเมธอดในการสร้างรูปแบบ ACL ของ ที่เก็บข้อมูลส่วนใหญ่ วิเคราะห์ ACL ของที่เก็บและสร้าง ACL ที่เกี่ยวข้อง สำหรับ Cloud Search ในระหว่างการจัดทำดัชนี การสร้าง ACL ที่ซับซ้อน เช่น ACL ที่ใช้การรับค่า ต้องมีการวางแผนอย่างรอบคอบ ดูข้อมูลเพิ่มเติมได้ที่ ACL ของ Cloud Search

ใช้คลาส Acl.Builder เพื่อตั้งค่าการเข้าถึง ข้อมูลโค้ดนี้จากตัวอย่างการข้ามผ่านแบบเต็มช่วยให้ผู้ใช้โดเมนทั้งหมด (getCustomerPrincipal()) อ่านรายการทั้งหมด (setReaders()) ได้

FullTraversalSample.java
// Make the document publicly readable within the domain
Acl acl = new Acl.Builder()
    .setReaders(Collections.singletonList(Acl.getCustomerPrincipal()))
    .build();

การสร้าง ACL ของที่เก็บอย่างเหมาะสม โดยเฉพาะอย่างยิ่ง ACL ที่ใช้โมเดลการรับค่า ต้องใช้ข้อมูลใน ACL ของ Cloud Search

ตั้งค่าข้อมูลเมตาสำหรับรายการ
ListTraversalSample.java
// Url is required. Use google.com as a placeholder for this sample.
String viewUrl = "https://www.google.com";

// Version is required, set to current timestamp.
byte[] version = Longs.toByteArray(System.currentTimeMillis());

// Set metadata hash so queue can detect changes
String metadataHash = this.calculateMetadataHash(documentId);

// Using the SDK item builder class to create the document with
// appropriate attributes. This can be expanded to include metadata
// fields etc.
Item item = IndexingItemBuilder.fromConfiguration(Integer.toString(documentId))
    .setItemType(IndexingItemBuilder.ItemType.CONTENT_ITEM)
    .setAcl(acl)
    .setSourceRepositoryUrl(IndexingItemBuilder.FieldOrValue.withValue(viewUrl))
    .setVersion(version)
    .setHash(metadataHash)
    .build();
สร้างรายการที่จัดทำดัชนีได้
ListTraversalSample.java
// For this sample, content is just plain text
String content = String.format("Hello world from sample doc %d", documentId);
ByteArrayContent byteContent = ByteArrayContent.fromString("text/plain", content);

// Create the fully formed document
RepositoryDoc doc = new RepositoryDoc.Builder()
    .setItem(item)
    .setContent(byteContent, IndexingService.ContentFormat.TEXT)
    .build();

ใช้เมธอด setRequestMode() ของคลาส RepositoryDoc.Builder เพื่อตั้งค่าคำขอจัดทำดัชนีเป็น ASYNCHRONOUS หรือ SYNCHRONOUS ดังนี้

ASYNCHRONOUS
โหมดนี้มีเวลาในการตอบสนองตั้งแต่การจัดทำดัชนีจนถึงการแสดงผลนานกว่า แต่รองรับโควต้าอัตราการส่งข้อมูลที่มากกว่า ใช้โหมดอะซิงโครนัสสำหรับการจัดทำดัชนีเริ่มต้น (การทดแทนข้อมูล) ของที่เก็บทั้งหมด
SYNCHRONOUS
โหมดนี้มีเวลาในการตอบสนองจากการจัดทำดัชนีจนถึงการแสดงโฆษณาสั้นกว่า แต่มีโควต้าปริมาณงานน้อยกว่า ใช้โหมดพร้อมกันสำหรับการอัปเดตและการเปลี่ยนแปลงที่เก็บข้อมูลการจัดทำดัชนี โหมดคำขอ จะเป็น SYNCHRONOUS โดยค่าเริ่มต้น หากไม่ได้ระบุไว้

ขั้นตอนถัดไป

ขั้นตอนถัดไปที่คุณอาจดำเนินการมีดังนี้

สร้างเครื่องมือเชื่อมต่อการสำรวจกราฟโดยใช้คลาสเทมเพลต

คิวการจัดทำดัชนีของ Cloud Search จะเก็บรหัสและค่าแฮชที่ไม่บังคับ สำหรับแต่ละรายการในที่เก็บ เครื่องมือเชื่อมต่อการสำรวจกราฟจะพุชรหัสรายการไปยัง คิวการจัดทำดัชนีของ Google Cloud Search และเรียกข้อมูลทีละรายการเพื่อ จัดทำดัชนี Google Cloud Search จะดูแลคิวและเปรียบเทียบเนื้อหาในคิวเพื่อ พิจารณาสถานะของรายการ เช่น มีการลบรายการออกจาก ที่เก็บหรือไม่ ดูข้อมูลเพิ่มเติมเกี่ยวกับคิวการจัดทำดัชนีของ Cloud Search ได้ที่คิวการจัดทำดัชนีของ Google Cloud Search

ในระหว่างการจัดทำดัชนี ระบบจะดึงเนื้อหารายการจากที่เก็บข้อมูลและส่งรหัสรายการย่อยไปยังคิว ตัวเชื่อมต่อจะประมวลผลรหัสหลักและรหัสย่อยแบบเรียกซ้ำ จนกว่าจะจัดการรายการทั้งหมด

ใช้จุดแรกเข้าของตัวเชื่อมต่อ

จุดแรกเข้าของตัวเชื่อมต่อคือเมธอด main() วิธีนี้จะสร้างอินสแตนซ์ของคลาส Application และเรียกใช้เมธอด start() เพื่อเรียกใช้เครื่องมือเชื่อมต่อ

ก่อนโทร application.start() ให้ใช้คลาส IndexingApplication.Builder เพื่อสร้างอินสแตนซ์เทมเพลต ListingConnector ListingConnector ยอมรับออบเจ็กต์ Repository ที่คุณใช้เมธอด

ใช้การติดตั้งใช้งานอินเทอร์เฟซที่เก็บ

ลบล้าง init(), getIds(), getDoc() และอาจลบล้าง getChanges() หรือ close()

ดำเนินการกราฟ

แทนที่ getIds() เพื่อดึงข้อมูลรหัสเริ่มต้นและ getDoc() เพื่อจัดการรายการและ ส่งรหัสย่อยไปยังคิว

ส่งรหัสสินค้าและค่าแฮช
GraphTraversalSample.java
PushItems.Builder allIds = new PushItems.Builder();
PushItem item = new PushItem();
allIds.addPushItem("root", item);
เรียกและจัดการแต่ละรายการ
  1. ตรวจสอบว่ามีรหัสในที่เก็บหรือไม่ หากไม่ต้องการ ให้ลบรายการออก
  2. สำหรับรายการที่มีอยู่ ให้ตั้งค่าสิทธิ์และข้อมูลเมตา แล้วรวมเข้ากับ RepositoryDoc
  3. ส่งรหัสย่อยไปยังคิวการจัดทำดัชนี
  4. คืน RepositoryDoc
จัดการรายการที่ถูกลบ
GraphTraversalSample.java
String resourceName = item.getName();
if (documentExists(resourceName)) {
  return buildDocumentAndChildren(resourceName);
}
// Document doesn't exist, delete it
log.info(() -> String.format("Deleting document %s", resourceName));
return ApiOperations.deleteItem(resourceName);
ตั้งค่าข้อมูลเมตาและสร้างรายการ
GraphTraversalSample.java
// Url is required. Use google.com as a placeholder for this sample.
String viewUrl = "https://www.google.com";

// Version is required, set to current timestamp.
byte[] version = Longs.toByteArray(System.currentTimeMillis());

// Using the SDK item builder class to create the document with
// appropriate attributes. This can be expanded to include metadata
// fields etc.
Item item = IndexingItemBuilder.fromConfiguration(documentId)
    .setItemType(IndexingItemBuilder.ItemType.CONTENT_ITEM)
    .setAcl(acl)
    .setSourceRepositoryUrl(IndexingItemBuilder.FieldOrValue.withValue(viewUrl))
    .setVersion(version)
    .build();
GraphTraversalSample.java
// For this sample, content is just plain text
String content = String.format("Hello world from sample doc %s", documentId);
ByteArrayContent byteContent = ByteArrayContent.fromString("text/plain", content);

RepositoryDoc.Builder docBuilder = new RepositoryDoc.Builder()
    .setItem(item)
    .setContent(byteContent, IndexingService.ContentFormat.TEXT);
วางรหัสย่อยในคิวการจัดทำดัชนี
GraphTraversalSample.java
// Queue the child nodes to visit after indexing this document
Set<String> childIds = getChildItemNames(documentId);
for (String id : childIds) {
  log.info(() -> String.format("Pushing child node %s", id));
  PushItem pushItem = new PushItem();
  docBuilder.addChildId(id, pushItem);
}

RepositoryDoc doc = docBuilder.build();

สร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ REST API

ส่วนต่อไปนี้จะอธิบายวิธีสร้างโปรแกรมเชื่อมต่อเนื้อหาโดยใช้ REST API

กำหนดกลยุทธ์การไปยังส่วนต่างๆ

กลยุทธ์ (เต็ม รายการ และกราฟ) มีแนวคิดเหมือนกับ SDK ใช้กลยุทธ์ที่เลือกโดยใช้ REST API

ใช้กลยุทธ์การสำรวจและจัดทำดัชนีรายการ

ลงทะเบียนสคีมา แล้วป้อนข้อมูลดัชนีโดยใช้

  1. (ไม่บังคับ) items.upload สำหรับไฟล์ที่มีขนาดใหญ่กว่า 100 KiB
  2. (ไม่บังคับ) media.upload สำหรับไฟล์สื่อ

  3. items.index เพื่อจัดทำดัชนีรายการ

    ตัวอย่างคำขอการจัดทำดัชนี

    {
  "name": "datasource/<data_source_id>/items/titanic",
  "acl": {
    "readers": [
      {
        "gsuitePrincipal": {
          "gsuiteDomain": true
        }
      }
    ]
  },
  "metadata": {
    "title": "Titanic",
    "viewUrl": "http://www.imdb.com/title/tt2234155/",
    "objectType": "movie"
  },
  "structuredData": {
    "object": {
      "properties": [
        {
          "name": "movieTitle",
          "textValues": { "values": ["Titanic"] }
        }
      ]
    }
  },
  "content": {
    "inlineContent": "A seventeen-year-old aristocrat falls in love...",
    "contentFormat": "TEXT"
  },
  "version": "01",
  "itemType": "CONTENT_ITEM"
}

  4. (ไม่บังคับ) ใช้ items.get เพื่อยืนยันการจัดทำดัชนี

จัดการการเปลี่ยนแปลงที่เก็บ

จัดทำดัชนีที่เก็บข้อมูลทั้งหมดอีกครั้งเป็นระยะเพื่อให้จัดทำดัชนีได้อย่างสมบูรณ์ สำหรับการข้ามรายการหรือกราฟ ให้ใช้คิวการจัดทำดัชนีของ Google Cloud เพื่อติดตามการเปลี่ยนแปลงและจัดทำดัชนีเฉพาะสิ่งที่เปลี่ยนแปลง ใช้ items.push เพื่อเพิ่มรายการ ลงในคิว