คิวการจัดทำดัชนีของ Google Cloud Search

เครื่องมือเชื่อมต่อ SDK และ Google Cloud Search API ช่วยให้คุณสร้างคิวการจัดทำดัชนีของ Cloud Search ที่ใช้เพื่อทำงานต่อไปนี้

• รักษาสถานะต่อเอกสาร (สถานะ ค่าแฮช และอื่นๆ) ซึ่งสามารถใช้เพื่อซิงค์ดัชนีกับที่เก็บข้อมูล

• ดูแลรักษารายการที่จะจัดทำดัชนีตามที่ค้นพบระหว่างกระบวนการท่องเว็บ

• จัดลําดับความสําคัญของรายการในคิวตามสถานะของรายการ

• เก็บข้อมูลสถานะเพิ่มเติมเพื่อให้การผสานรวมมีประสิทธิภาพ เช่น จุดตรวจสอบ เปลี่ยนโทเค็น และอื่นๆ

คิวคือป้ายกำกับที่กำหนดให้กับรายการที่จัดทําดัชนี เช่น "default" สําหรับคิวเริ่มต้น หรือ "B" สําหรับคิว B

สถานะและลําดับความสําคัญ

ลำดับความสำคัญของเอกสารในคิวจะอิงตามโค้ด ItemStatus รหัสที่เป็นไปได้เรียงตามลําดับความสําคัญ (จัดการก่อนจัดการทีหลัง) มีดังนี้ ItemStatus

• ERROR - รายการพบข้อผิดพลาดแบบไม่พร้อมกันระหว่างกระบวนการจัดทำดัชนีและต้องได้รับการจัดทำดัชนีอีกครั้ง

• MODIFIED - รายการที่ได้รับการจัดทําดัชนีก่อนหน้านี้และได้รับการแก้ไขในที่เก็บตั้งแต่การจัดทําดัชนีครั้งล่าสุด

• NEW_ITEM - รายการที่ยังไม่ได้จัดทำดัชนี

• ACCEPTED - เอกสารที่ได้รับการจัดทําดัชนีก่อนหน้านี้และไม่มีการเปลี่ยนแปลงในที่เก็บตั้งแต่การจัดทําดัชนีครั้งล่าสุด

เมื่อรายการ 2 รายการในคิวมีสถานะเดียวกัน ระบบจะให้ลำดับความสำคัญสูงกว่ากับรายการที่อยู่ในคิวนานที่สุด

ภาพรวมของการใช้คิวการจัดทําดัชนีเพื่อจัดทําดัชนีรายการใหม่หรือรายการที่มีการเปลี่ยนแปลง

รูปที่ 1 แสดงขั้นตอนการจัดทำดัชนีรายการใหม่หรือรายการที่มีการเปลี่ยนแปลงโดยใช้คิวการจัดทําดัชนี ขั้นตอนเหล่านี้แสดงการเรียก REST API สำหรับการเรียก SDK ที่เทียบเท่า โปรดดูการดำเนินการคิว (SDK เครื่องมือเชื่อมต่อ)

รูปที่ 1 ขั้นตอนการจัดทำดัชนีเพื่อเพิ่มหรืออัปเดตรายการ

1. ตัวเชื่อมต่อเนื้อหาใช้ items.push เพื่อส่งรายการ (ข้อมูลเมตาและแฮช) ไปยังคิวการจัดทําดัชนีเพื่อสร้างสถานะของรายการ (MODIFIED, NEW_ITEM, DELETED) โดยเฉพาะอย่างยิ่ง

   • เมื่อมีการพุช ตัวเชื่อมต่อจะมีพุชอย่างชัดเจน type หรือ contentHash
   • หากเครื่องมือเชื่อมต่อไม่มี type อยู่ด้วย Cloud Search จะใช้ contentHash โดยอัตโนมัติเพื่อระบุสถานะของรายการ
   • หากระบบไม่รู้จักรายการ ระบบจะตั้งค่าสถานะรายการเป็น NEW_ITEM
   • หากรายการมีอยู่แล้วและค่าแฮชตรงกัน ระบบจะเก็บสถานะเป็น ACCEPTED
   • หากรายการมีอยู่แล้วและแฮชแตกต่างกัน สถานะจะเปลี่ยนเป็น MODIFIED

   ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีสร้างสถานะของรายการได้ที่โค้ดตัวอย่างการเรียกดูที่เก็บ GitHub ในบทแนะนำการเริ่มต้นใช้งาน Cloud Search

   โดยปกติแล้ว การพุชจะเชื่อมโยงกับกระบวนการเรียกดูเนื้อหาและ/หรือการตรวจหาการเปลี่ยนแปลงในคอนเน็กเตอร์

2. ตัวเชื่อมต่อเนื้อหาใช้ items.poll เพื่อสำรวจคิวเพื่อระบุรายการที่จะจัดทำดัชนี Cloud Search จะบอกให้ตัวเชื่อมต่อทราบว่ารายการใดจำเป็นต้องได้รับการจัดทำดัชนีมากที่สุด โดยจัดเรียงตามรหัสสถานะก่อน แล้วจัดเรียงตามเวลาที่อยู่ในคิว

3. เครื่องมือเชื่อมต่อจะดึงข้อมูลรายการเหล่านี้จากที่เก็บและสร้างคำขอ API ของดัชนี

4. เครื่องมือเชื่อมต่อใช้ items.index เพื่อจัดทำดัชนีรายการ รายการจะเข้าสู่สถานะ ACCEPTED หลังจากที่ Cloud Search ประมวลผลรายการดังกล่าวเสร็จสมบูรณ์เท่านั้น

นอกจากนี้ ตัวเชื่อมต่อยังลบรายการได้หากไม่มีอยู่ในที่เก็บ หรือพุชรายการอีกครั้งหากไม่มีการแก้ไขหรือมีข้อผิดพลาดเกี่ยวกับที่เก็บข้อมูลต้นทาง ดูข้อมูลเกี่ยวกับการลบรายการได้ที่ส่วนถัดไป

หมายเหตุ: กลยุทธ์การเรียกดูบางรายการ เช่น การเรียกดูทั้งหมด ใช้คิวการจัดทําดัชนีมากกว่า 1 คิว ดูตัวอย่างวิธีใช้คิว 2 คิวได้ที่ส่วนถัดไป

ภาพรวมของการใช้คิวการจัดทําดัชนีเพื่อลบรายการ

กลยุทธ์การเรียกดูทั้งหมดใช้กระบวนการ 2 คิวในการจัดทำดัชนีรายการและตรวจหาการลบ รูปที่ 2 แสดงขั้นตอนในการลบรายการโดยใช้คิวการจัดทำดัชนี 2 คิว กล่าวโดยละเอียดคือ รูปที่ 2 แสดงการเรียกใช้การท่องเว็บครั้งที่ 2 โดยใช้กลยุทธ์การท่องเว็บทั้งหมด ขั้นตอนเหล่านี้ใช้การเรียก REST API สำหรับการเรียก SDK ที่เทียบเท่า โปรดดูการดำเนินการตามคิว (SDK เครื่องมือเชื่อมต่อ)

รูปที่ 2 การลบรายการ

หมายเหตุ: ในรายการขั้นตอนต่อไปนี้ ขั้นตอนที่ 1-4 จะไม่แสดงในรูปที่ 2 เนื่องจากขั้นตอนเหล่านี้เหมือนกับขั้นตอนที่ 1-4 ในแผนภาพก่อนหน้าและไม่ได้อยู่ในขอบเขตของส่วนนี้ ขั้นตอนที่ 5 ไม่แสดงเนื่องจากการเรียกใช้ deleteQueueItems ในคิวว่างไม่อยู่ในขอบเขตของส่วนนี้ แผนภาพนี้มุ่งเน้นไปที่การเรียกดูครั้งที่ 2

1. ในการเรียกดูครั้งแรก ตัวเชื่อมต่อเนื้อหาจะใช้ items.push เพื่อส่งรายการ (ข้อมูลเมตาและแฮช) ไปยังคิวการจัดทําดัชนี "คิว ก" ดังNEW_ITEM เนื่องจากรายการดังกล่าวไม่มีอยู่ในคิว แต่ละรายการจะได้รับป้ายกำกับ "A" สำหรับ "คิว A" ระบบจะจัดทำดัชนีเนื้อหาใน Cloud Search

   หมายเหตุ: เครื่องมือเชื่อมต่อสามารถกำหนดป้ายกำกับคิวโดยใช้ช่อง queue ของรายการให้กับรายการในระหว่างการดำเนินการ item.push หรือ item.index คุณแก้ไขป้ายกำกับนี้ได้ทุกครั้งที่ระบบพุชหรือจัดทำดัชนีรายการอีกครั้ง

2. เครื่องมือเชื่อมต่อเนื้อหาจะใช้ items.poll เพื่อดำเนินการกับคิว A เพื่อกำหนดรายการที่จะจัดทำดัชนี Cloud Search จะบอกให้ตัวเชื่อมต่อทราบว่ารายการใดจำเป็นต้องได้รับการจัดทำดัชนีมากที่สุด โดยจัดเรียงตามรหัสสถานะก่อน แล้วจัดเรียงตามเวลาที่อยู่ในคิว

3. เครื่องมือเชื่อมต่อจะดึงข้อมูลรายการเหล่านี้จากที่เก็บและสร้างคำขอ API ของดัชนี

4. เครื่องมือเชื่อมต่อจะใช้ items.index เพื่อจัดทำดัชนีรายการ รายการจะเข้าสู่สถานะ ACCEPTED หลังจากที่ Cloud Search ประมวลผลรายการดังกล่าวเสร็จสมบูรณ์เท่านั้น

5. ระบบเรียกใช้เมธอด deleteQueueItems ใน "คิว ข." แต่ยังไม่มีการส่งรายการไปยังคิว ข. จึงลบรายการไม่ได้

6. ในการข้ามผ่านแบบเต็มรายการที่สอง เครื่องมือเชื่อมต่อเนื้อหาจะใช้ items.push เพื่อพุชรายการ (ข้อมูลเมตาและแฮช) ไปยังคิว B

   • เมื่อมีการพุช ตัวเชื่อมต่อจะมีtype หรือ contentHash อย่างชัดเจน
   • หากเครื่องมือเชื่อมต่อไม่มี type อยู่ด้วย Cloud Search จะใช้ contentHash โดยอัตโนมัติเพื่อระบุสถานะของรายการ
   • หากไม่รู้จักรายการ ระบบจะตั้งค่าสถานะรายการเป็น NEW_ITEM และเปลี่ยนป้ายกำกับคิวเป็น "ข."
   • หากรายการมีอยู่แล้วและค่าแฮชตรงกัน ระบบจะคงสถานะเป็น ACCEPTED และเปลี่ยนป้ายกำกับคิวเป็น "ข."
   • หากรายการมีอยู่แล้วและแฮชแตกต่างกัน สถานะจะเปลี่ยนเป็น MODIFIED และเปลี่ยนป้ายกำกับคิวเป็น "ข."

7. ตัวเชื่อมต่อเนื้อหาใช้ items.poll เพื่อสำรวจคิวเพื่อระบุรายการที่จะจัดทำดัชนี Cloud Search จะบอกเครื่องมือเชื่อมต่อว่ารายการใดจำเป็นต้องจัดทำดัชนีมากที่สุด โดยจัดเรียงตามรหัสสถานะก่อน แล้วจึงจัดเรียงตามเวลาในการเข้าคิว

8. เครื่องมือเชื่อมต่อจะดึงข้อมูลรายการเหล่านี้จากที่เก็บและสร้างคำขอ API ของดัชนี

9. เครื่องมือเชื่อมต่อจะใช้ items.index เพื่อจัดทำดัชนีรายการ รายการจะเข้าสู่สถานะ ACCEPTED หลังจากที่ Cloud Search ประมวลผลรายการเสร็จเรียบร้อยแล้วเท่านั้น

10. สุดท้าย ระบบจะเรียกใช้ deleteQueueItems ในคิว A เพื่อลบรายการ CCloud Search ทั้งหมดที่จัดทําดัชนีไว้ก่อนหน้านี้ซึ่งยังคงมีป้ายกํากับคิว "A"

11. เมื่อทำการสแกนทั้งหมดครั้งถัดไป ระบบจะสลับคิวที่ใช้สำหรับการจัดทําดัชนีกับคิวที่ใช้สําหรับการลบ

การดำเนินการกับคิว (Connector SDK)

Content Connector SDK มีการดำเนินการสำหรับส่งรายการไปยังและดึงรายการออกจากคิว

หากต้องการแพ็กและพุชรายการไปยังคิว ให้ใช้คลาสpushItems บิลเดอร์

คุณไม่จำเป็นต้องดำเนินการใดๆ เป็นพิเศษเพื่อดึงรายการออกจากคิวเพื่อประมวลผล แต่ SDK จะดึงรายการจากคิวโดยอัตโนมัติโดยเรียงตามลำดับความสำคัญโดยใช้เมธอดของคลาสที่เก็บ getDoc

การดำเนินการกับคิว (REST API)

REST API มี 2 วิธีในการส่งรายการไปยังและดึงรายการออกจากคิว ดังนี้

• หากต้องการส่งรายการไปยังคิว ให้ใช้ Items.push
• หากต้องการสำรวจรายการในคิว ให้ใช้ Items.poll

นอกจากนี้ คุณยังใช้ Items.index เพื่อพุชรายการไปยังคิวระหว่างการจัดทำดัชนีได้ด้วย รายการที่ส่งไปยังคิวระหว่างการจัดทําดัชนีไม่จําเป็นต้องระบุtype และระบบจะกําหนดสถานะเป็นACCEPTEDโดยอัตโนมัติ

Items.push

เมธอด Items.push จะเพิ่มรหัสลงในคิว เรียกใช้เมธอดนี้ได้โดยใช้ค่า type ที่เฉพาะเจาะจง ซึ่งจะเป็นตัวกำหนดผลลัพธ์ของการดำเนินการ Push ดูรายการค่า type ได้ที่ช่อง item.type ในเมธอด Items.push

การพุชรหัสใหม่จะเพิ่มรายการใหม่ที่มีรหัส NEW_ITEM ItemStatus

ระบบจะจัดเก็บเพย์โหลดที่ไม่บังคับไว้เสมอ โดยถือว่าเป็นค่าแบบทึบแสงและแสดงผลจาก Items.poll

เมื่อมีการสำรวจรายการ ระบบจะจองรายการนั้นไว้ ซึ่งหมายความว่าการเรียกใช้Items.pollอีกครั้งจะแสดงรายการนั้นไม่ได้ การใช้ Items.push กับ type เป็น NOT_MODIFIED, REPOSITORY_ERROR หรือ REQUEUE แบบไม่จอง รายการแบบสำรวจ ดูข้อมูลเพิ่มเติมเกี่ยวกับรายการที่สงวนไว้และไม่ได้สงวนไว้ได้ในส่วน Items.poll

Items.push ที่มีแฮช

Google Cloud Search API รองรับการระบุข้อมูลเมตาและค่าแฮชของเนื้อหาในคำขอ Items.index คุณสามารถระบุข้อมูลเมตาและ/หรือค่าแฮชของเนื้อหาด้วยคําขอ Push แทนการระบุ type คิวการจัดทําดัชนีของ Cloud Search จะเปรียบเทียบค่าแฮชที่ระบุกับค่าที่จัดเก็บไว้ซึ่งมีอยู่ในรายการในแหล่งข้อมูล หากไม่ตรงกัน ระบบจะทำเครื่องหมายรายการนั้นเป็น MODIFIED หากไม่มีรายการที่เกี่ยวข้องในดัชนี สถานะจะเป็น NEW_ITEM

หมายเหตุ: ระบบจะไม่บันทึกค่าแฮชที่ระบุพร้อมกับคำขอ Items.push ไว้กับรายการ ระบบจะใช้รายการเหล่านี้เพื่อระบุว่ามีการแก้ไขรายการหรือไม่

Items.poll

เมธอด Items.poll จะดึงข้อมูลรายการที่มีลําดับความสําคัญสูงสุดออกจากคิว ค่าสถานะที่ขอและที่แสดงจะระบุสถานะของคิวที่มีลําดับความสําคัญที่ขอหรือสถานะของรหัสที่แสดง

โดยค่าเริ่มต้น ระบบอาจแสดงรายการจากส่วนใดก็ได้ของคิว โดยอิงตามลําดับความสําคัญ ระบบจะสงวนรายการที่แสดงผลแต่ละรายการไว้ และจะไม่แสดงผลโดยคำเรียกอื่นๆ ไปยัง Items.poll จนกว่าจะเป็นไปตามเงื่อนไขข้อใดข้อหนึ่งต่อไปนี้

• การจองหมดเวลา
• Items.index จัดคิวรายการอีกครั้ง
• Items.push เรียกใช้ด้วยค่า type NOT_MODIFIED, REPOSITORY_ERROR หรือ REQUEUE