Cloud Search ट्यूटोरियल के इस पेज में डेटा को इंडेक्स करने के लिए, डेटा सोर्स और कॉन्टेंट कनेक्टर को सेट अप करने का तरीका बताया गया है. इस ट्यूटोरियल की शुरुआत से शुरू करने के लिए, Cloud Search शुरू करने का ट्यूटोरियल देखें
कनेक्टर बनाएं
अपनी वर्किंग डायरेक्ट्री को cloud-search-samples/end-to-end/connector
डायरेक्ट्री में बदलें और यह निर्देश चलाएं:
mvn package -DskipTests
निर्देश, कॉन्टेंट कनेक्टर बनाने के लिए ज़रूरी डिपेंडेंसी डाउनलोड करता है और कोड को कंपाइल करता है.
सेवा खाते के क्रेडेंशियल बनाएं
Cloud Search API को कॉल करने के लिए, कनेक्टर को सेवा खाते के क्रेडेंशियल की ज़रूरत होती है. क्रेडेंशियल बनाने के लिए:
- Google Cloud Console पर वापस जाएं.
- बाईं ओर मौजूद नेविगेशन में, क्रेडेंशियल पर क्लिक करें. "क्रेडेंशियल" पेज दिखेगा.
- + क्रेडेंशियल बनाएं ड्रॉप-डाउन सूची पर क्लिक करें और सेवा खाता चुनें. आपको "सेवा खाता बनाएं" पेज दिखेगा.
- सेवा खाते का नाम फ़ील्ड में, "ट्यूटोरियल" डालें.
- सेवा खाता आईडी की वैल्यू नोट करें (सेवा खाते के नाम के ठीक बाद). इस वैल्यू का इस्तेमाल बाद में किया जाता है.
- बनाएं पर क्लिक करें. आपको "सेवा खाते की अनुमतियां (ज़रूरी नहीं)" डायलॉग दिखेगा.
- जारी रखें पर क्लिक करें. आपको "उपयोगकर्ताओं को इस सेवा खाते का ऐक्सेस दें (ज़रूरी नहीं)" डायलॉग दिखेगा.
- हो गया पर क्लिक करें. "क्रेडेंशियल" स्क्रीन दिखेगी.
- सेवा खातों में जाकर, सेवा खाते के ईमेल पर क्लिक करें. "सेवा खाते की जानकारी" पेज के बारे में बताने वाला पेज.
- 'कुंजी' में, कुंजी जोड़ें की ड्रॉप-डाउन सूची पर क्लिक करें और नई कुंजी बनाएं चुनें. आपको "निजी पासकोड बनाएं" डायलॉग दिखेगा.
- बनाएं पर क्लिक करें.
- (ज़रूरी नहीं) अगर "क्या आपको Console.cloud.google.com पर डाउनलोड करने की अनुमति देनी है?” डायलॉग दिखता है, तो अनुमति दें पर क्लिक करें.
- आपके कंप्यूटर पर एक निजी कुंजी फ़ाइल सेव की गई है. डाउनलोड की गई फ़ाइल की जगह को नोट करें. इस फ़ाइल का इस्तेमाल कॉन्टेंट कनेक्टर को कॉन्फ़िगर करने के लिए किया जाता है, ताकि Google Cloud Search API को कॉल करते समय यह अपनी पहचान की पुष्टि कर सके.
तीसरे पक्ष से मिलने वाली सहायता शुरू करें
किसी दूसरे Cloud Search API को कॉल करने से पहले, आपको Google Cloud Search के लिए तीसरे पक्ष की सहायता शुरू करनी होगी.
Cloud Search के लिए, तीसरे पक्ष से मिलने वाली सहायता को शुरू करने के लिए:
आपके Cloud Search प्लैटफ़ॉर्म प्रोजेक्ट में, सेवा खाते के क्रेडेंशियल मौजूद हैं. हालांकि, तीसरे पक्ष से मदद पाने के लिए, आपको वेब ऐप्लिकेशन क्रेडेंशियल बनाने होंगे. वेब ऐप्लिकेशन क्रेडेंशियल बनाने के तरीके के बारे में निर्देशों के लिए, क्रेडेंशियल बनाएं देखें. यह चरण पूरा करने के बाद, आपके पास एक क्लाइंट आईडी और क्लाइंट सीक्रेट फ़ाइल होनी चाहिए.
ऐक्सेस टोकन पाने के लिए, Google के OAuth 2 प्लेग्राउंड का इस्तेमाल करें:
- सेटिंग पर क्लिक करें और उपयोगकर्ता के लिए, पुष्टि करने के अपने क्रेडेंशियल पर सही का निशान लगाएं.
- पहले चरण में क्लाइंट आईडी और क्लाइंट सीक्रेट डालें.
- बंद करें पर क्लिक करें.
- स्कोप फ़ील्ड में,
https://www.googleapis.com/auth/cloud_search.settings
टाइप करें और अनुमति दें पर क्लिक करें. OAuth 2 प्लेग्राउंड एक ऑथराइज़ेशन कोड दिखाता है. - टोकन के लिए ऑथराइज़ेशन कोड एक्सचेंज करें पर क्लिक करें. टोकन लौटाया जाता है.
Cloud Search के लिए तीसरे पक्ष से मिलने वाली सहायता शुरू करने के लिए, यहां दिया गया कर्ल कमांड इस्तेमाल करें.
[YOUR_ACCESS_TOKEN]
को दूसरे चरण में मिले टोकन से ज़रूर बदलें.curl --request POST \ 'https://cloudsearch.googleapis.com/v1:initializeCustomer' \ --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \ --header 'Accept: application/json' \ --header 'Content-Type: application/json' \ --data '{}' \ --compressed
कामयाब होने पर, जवाब के मुख्य हिस्से में
operation
का एक इंस्टेंस शामिल होता है. उदाहरण के लिए:{ name: "operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY" }
अगर ऐसा नहीं हो पाता है, तो Cloud Search की सहायता टीम से संपर्क करें.
operations.get का इस्तेमाल करके, इस बात की पुष्टि करें कि तीसरे पक्ष से सहायता मिलने की सुविधा शुरू की गई है या नहीं:
curl \ 'https://cloudsearch.googleapis.com/v1/operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY?key= [YOUR_API_KEY]' \ --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \ --header 'Accept: application/json' \ --compressed
तीसरे पक्ष की प्रोसेस शुरू होने के बाद, इसमें फ़ील्ड
done
कोtrue
पर सेट किया जाता है. उदाहरण के लिए:{ name: "operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY" done: true }
डेटा सोर्स बनाना
इसके बाद, Admin console में एक डेटा सोर्स बनाएं. डेटा सोर्स, कनेक्टर का इस्तेमाल करके कॉन्टेंट को इंडेक्स करने के लिए एक नेमस्पेस देता है.
- Google Admin console खोलें.
- ऐप्लिकेशन आइकॉन पर क्लिक करें. आपको "ऐप्लिकेशन एडमिन" पेज दिखेगा.
- Google Workspace पर क्लिक करें. आपको "Google Workspace एडमिन" पेज दिखेगा.
- नीचे की ओर स्क्रोल करें और Cloud Search पर क्लिक करें. ऐसा करने पर, आपको "Google Workspace के लिए सेटिंग" पेज दिखेगा.
- तीसरे पक्ष के डेटा सोर्स पर क्लिक करें. इसके बाद, "डेटा सोर्स" पेज दिखेगा.
- पीले रंग के गोल + पर क्लिक करें. इसके बाद, "नया डेटा सोर्स जोड़ें" डायलॉग दिखेगा.
- डिसप्ले नेम फ़ील्ड में, "ट्यूटोरियल" टाइप करें.
- सेवा खाते के ईमेल पते फ़ील्ड में, पिछले सेक्शन में बनाए गए सेवा खाते का ईमेल पता डालें. अगर आपको सेवा खाते का ईमेल पता नहीं पता है, तो सेवा खाते पेज पर वैल्यू देखें.
- जोड़ें पर क्लिक करें. आपको "डेटा सोर्स बन गया" डायलॉग दिखेगा.
- *ठीक है पर क्लिक करें. नए बनाए गए डेटा सोर्स के सोर्स आईडी को नोट करें. सोर्स आईडी का इस्तेमाल, कॉन्टेंट कनेक्टर को कॉन्फ़िगर करने के लिए किया जाता है.
GitHub API के लिए निजी ऐक्सेस टोकन जनरेट करें
कनेक्टर को ज़रूरत के मुताबिक कोटा होने के लिए, GitHub एपीआई की पुष्टि की गई ऐक्सेस की ज़रूरत होती है. इसे आसानी से समझने के लिए, कनेक्टर OAuth के बजाय निजी ऐक्सेस टोकन का इस्तेमाल करता है. निजी टोकन की मदद से, एक ऐसे उपयोगकर्ता के तौर पर पुष्टि की जा सकती है जिसके पास OAuth जैसी सीमित अनुमतियां होती हैं.
- GitHub में लॉग इन करें.
- सबसे ऊपर दाएं कोने में, अपनी प्रोफ़ाइल फ़ोटो पर क्लिक करें. इसके बाद, आपको एक ड्रॉप-डाउन मेन्यू दिखेगा.
- सेटिंग पर क्लिक करें.
- डेवलपर सेटिंग पर क्लिक करें.
- निजी ऐक्सेस टोकन पर क्लिक करें.
- निजी ऐक्सेस टोकन जनरेट करें पर क्लिक करें.
- Note फ़ील्ड में, "Cloud Search ट्यूटोरियल" डालें.
- public_repo स्कोप की जांच करें.
- टोकन जनरेट करें पर क्लिक करें.
- जनरेट किए गए टोकन को नोट करें. कनेक्टर इसका इस्तेमाल, GitHub एपीआई को कॉल करने के लिए करता है. साथ ही, इंडेक्स करने के लिए एपीआई कोटा देता है.
कनेक्टर को कॉन्फ़िगर करें
क्रेडेंशियल और डेटा सोर्स बनाने के बाद, इन वैल्यू को शामिल करने के लिए कनेक्टर कॉन्फ़िगरेशन अपडेट करें:
- कमांड लाइन से, डायरेक्ट्री को
cloud-search-samples/end-to-end/connector/
में बदलें. sample-config.properties
फ़ाइल को टेक्स्ट एडिटर में खोलें.- पहले डाउनलोड किए गए सेवा क्रेडेंशियल के फ़ाइल पाथ में,
api.serviceAccountPrivateKeyFile
पैरामीटर सेट करें. api.sourceId
पैरामीटर को उस डेटा सोर्स के आईडी पर सेट करें जिसे आपने पहले बनाया था.- अपने GitHub उपयोगकर्ता नाम के लिए,
github.user
पैरामीटर सेट करें. - आपने पहले जो ऐक्सेस टोकन बनाया था उसमें
github.token
पैरामीटर को सेट करें. - फ़ाइल सेव करें.
स्कीमा अपडेट करना
कनेक्टर, स्ट्रक्चर्ड और अनस्ट्रक्चर्ड कॉन्टेंट, दोनों को इंडेक्स करता है. डेटा को इंडेक्स करने से पहले, आपको डेटा सोर्स के लिए स्कीमा को अपडेट करना होगा. स्कीमा अपडेट करने के लिए, नीचे दिया गया कमांड चलाएं:
mvn exec:java -Dexec.mainClass=com.google.cloudsearch.tutorial.SchemaTool \
-Dexec.args="-Dconfig=sample-config.properties"
कनेक्टर चलाएं
कनेक्टर चलाने और इंडेक्स करने की प्रोसेस शुरू करने के लिए, यह निर्देश चलाएं:
mvn exec:java -Dexec.mainClass=com.google.cloudsearch.tutorial.GithubConnector \
-Dexec.args="-Dconfig=sample-config.properties"
कनेक्टर का डिफ़ॉल्ट कॉन्फ़िगरेशन, googleworkspace
संगठन में किसी एक रिपॉज़िटरी (डेटा स्टोर करने की जगह) को इंडेक्स करना होता है. डेटा स्टोर करने की जगह को इंडेक्स करने में करीब एक मिनट लगता है.
शुरुआती इंडेक्स करने के बाद, कनेक्टर डेटा स्टोर करने की जगह में उन बदलावों के लिए पोल जारी रखता है जिन्हें Cloud Search इंडेक्स में दिखाना ज़रूरी होता है.
कोड की समीक्षा करना
बाकी सेक्शन से पता चलता है कि कनेक्टर कैसे बनाया गया है.
ऐप्लिकेशन शुरू किया जा रहा है
कनेक्टर का एंट्री पॉइंट, GithubConnector
क्लास है. main
वाला तरीका, SDK टूल के IndexingApplication
को इंस्टैंशिएट करता है और उसे शुरू करता है.
SDK टूल से मिला ListingConnector
, एक ट्रैवर्सल रणनीति लागू करता है. यह इंडेक्स में आइटम की स्थिति को ट्रैक करने के लिए, Cloud Search सूची का इस्तेमाल करती है. यह, GitHub से कॉन्टेंट ऐक्सेस करने के लिए GithubRepository
को डेलिगेट करता है, जिसे सैंपल कनेक्टर की मदद से लागू किया जाता है.
GitHub डेटा स्टोर करने की जगहों का पता लगाना
फ़ुल ट्रैवर्सल के दौरान, getIds()
तरीके को उन आइटम को पुश करने के लिए कॉल किया जाता है जिन्हें सूची में इंडेक्स करने की ज़रूरत हो सकती है.
कनेक्टर एक से ज़्यादा डेटा स्टोर करने की जगहों या संगठनों को इंडेक्स कर सकता है. किसी गड़बड़ी के असर को कम करने के लिए, एक बार में एक GitHub डेटा स्टोर करने की जगह का पता लगाया जाता है. getIds()
को किए जाने वाले अगले कॉल में, इंडेक्स करने के लिए डेटा स्टोर करने की जगहों की सूची वाले ट्रैवर्सल के नतीजों के साथ एक चेकपॉइंट दिखाया जाता है. अगर कोई गड़बड़ी होती है, तो इंडेक्स करने की प्रोसेस को शुरू से शुरू करने के बजाय, मौजूदा डेटा स्टोर करने की जगह पर फिर से शुरू किया जाता है.
collectRepositoryItems()
तरीका, एक GitHub रेपो के ट्रैवर्सल को हैंडल करता है. यह तरीका ApiOperations
का कलेक्शन दिखाता है. यह कलेक्शन, सूची में पुश किए जाने वाले आइटम दिखाता है. आइटम को संसाधन नाम और हैश वैल्यू के तौर पर पुश किया जाता है, जो आइटम की मौजूदा स्थिति को दिखाता है.
हैश वैल्यू का इस्तेमाल, GitHub डेटा स्टोर करने की जगहों के अगले ट्रैवर्सल में किया जाता है. इस वैल्यू से इस बात की सामान्य जांच होती है कि कोई और कॉन्टेंट अपलोड किए बिना, कॉन्टेंट में बदलाव हुआ है या नहीं. कनेक्टर सभी आइटम को दृष्टिहीन तरीके से सूची में जोड़ देता है. अगर आइटम नया है या हैश वैल्यू बदल गई है, तो इसे सूची में पोलिंग के लिए उपलब्ध कराया जाता है. अगर ऐसा नहीं होता है, तो यह माना जाएगा कि आइटम में कोई बदलाव नहीं किया गया है.
सूची प्रोसेस की जा रही है
पूरा ट्रैवर्सल पूरा होने के बाद, कनेक्टर उन आइटम के लिए सूची में पोल करना शुरू करता है जिन्हें इंडेक्स किया जाना ज़रूरी है. सूची से लिए गए हर आइटम के लिए, getDoc()
तरीके को कॉल किया जाता है. यह तरीका, GitHub से आइटम को पढ़ता है और उसे इंडेक्स करने के लिए सही तरीके में बदल देता है.
कनेक्टर ऐसे लाइव डेटा के मुताबिक काम करता है जिसे
किसी भी समय बदला जा सकता है. इसलिए, getDoc()
यह भी पुष्टि करता है कि सूची में मौजूद आइटम अब भी मान्य है या नहीं. साथ ही, यह इंडेक्स से उन आइटम को मिटा देता है जो अब मौजूद नहीं हैं.
कनेक्टर हर GitHub ऑब्जेक्ट के लिए, इससे जुड़ा indexItem()
तरीका इस्तेमाल करता है. यह तरीका, Cloud Search के लिए आइटम के दिखने का तरीका तय करता है. उदाहरण के लिए, कॉन्टेंट आइटम को बेहतर तरीके से पेश करने के लिए:
इसके बाद, सर्च इंटरफ़ेस डिप्लॉय करें.