BigQuery के बाहरी कनेक्शन

बाहरी डेटा सोर्स एक ऐसा डेटा सोर्स होता है जिसकी क्वेरी, सीधे तौर पर BigQuery से की जा सकती है. भले ही, डेटा BigQuery स्टोरेज में सेव न हो. उदाहरण के लिए, हो सकता है कि आपके पास किसी अलग Google Cloud डेटाबेस, Cloud Storage की फ़ाइलों या किसी अलग क्लाउड प्रॉडक्ट में डेटा हो. आपको उसका विश्लेषण BigQuery में करना है, लेकिन उसे माइग्रेट करने के लिए तैयार नहीं हैं.

बाहरी डेटा सोर्स के इस्तेमाल के उदाहरणों में ये शामिल हैं:

• एक्सट्रैक्ट-लोड-ट्रांसफ़ॉर्म (ईएलटी) वर्कलोड के लिए, एक ही पास में अपना डेटा लोड और क्लीन करें. साथ ही, CREATE TABLE ... AS SELECT क्वेरी का इस्तेमाल करके, क्लीन किए गए नतीजे को BigQuery स्टोरेज में लिखें.
• किसी बाहरी डेटा सोर्स से, अक्सर बदलने वाले डेटा के साथ BigQuery टेबल को जॉइन करना. बाहरी डेटा सोर्स पर सीधे क्वेरी करने पर, आपको हर बार डेटा में बदलाव होने पर, उसे BigQuery स्टोरेज में फिर से लोड करने की ज़रूरत नहीं होती.

Ads Data Hub के ग्राहक के तौर पर, S3 और Azure जैसे अन्य सोर्स से फ़र्स्ट पार्टी डेटा को आसानी से लाने के लिए, BigQuery की इस सुविधा का फ़ायदा लिया जा सकता है. साथ ही, अपनी क्वेरी में Google विज्ञापन डेटा के साथ इसे जोड़ा जा सकता है.

बाहरी डेटा सोर्स को BigQuery से कनेक्ट करने के बारे में पूरी जानकारी के लिए, बाहरी डेटा सोर्स के बारे में जानकारी लेख पढ़ें.

सीमाएं

• ये जगहें इस्तेमाल की जा सकती हैं. अगर आपका AWS या Azure डेटा किसी ऐसे इलाके में है जहां यह सुविधा काम नहीं करती, तो BigQuery डेटा ट्रांसफ़र सेवा का इस्तेमाल भी किया जा सकता है.
  • AWS - अमेरिका पूर्व (नॉर्थ कैरोलिना) वर्जीनिया) (aws-us-east-1)
  • Azure - ईस्ट यूएस 2 (azure-eastus2)
• BigQuery कनेक्शन के डेटा पर चलने वाली जॉब:
  • Ads Data Hub में मौजूद अन्य जॉब की तरह ही, इन पर भी एग्रीगेशन की ज़रूरी शर्तें लागू होती हैं
  • Google की नीतियों का पालन करना चाहिए

Amazon S3

यहां Ads Data Hub में इस्तेमाल करने के लिए, Amazon S3 से BigQuery में डेटा एक्सपोर्ट करने के चरणों की खास जानकारी दी गई है. पूरी जानकारी के लिए, Amazon S3 से कनेक्ट करना लेख पढ़ें.

1. BigQuery के लिए AWS IAM नीति बनाएं. नीति बनाने के बाद, नीति की जानकारी पेज पर Amazon Resource Name (ARN) देखा जा सकता है.
2. पिछले चरण में बनाई गई नीति का इस्तेमाल करके, BigQuery के लिए AWS IAM भूमिका बनाएं.
3. BigQuery में कनेक्शन बनाएं. किसी ऐसे BigQuery प्रोजेक्ट में कनेक्शन बनाएं जिसका ऐक्सेस Ads Data Hub के पास हो. उदाहरण के लिए, आपका एडमिन प्रोजेक्ट. कनेक्शन की जानकारी पेज पर, BigQuery की Google पहचान दिखती है. इसका इस्तेमाल अगले चरण में किया जाएगा.
4. AWS भूमिका में ट्रस्ट रिलेशनशिप जोड़ें. AWS IAM पेज पर, पिछले चरण में बनाई गई भूमिका में बदलाव करें:
   1. सेशन की ज़्यादा से ज़्यादा अवधि को 12 घंटे पर सेट करें.
   2. पिछले चरण में बनाई गई BigQuery Google पहचान का इस्तेमाल करके, AWS भूमिका में ट्रस्ट नीति जोड़ें.
5. BigQuery डेटासेट में डेटा लोड करें.
6. Ads Data Hub में डेटा क्वेरी करें. पहले पक्ष (ग्राहक) के डेटा को जोड़ने के बारे में जानें.
7. ज़रूरी नहीं: BigQuery में डेटा को लगातार लोड करने के लिए, शेड्यूल करें.

Azure Blob Storage

यहां Azure Blob Storage से BigQuery में डेटा एक्सपोर्ट करने के लिए ज़रूरी चरणों की खास जानकारी दी गई है. इस डेटा का इस्तेमाल, Ads Data Hub में किया जाता है. पूरी जानकारी के लिए, Blob Storage से कनेक्ट करना लेख पढ़ें.

1. अपने Azure टेनेंट में कोई ऐप्लिकेशन बनाएं.
2. BigQuery में कनेक्शन बनाएं.
   • टेंंट आईडी, पिछले चरण में दिया गया डायरेक्ट्री आईडी होता है.
   • फ़ेडरेटेड ऐप्लिकेशन (क्लाइंट) आईडी, पिछले चरण में दिया गया ऐप्लिकेशन (क्लाइंट) आईडी होता है.
   • अगले चरण में, BigQuery Google आइडेंटिटी का इस्तेमाल किया जाएगा.
3. Azure में फ़ेडरेटेड क्रेडेंशियल जोड़ें.
   • विषय के आइडेंटिफ़ायर के लिए, पिछले चरण में दी गई BigQuery Google आइडेंटिटी का इस्तेमाल करें.
4. BigQuery के Azure ऐप्लिकेशन को कोई भूमिका असाइन करें. साथ ही, उन्हें Storage Blob Data Reader का ऐक्सेस दें.
5. BigQuery डेटासेट में डेटा लोड करें.
6. Ads Data Hub में डेटा के बारे में क्वेरी करें. पहले पक्ष (ग्राहक) के डेटा को जोड़ने के बारे में जानें.
7. ज़रूरी नहीं: BigQuery में डेटा को लगातार लोड करने के लिए, शेड्यूल करें.