การเชื่อมต่อภายนอก BigQuery

แหล่งข้อมูลภายนอกคือแหล่งข้อมูลที่คุณค้นหาจาก BigQuery ได้โดยตรง แม้ว่าข้อมูลจะไม่ได้จัดเก็บไว้ในพื้นที่เก็บข้อมูลของ BigQuery ก็ตาม ตัวอย่างเช่น คุณอาจมีข้อมูลในฐานข้อมูล Google Cloud อื่น ไฟล์ใน Cloud Storage หรือในผลิตภัณฑ์ระบบคลาวด์อื่นที่ต้องการวิเคราะห์ใน BigQuery แต่ไม่พร้อมที่จะย้ายข้อมูล

กรณีการใช้งานสำหรับแหล่งข้อมูลภายนอกมีดังนี้

  • สำหรับภาระงานที่แยก-โหลด-เปลี่ยนรูปแบบ (ELT) ให้โหลดและล้างข้อมูลใน 1 บัตรผ่านและเขียนผลลัพธ์ที่ล้างแล้วลงในพื้นที่เก็บข้อมูล BigQuery โดยใช้คำค้นหา CREATE TABLE ... AS SELECT
  • การรวมตาราง BigQuery กับข้อมูลที่มีการเปลี่ยนแปลงบ่อยครั้งจากแหล่งข้อมูลภายนอก การค้นหาแหล่งข้อมูลภายนอกโดยตรงจะช่วยให้คุณไม่ต้องโหลดข้อมูลซ้ำลงในพื้นที่เก็บข้อมูล BigQuery ทุกครั้งที่มีการเปลี่ยนแปลง

ในฐานะลูกค้า Ads Data Hub คุณสามารถใช้ประโยชน์จากฟีเจอร์ BigQuery นี้เพื่อนำข้อมูลจากบุคคลที่หนึ่งจากแหล่งที่มาอื่นๆ เช่น S3 และ Azure มารวมไว้ในข้อมูลการโฆษณา Google ในการค้นหาของคุณได้อย่างง่ายดาย

โปรดดูรายละเอียดทั้งหมดเกี่ยวกับการเชื่อมต่อแหล่งข้อมูลภายนอกกับ BigQuery ที่หัวข้อข้อมูลเบื้องต้นเกี่ยวกับแหล่งข้อมูลภายนอก

ข้อจำกัด

  • ระบบรองรับสถานที่ตั้งต่อไปนี้ หากข้อมูล AWS หรือ Azure อยู่ในภูมิภาคที่ไม่รองรับ คุณอาจพิจารณาใช้บริการโอนข้อมูล BigQuery ด้วย
    • AWS - สหรัฐอเมริกาตะวันออก (N. เวอร์จิเนีย) (aws-us-east-1)
    • ฟ้าสด - สหรัฐอเมริกาตะวันออก 2 (azure-eastus2)
  • งานที่เรียกใช้โดยใช้ข้อมูลจากการเชื่อมต่อ BigQuery:

Amazon S3

ต่อไปนี้คือภาพรวมระดับสูงของขั้นตอนที่จำเป็นในการส่งออกข้อมูลจาก Amazon S3 ไปยัง BigQuery เพื่อใช้ใน Ads Data Hub ดูรายละเอียดทั้งหมดได้ที่เชื่อมต่อกับ Amazon S3

  1. สร้างนโยบาย AWS ของ BigQuery สำหรับ BigQuery หลังจากสร้างนโยบายแล้ว คุณสามารถดู Amazon Resource Name (ARN) ได้ในหน้ารายละเอียดนโยบาย
  2. สร้างบทบาท AWS IAM สำหรับ BigQuery โดยใช้นโยบายที่สร้างในขั้นตอนก่อนหน้า
  3. สร้างการเชื่อมต่อใน BigQuery สร้างการเชื่อมต่อในโปรเจ็กต์ BigQuery ที่ Ads Data Hub มีสิทธิ์เข้าถึง เช่น โปรเจ็กต์ผู้ดูแลระบบ ระบบจะแสดงข้อมูลระบุตัวตนของ BigQuery ของ Google ซึ่งจะใช้ในขั้นตอนถัดไปในหน้าข้อมูลการเชื่อมต่อ
  4. เพิ่มความสัมพันธ์ของความน่าเชื่อถือกับบทบาท AWS ในหน้า AWS IAM ให้แก้ไขบทบาทที่สร้างในขั้นตอนก่อนหน้านี้
    1. แก้ไขระยะเวลาเซสชันสูงสุดเป็น 12 ชั่วโมง
    2. เพิ่มนโยบายการเชื่อถือให้กับบทบาท AWS โดยใช้ข้อมูลประจำตัวของ Google ใน BigQuery ที่สร้างขึ้นในขั้นตอนก่อนหน้า
  5. โหลดข้อมูล ลงในชุดข้อมูล BigQuery
  6. ค้นหาข้อมูลใน Ads Data Hub ดูข้อมูลเกี่ยวกับ การเข้าร่วมข้อมูลจากบุคคลที่หนึ่ง
  7. ไม่บังคับ: ตั้งเวลาให้โหลดข้อมูลต่อเนื่องใน BigQuery

พื้นที่เก็บข้อมูล Azure Blob

ต่อไปนี้คือภาพรวมระดับสูงของขั้นตอนที่จำเป็นในการส่งออกข้อมูลจากพื้นที่เก็บข้อมูล Azure Blob ไปยัง BigQuery เพื่อใช้ใน Ads Data Hub โปรดดูรายละเอียดทั้งหมดที่เชื่อมต่อกับพื้นที่เก็บข้อมูล Blob

  1. สร้างแอปพลิเคชันในกลุ่มผู้ใช้ Azure
  2. สร้างการเชื่อมต่อใน BigQuery
    • รหัสกลุ่มผู้ใช้คือรหัสไดเรกทอรีจากขั้นตอนก่อนหน้า
    • รหัสแอปพลิเคชัน (ไคลเอ็นต์) แบบรวมศูนย์คือรหัสแอปพลิเคชัน (ไคลเอ็นต์) จากขั้นตอนก่อนหน้า
    • เราจะใช้ข้อมูลประจําตัวของ Google ใน BigQuery ในขั้นตอนถัดไป
  3. เพิ่มข้อมูลเข้าสู่ระบบแบบรวมศูนย์ใน Azure
    • สำหรับตัวระบุเรื่อง ให้ใช้ข้อมูลประจําตัวของ Google ใน BigQuery จากขั้นตอนก่อนหน้า
  4. มอบหมายบทบาทให้แอปพลิเคชัน Azure ของ BigQuery เพื่อให้สิทธิ์เข้าถึงโปรแกรมอ่านข้อมูล Blob ของพื้นที่เก็บข้อมูล
  5. โหลดข้อมูล ลงในชุดข้อมูล BigQuery
  6. ค้นหาข้อมูลใน Ads Data Hub ดูข้อมูลเกี่ยวกับ การเข้าร่วมข้อมูลจากบุคคลที่หนึ่ง
  7. ไม่บังคับ: ตั้งเวลาให้โหลดข้อมูลต่อเนื่องใน BigQuery