เมื่อคุณทำงานร่วมกับฝ่ายขายหรือฝ่ายสนับสนุนเพื่อตั้งค่าการเข้าถึงการโอนข้อมูลเวอร์ชัน 2.0 คุณจะได้รับชื่อที่เก็บข้อมูล คุณจะต้องระบุข้อมูลติดต่อของฝ่ายขาย Google Group ซึ่งให้คุณควบคุม เข้าถึงไฟล์ข้อมูลใน Google Cloud Storage
คุณสามารถเลือกเข้าถึงข้อมูลโดยใช้ยูทิลิตี หรือคุณจะเขียนรหัสของคุณเองก็ได้
เข้าถึงข้อมูลโดยใช้ gsutil
เครื่องมือ gsutil คือแอปพลิเคชันบรรทัดคำสั่งที่เขียนด้วยภาษา Python ซึ่ง ทำให้คุณเข้าถึงข้อมูลได้โดยไม่ต้องเขียนโค้ดใดๆ คุณ ตัวอย่างเช่น ใช้ gsutil เป็นส่วนหนึ่งของไฟล์สคริปต์หรือไฟล์กลุ่มแทนที่จะใช้ การสร้างแอปพลิเคชันที่กำหนดเอง
ในการเริ่มต้นใช้งาน gsutil โปรดอ่าน gsutil เอกสารประกอบ เครื่องมือจะแสดงข้อความแจ้งให้คุณกรอกข้อมูลเข้าสู่ระบบเป็นครั้งแรก คุณใช้ผลิตภัณฑ์นั้นแล้วเก็บไว้ใช้ในภายหลัง
ตัวอย่าง gsutil
คุณระบุไฟล์ทั้งหมดได้โดยใช้ gsutil ดังนี้
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil ใช้ไวยากรณ์ส่วนใหญ่เดียวกันกับ UNIX รวมถึงไวลด์การ์ด เครื่องหมายดอกจัน (*) คุณจึงสามารถแสดงรายการไฟล์ Networkimpressions ทั้งหมดได้ดังนี้
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
การดาวน์โหลดไฟล์ยังทำได้ง่ายๆ ดังนี้
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
คุณคัดลอกไฟล์จากที่เก็บข้อมูล Google ของ DT ที่กระจายอยู่ไปยังที่เก็บข้อมูล GCS ของ Google API ของคุณเองได้ โดยใช้สคริปต์ Shell ของ Unix จะมีสองตัวเลือก:
ใน gsutil หากคุณใช้ระบบ Unix ให้เรียกใช้คำสั่งต่อไปนี้สำหรับที่เก็บข้อมูลทั้งหมดทุกวัน
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/อีกวิธีหนึ่ง วิธีแก้ไขที่ยากขึ้นเล็กน้อยคือการใช้ไฟล์ Bash ดังนี้
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs:/// / done
เข้าถึงข้อมูลแบบเป็นโปรแกรม
Google Cloud Storage มี API และตัวอย่างสำหรับการเขียนโปรแกรมมากมาย ภาษาที่ช่วยให้คุณเข้าถึงข้อมูล แบบเป็นโปรแกรมได้ ด้านล่างนี้คือ ขั้นตอนสำหรับการโอนข้อมูลเวอร์ชัน 2.0 ที่คุณต้องทำเพื่อสร้าง ของคุณ
รับบัญชีบริการ
ก่อนที่จะเริ่มต้นใช้งานการโอนข้อมูลเวอร์ชัน 2.0 ใช้ เครื่องมือตั้งค่า ซึ่งจะแนะนำขั้นตอนการสร้างโปรเจ็กต์ใน คอนโซล Google API, การเปิดใช้ API และการสร้างข้อมูลเข้าสู่ระบบ
วิธีตั้งค่าบัญชีบริการใหม่มีดังนี้
- คลิกสร้างข้อมูลเข้าสู่ระบบ > คีย์บัญชีบริการ
- เลือกว่าจะดาวน์โหลดคีย์สาธารณะ/ส่วนตัวของบัญชีบริการเป็น ไฟล์ P12 มาตรฐาน หรือเป็นไฟล์ JSON ที่โหลดโดยไคลเอ็นต์ Google API ได้ ไลบรารี
จะมีการสร้างคู่คีย์สาธารณะ/ส่วนตัวใหม่และดาวน์โหลดลงในเครื่องของคุณ โดยจะเป็นสำเนาเพียงรายการเดียวของคีย์นี้ คุณมีหน้าที่รับผิดชอบในการจัดเก็บข้อมูล ได้อย่างปลอดภัย
โปรดเปิดหน้าต่างนี้ค้างไว้ คุณจะต้องใช้อีเมลของบัญชีบริการ ในขั้นตอนถัดไป
เพิ่มบัญชีบริการลงในกลุ่ม
- ไปที่ Google Group
- คลิกที่ "กลุ่มของฉัน" แล้วเลือกกลุ่มที่คุณใช้ในการจัดการการเข้าถึง ไปยังที่เก็บข้อมูล Cloud Storage ของ DT v2.0
- คลิก "จัดการ"
- อย่าคลิกเชิญสมาชิก
- คลิกเพิ่มสมาชิกโดยตรง
- คัดลอกอีเมลบัญชีบริการจากขั้นตอนก่อนหน้าลงใน ช่องสมาชิก
- เลือก "ไม่มีอีเมล"
- คลิกปุ่ม เพิ่ม
ฉันคลิก "เชิญสมาชิก" โดยไม่ได้ตั้งใจ
ขอบเขต
ขอบเขตทั้งหมดที่ส่งไปยัง Cloud Storage ต้องเป็นแบบอ่านอย่างเดียว
ตัวอย่างเช่น เมื่อใช้ไลบรารีของไคลเอ็นต์ Java ขอบเขตที่ถูกต้องสำหรับ การใช้งานคือ:
StorageScopes.DEVSTORAGE_READ_ONLY