شروع کار با طبقه بندی تصاویر با استفاده از Vertex AI و BigQuery

این راهنما گردش کار کاملی را برای مدل‌های آموزشی و طبقه‌بندی دارایی‌های تصویری با استفاده از پلتفرم Google Cloud Vertex AI با Gemini 2.5 Flash ارائه می‌کند. شما یاد خواهید گرفت که BigQuery را برای بازیابی داده ها، Cloud Storage برای مدیریت دارایی، و Vertex AI را برای استنتاج یادگیری ماشین در محیط Python Colab ادغام کنید.

پیکربندی

قبل از اجرای نمونه کد، متغیرهای خاص پروژه زیر را تنظیم کنید:

PROJECT_ID = "PROJECT_ID"
REGION = "REGION "  # e.g., "us-central1"
LOCATION = "LOCATION "  # e.g., "us"
CUSTOMER_ID = "CUSTOMER_ID" # required to subscribe to the dataset

راه اندازی محیط

وابستگی های مورد نیاز را نصب کنید و احراز هویت را برای دسترسی به خدمات Google Cloud پیکربندی کنید:

# Install Google Cloud SDK dependencies for AI Platform integration
!pip install google-cloud-aiplatform google-cloud-storage google-cloud-bigquery google-cloud-bigquery-data-exchange -q

# Import core libraries for cloud services and machine learning operations
import json
import os
from google.cloud import bigquery
import vertexai
from vertexai.generative_models import GenerativeModel, Part

# Configure authentication for Google Cloud service access
# Initiates OAuth flow in new browser tab if authentication required
from google.colab import auth

if os.environ.get("VERTEX_PRODUCT") != "COLAB_ENTERPRISE":
  from google.colab import auth
  auth.authenticate_user(project_id=PROJECT_ID)

# Initialize Vertex AI client with project configuration
vertexai.init(project=PROJECT_ID, location=REGION)

print(f"Vertex AI initialized for project: {PROJECT_ID} in region: {REGION}")

در مجموعه داده هاب Analytics مشترک شوید

همچنین باید در مجموعه داده Analytics Hub مشترک شوید.

from google.cloud import bigquery_data_exchange_v1beta1

ah_client = bigquery_data_exchange_v1beta1.AnalyticsHubServiceClient()

HUB_PROJECT_ID = 'maps-platform-analytics-hub'
DATA_EXCHANGE_ID = f"imagery_insights_exchange_{LOCATION}"
LINKED_DATASET_NAME = f"imagery_insights___preview___{LOCATION}"


# subscribe to the listing (create a linked dataset in your consumer project)
destination_dataset = bigquery_data_exchange_v1beta1.DestinationDataset()
destination_dataset.dataset_reference.dataset_id = LINKED_DATASET_NAME
destination_dataset.dataset_reference.project_id = PROJECT_ID
destination_dataset.location = LOCATION
LISTING_ID=f"imagery_insights_{CUSTOMER_ID.replace('-', '_')}__{LOCATION}"

published_listing = f"projects/{HUB_PROJECT_ID}/locations/{LOCATION}/dataExchanges/{DATA_EXCHANGE_ID}/listings/{LISTING_ID}"

request = bigquery_data_exchange_v1beta1.SubscribeListingRequest(
    destination_dataset=destination_dataset,
    name=published_listing,
)

# request the subscription
ah_client.subscribe_listing(request=request)

استخراج داده با BigQuery

یک کوئری BigQuery را برای استخراج URIهای Google Cloud Storage از جدول latest_observations اجرا کنید. این URI ها مستقیماً برای طبقه بندی به مدل Vertex AI ارسال می شوند.

# Initialize BigQuery client
bigquery_client = bigquery.Client(project=PROJECT_ID)

# Define SQL query to retrieve observation records from imagery dataset
query = f"""
SELECT
 *
FROM
 `{PROJECT_ID}.imagery_insights___preview___{LOCATION}.latest_observations`
LIMIT 10;
"""

print(f"Executing BigQuery query:\n{query}")

# Submit query job to BigQuery service and await completion
query_job = bigquery_client.query(query)

# Transform query results into structured data format for downstream processing
# Convert BigQuery Row objects to dictionary representations for enhanced accessibility
query_response_data = []
for row in query_job:
   query_response_data.append(dict(row))

# Extract Cloud Storage URIs from result set, filtering null values
gcs_uris = [item.get("gcs_uri") for item in query_response_data if item.get("gcs_uri")]

print(f"BigQuery query returned {len(query_response_data)} records.")
print(f"Extracted {len(gcs_uris)} GCS URIs:")
for uri in gcs_uris:
   print(uri)

تابع طبقه بندی تصویر

این تابع کمکی طبقه بندی تصاویر را با استفاده از مدل فلش Gemini 2.5 Vertex AI انجام می دهد:

def classify_image_with_gemini(gcs_uri: str, prompt: str = "What is in this image?") -> str:
   """
   Performs multimodal image classification using Vertex AI's Gemini 2.5 Flash model.

   Leverages direct Cloud Storage integration to process image assets without local
   download requirements, enabling scalable batch processing workflows.

   Args:
       gcs_uri (str): Fully qualified Google Cloud Storage URI 
                     (format: gs://bucket-name/path/to/image.jpg)
       prompt (str): Natural language instruction for classification task execution

   Returns:
       str: Generated textual description from the generative model, or error message
            if classification pipeline fails

   Raises:
       Exception: Captures service-level errors and returns structured failure response
   """
   try:
       # Instantiate Gemini 2.5 Flash model for inference operations
       model = GenerativeModel("gemini-2.5-flash")

       # Construct multimodal Part object from Cloud Storage reference
       # Note: MIME type may need dynamic inference for mixed image formats
       image_part = Part.from_uri(uri=gcs_uri, mime_type="image/jpeg")

       # Execute multimodal inference request with combined visual and textual inputs
       responses = model.generate_content([image_part, prompt])
       return responses.text
   except Exception as e:
       print(f"Error classifying image from URI {gcs_uri}: {e}")
       return "Classification failed."

دسته بندی تصاویر دسته ای

تمام URI های استخراج شده را پردازش کنید و طبقه بندی ها را ایجاد کنید:

classification_results = []

# Execute batch classification pipeline across all extracted GCS URIs
for uri in gcs_uris:
   print(f"\nProcessing: {uri}")

   # Define comprehensive classification prompt for detailed feature extraction
   classification_prompt = "Describe this image in detail, focusing on any objects, signs, or features visible."

   # Invoke Gemini model for multimodal inference on current asset
   result = classify_image_with_gemini(uri, classification_prompt)

   # Aggregate structured results for downstream analytics and reporting
   classification_results.append({"gcs_uri": uri, "classification": result})

   print(f"Classification for {uri}:\n{result}")

مراحل بعدی

با طبقه بندی تصاویر خود، این گردش کار پیشرفته را در نظر بگیرید:

  • تنظیم دقیق مدل : از نتایج طبقه بندی برای آموزش مدل های سفارشی استفاده کنید.
  • پردازش خودکار : توابع Cloud را برای طبقه‌بندی خودکار تصاویر جدید تنظیم کنید.
  • تجزیه و تحلیل داده ها : انجام تجزیه و تحلیل آماری بر روی الگوهای طبقه بندی.
  • یکپارچه سازی : نتایج را به برنامه های پایین دستی متصل کنید.

عیب یابی

مسائل و راه حل های رایج:

  • خطاهای احراز هویت : از نقش های IAM مناسب و فعال سازی API اطمینان حاصل کنید.
  • محدود کردن نرخ : اجرای عقب‌نشینی نمایی برای دسته‌های بزرگ.
  • محدودیت های حافظه : تصاویر را در دسته های کوچکتر برای مجموعه داده های بزرگ پردازش کنید.
  • خطاهای قالب URI : بررسی کنید که URI های GCS از فرمت gs://bucket-name/path/to/image پیروی می کنند.

برای پشتیبانی بیشتر، به مستندات Vertex AI و مستندات BigQuery مراجعه کنید.