আর্থ ইঞ্জিনের জন্য কাস্টম মডেল হোস্ট করা হয়েছে

TensorFlow বা PyTorch-এর মতো একটি মেশিন লার্নিং ফ্রেমওয়ার্ক ব্যবহার করে কাস্টম প্রশিক্ষিত মডেলের সাথে অনুমান সম্পাদন করার জন্য মডেলটিকে Vertex AI-তে সংরক্ষণ এবং আপলোড করা, একটি ভবিষ্যদ্বাণী এন্ডপয়েন্ট তৈরি করা এবং তৈরি এন্ডপয়েন্টে ট্র্যাফিক পরিবেশনের জন্য মডেলটিকে স্থাপন করা প্রয়োজন।

মডেল ইনপুট

আপনি Vertex AI-তে আপনার মডেল সংরক্ষণ এবং আপলোড করার আগে আপনাকে নিশ্চিত করতে হবে যে মডেলটি আর্থ ইঞ্জিন সমর্থন করে এমন একটি পেলোড বিন্যাসে ডেটা গ্রহণ করে। আরো বিস্তারিত জানার জন্য আমাদের পেলোড ফরম্যাট পৃষ্ঠা দেখুন।

মডেল আর্টিফ্যাক্ট

পরবর্তী ধাপ হল আপনার মডেলটিকে এমন একটি বিন্যাসে সংরক্ষণ করা যা Vertex AI-তে হোস্টেবল।

টেনসরফ্লো

টেনসরফ্লো ভিত্তিক মডেলগুলি বিভিন্ন ফরম্যাটে সংরক্ষণ করা যেতে পারে, তবে Vertex AI এর জন্য SavedModel ফর্ম্যাট প্রয়োজন। কেরাস ভিত্তিক মডেলগুলি অবশ্যই tf.keras.Model.export() এর সাথে SavedModels হিসাবে রপ্তানি করতে হবে৷ অন্যান্য TensorFlow মডেলের জন্য আরও আদিম tf.saved_model.save() ব্যবহার করা প্রয়োজন। আরো বিস্তারিত জানার জন্য SavedModel ফরম্যাটে ডকুমেন্টেশন দেখুন।

পাইটর্চ

PyTorch মডেলগুলির ভবিষ্যদ্বাণী পরিবেশনের জন্য মডেল শিল্পকর্মগুলি প্রস্তুত করার একটি সামান্য ভিন্ন উপায় রয়েছে৷ একটি কাস্টম প্রশিক্ষিত মডেল তৈরি করা হলে, মডেলটি প্রথমে সংরক্ষণ করতে হবে। পারফরম্যান্সের কারণে আপনার পাইটর্চ মডেলটিকে টর্চস্ক্রিপ্টে রূপান্তর করার এবং মডেল ফাইলটিকে এর সাথে সংরক্ষণ করার পরামর্শ দেওয়া হচ্ছে:

model_scripted = torch.jit.script(model) # Export to TorchScript
model_scripted.save('model.pt') # Save

একবার মডেল ফাইলটি সংরক্ষণ করা হলে এটি সংরক্ষণাগারভুক্ত করা প্রয়োজন যাতে এটি Vertex AI-তে স্থাপন করা যায়। একটি প্রি-বিল্ট কন্টেইনার ব্যবহার করার সময় মডেলটিকে "মডেল" নাম দিতে হবে । মডেল সংরক্ষণাগার করতে টর্চ-মডেল-আর্কাইভার চালাতে হবে যেকোন কাস্টম হ্যান্ডলার এবং আপনার মডেলের প্রয়োজনীয় অতিরিক্ত ফাইলগুলি সহ। এর একটি উদাহরণ এখানে:

torch-model-archiver -f \
  --model-name model \
  --version 1.0  \
  --serialized-file $model_file \
  --handler $hander_file \
  --extra-files $index_to_name_file \
  --export-path $model_path

Vertex AI-তে মডেল স্থাপনা

একবার আপনার মডেল ফাইলগুলি সংরক্ষিত হয়ে গেলে পরবর্তী ধাপ হল আপনার মডেলটিকে Vertex AI-তে আপলোড করা। যদি আপনার মডেল আর্টিফ্যাক্টটি ইতিমধ্যেই Google ক্লাউড স্টোরেজে না থাকে তাহলে প্রথমে আপনার মডেল আর্কাইভটি অনুলিপি করুন যেমন gsutil cp $model_path gs://${your-bucket}/models/model ।

একবার অনুলিপি করা হলে আপনি আপনার মডেল আপলোড করতে ভার্টেক্স এআই এর মডেল রেজিস্ট্রি ব্যবহার করতে পারেন বা gcloud কমান্ড লাইন ব্যবহার করতে পারেন এবং এরকম কিছু চালাতে পারেন:

gcloud ai models upload \
  --artifact-uri=gs://{your-bucket}/models/model \
  --display-name=${display-name} \
  --container-image-uri=${model-container} \
  --container-grpc-ports=8500

টিপ: সর্বোত্তম পারফরম্যান্সের জন্য container-grpc-ports পতাকা সহ gRPC পূর্বাভাস সক্ষম করুন। আমাদের পেলোড ফরম্যাট ডকুমেন্টেশনে gRPC পূর্বাভাস সম্পর্কে আরও তথ্য দেখুন। এই পতাকা শুধুমাত্র gcloud কমান্ডলাইন টুল ব্যবহার করে নির্দিষ্ট করা যেতে পারে।

মডেল এন্ডপয়েন্ট ম্যানেজমেন্ট

একবার Vertex AI-তে একটি মডেল আপলোড হয়ে গেলে, একটি এন্ডপয়েন্ট তৈরি করুন এবং একটি নতুন এন্ডপয়েন্ট তৈরি করে অথবা endpoints create এবং endpoints deploy-model কমান্ডের সাথে gcloud কমান্ড লাইন ব্যবহার করে অনলাইন পূর্বাভাস পৃষ্ঠার মাধ্যমে মডেলটি স্থাপন করুন। যেমন:

একটি মডেল তৈরি করা:

gcloud ai endpoints create \
  --display-name=${endpoint-name}

একটি মডেল স্থাপন

gcloud ai endpoints deploy-model {endpoint-id} \
  --model=${model-id} \
  --traffic-split=0=100 \
  --display-name=${model-display-name} \
  --min-replica-count=${min-replica-count} \
  --max-replica-count=${max-replica-count}

একবার আপনার মডেল স্থাপন করা হলে আপনি অনুমানগুলি সম্পাদন করতে আর্থ ইঞ্জিনে আপনার মডেলের সাথে সংযোগ করতে প্রস্তুত৷