হোস্ট করা মডেল পেলোড ফরম্যাট আর্থ ইঞ্জিনে সমর্থিত

আপনার কাস্টম প্রশিক্ষিত মডেলটিকে এমনভাবে কনফিগার করতে হবে যাতে আর্থ ইঞ্জিন মডেলটিতে সুগঠিত, ব্যাখ্যাযোগ্য অনুমান অনুরোধ পাঠাতে পারে কারণ এটি Vertex AI-তে হোস্ট করা হয়েছে।

সমর্থিত মডেল ইনপুট

আর্থ ইঞ্জিন অনুমান সম্পাদন করার সময় আপনার পক্ষ থেকে অনুরোধগুলি তৈরি করে। আপনি যখন ee.Model.fromVertexAi এর সাথে মডেল সংযোগকারীকে ইনস্ট্যান্টিয়েট করবেন তখন পেলোড payloadFormat প্যারামিটার ব্যবহার করে EE যে পেলোড ফর্ম্যাটটি অনুরোধ পাঠাবে তা নির্দিষ্ট করুন।

gRPC পূর্বাভাস পেলোড

সমস্ত হোস্ট করা TensorFlow মডেল gRPC প্রোটোকলের মাধ্যমে ভবিষ্যদ্বাণী পাঠাতে পারে। হোস্ট করা মডেলগুলিকে আর্থ ইঞ্জিনের সাথে সংযুক্ত করার জন্য এটি পছন্দের উপায় কারণ এর ফলে ভবিষ্যদ্বাণীর বিলম্ব কম হবে এবং উচ্চতর নির্ভরযোগ্যতা হবে৷

দ্রষ্টব্য: এটি একটি পরীক্ষামূলক বৈশিষ্ট্য। যে মডেলগুলিকে এই সক্ষম করে Vertex AI-তে স্থাপন করা হয়েছে তাদের অবশ্যই একটি gRPC পূর্বাভাস হ্যান্ডলার প্রয়োগ করা থাকতে হবে এবং আপনার কাস্টম মডেল আপলোড করার সময় gRPC পূর্বাভাস পোর্ট অবশ্যই নির্দিষ্ট করতে হবে।

GRPC_TF_TENSORS

TensorFlow মডেলের সাথে gRPC ব্যবহার করতে GRPC_TF_TENSORS পেলোড ফর্ম্যাট ব্যবহার করুন। সমস্ত বৈশিষ্ট্য এবং বা ব্যান্ড একটি একক PredictRequest এ এনকোড করা হবে। আপনার মডেল ব্যবহারের জন্য এই PredictRequest টেনসরের একটি অভিধানে রূপান্তরিত হবে।

GRPC_SERIALIZED_TF_TENSORS

GRPC_SERIALIZED_TF_TENSORS ফর্ম্যাটটি ব্যবহার করুন যদি আপনি একটি ক্লাউড AI প্ল্যাটফর্ম মডেল স্থানান্তর করতে চান যা পূর্বে আর্থ ইঞ্জিনের সাথে মডেলটিকে পরিবর্তন না করেই সংহত করা হয়েছিল৷ Vertex AI-তে আপনার মডেলে container_grpc_ports সেট না থাকলে আপনাকে পুনরায় আপলোড এবং পুনরায় স্থাপন করতে হবে।

GRPC_SERIALIZED_TF_EXAMPLES

tf. উদাহরণ প্রোটোকল বাফার সমর্থন করে এমন মডেলগুলির জন্য GRPC_SERAILZED_TF_EXAMPLES ব্যবহার করুন। আর্থ ইঞ্জিন "ইনপুট" নামে একটি একক টেনসর পাঠাবে যাতে একটি উদাহরণ প্রোটোর utf-8 এনকোডেড প্রোটো বাইটস্ট্রিং থাকে।

HTTP API পেলোড

Vertex AI HTTP অনুমান এন্ডপয়েন্টের সাথে সংযোগ সমর্থন করে। আর্থ ইঞ্জিন বেশ কয়েকটি সাধারণ HTTP পেলোড ফর্ম্যাট সমর্থন করে। ডিফল্টরূপে সমস্ত Vertex AI কাস্টম মডেল HTTP inference API সমর্থন করে।

SERIALIZED_TF_TENSORS

Vertex AI-তে হোস্ট করা মডেলের সাথে সংযোগ করার সময় এটি ডিফল্ট payloadFormat । টেনসরফ্লো মডেল ব্যবহার করার সময় এই পেলোড ফর্ম্যাটটি HTTP পেলোড ফর্ম্যাটের মধ্যে সবচেয়ে কার্যকর।

আর্থ ইঞ্জিন নিম্নলিখিত উপায়ে ইনপুটগুলি তৈরি করবে: আপনার অনুমান অনুরোধের জন্য প্রয়োজনীয় প্রতিটি ব্যান্ড এবং সম্পত্তির জন্য আপনার হোস্ট করা মডেলে পাঠানো instances অবজেক্টে একটি একক কী-মূল্যের জোড়া হবে।

প্রতিটি কী হবে ব্যান্ড বা সম্পত্তির নাম এবং প্রতিটি মান হবে একটি Base64 এনকোডেড TensorProto ByteString একটি string_val হিসাবে।

RAW_JSON

অন্যান্য মডেল ফ্রেমওয়ার্কের জন্য সবচেয়ে নমনীয় বিন্যাসটি আমরা পাঠাতে পারি নামযুক্ত ইনপুট এবং মানগুলির একটি JSON অভিধান। এই পেলোড বিন্যাস ডিফল্টরূপে PyTorch এবং AutoML মডেলের সাথে ভাল কাজ করে।

তবে মনে রাখবেন যে সমস্ত সংখ্যাসূচক মান JSON স্ট্রিংগুলিতে রূপান্তরিত হবে। উদাহরণ স্বরূপ, আমরা 12.345 নম্বরটিকে "12.345" স্ট্রিং হিসাবে এনকোড করি। এই পেলোড বিন্যাসের সাথে বড় অনুমান পেলোডগুলি ভালভাবে সমর্থিত নয়৷

ND_ARRAYS

এটি RAW_JSON পেলোড বিন্যাসের অনুরূপ তবে কীগুলি বাদ দেবে এবং শুধুমাত্র একটি NumPy ndarray-এ কলিং to_list() এর একই বিন্যাসে নম্বরগুলির একটি তালিকায় পাস করবে৷ এই পেলোড বিন্যাসটি PyTorch এর সাথে স্থানীয়ভাবে ভাল কাজ করে।