এই পৃষ্ঠায় জেনারেটিভ এআই শব্দকোষ রয়েছে। সকল শব্দকোষের জন্য এখানে ক্লিক করুন ।
ক
স্বয়ংক্রিয় মূল্যায়ন
একটি মডেলের আউটপুট গুণমান বিচার করতে সফ্টওয়্যার ব্যবহার করে.
যখন মডেল আউটপুট তুলনামূলকভাবে সহজবোধ্য হয়, তখন একটি স্ক্রিপ্ট বা প্রোগ্রাম মডেলের আউটপুটকে সোনালী প্রতিক্রিয়ার সাথে তুলনা করতে পারে। এই ধরনের স্বয়ংক্রিয় মূল্যায়নকে কখনও কখনও প্রোগ্রামেটিক মূল্যায়ন বলা হয়। মেট্রিক্স যেমন ROUGE বা BLEU প্রায়ই প্রোগ্রামেটিক মূল্যায়নের জন্য উপযোগী।
যখন মডেল আউটপুট জটিল হয় বা এর কোনো সঠিক উত্তর থাকে না , তখন একটি স্বয়ংক্রিয় এমএল প্রোগ্রাম নামে পরিচিত একটি স্বয়ংক্রিয় মূল্যায়ন করে।
মানুষের মূল্যায়নের সাথে বৈসাদৃশ্য।
অটোরাটার মূল্যায়ন
একটি জেনারেটিভ এআই মডেলের আউটপুটের গুণমান বিচার করার জন্য একটি হাইব্রিড প্রক্রিয়া যা মানুষের মূল্যায়নকে স্বয়ংক্রিয় মূল্যায়নের সাথে একত্রিত করে। একটি অটোরেটর হল একটি এমএল মডেল যা মানুষের মূল্যায়ন দ্বারা তৈরি ডেটার উপর প্রশিক্ষিত। আদর্শভাবে, একজন অটোরাটার একজন মানুষের মূল্যায়নকারীকে অনুকরণ করতে শেখে।প্রি-বিল্ট অটোরেটর উপলব্ধ, তবে সেরা অটোরেটরগুলি বিশেষভাবে আপনি যে কাজটি মূল্যায়ন করছেন তার জন্য সূক্ষ্ম সুর করা হয়।
অটো রিগ্রেসিভ মডেল
একটি মডেল যা তার নিজের পূর্বের ভবিষ্যদ্বাণীগুলির উপর ভিত্তি করে একটি ভবিষ্যদ্বাণী অনুমান করে৷ উদাহরণস্বরূপ, অটো-রিগ্রেসিভ ল্যাঙ্গুয়েজ মডেলগুলি পূর্বে ভবিষ্যদ্বাণী করা টোকেনের উপর ভিত্তি করে পরবর্তী টোকেনের পূর্বাভাস দেয়। সমস্ত ট্রান্সফরমার -ভিত্তিক বৃহৎ ভাষার মডেলগুলি স্বয়ংক্রিয়-রিগ্রেসিভ।
বিপরীতে, GAN- ভিত্তিক ইমেজ মডেলগুলি সাধারণত অটো-রিগ্রেসিভ হয় না কারণ তারা একটি একক ফরোয়ার্ড-পাসে একটি ছবি তৈরি করে এবং ধাপে ধাপে নয়। যাইহোক, কিছু ইমেজ জেনারেশন মডেল অটো- রিগ্রেসিভ কারণ তারা ধাপে ধাপে একটি ইমেজ তৈরি করে।
গ
চেইন-অফ-থট প্রম্পটিং
একটি প্রম্পট ইঞ্জিনিয়ারিং কৌশল যা একটি বৃহৎ ভাষা মডেল (LLM) কে ধাপে ধাপে তার যুক্তি ব্যাখ্যা করতে উৎসাহিত করে। উদাহরণস্বরূপ, দ্বিতীয় বাক্যে বিশেষ মনোযোগ দিয়ে নিম্নলিখিত প্রম্পটটি বিবেচনা করুন:
7 সেকেন্ডে প্রতি ঘন্টায় 0 থেকে 60 মাইল বেগে যাওয়া গাড়িতে একজন চালক কতটি জি ফোর্স অনুভব করবে? উত্তরে, সমস্ত প্রাসঙ্গিক গণনা দেখান।
এলএলএম এর প্রতিক্রিয়া সম্ভবত:
- উপযুক্ত স্থানে 0, 60, এবং 7 মান প্লাগ করে পদার্থবিজ্ঞানের সূত্রের একটি ক্রম দেখান।
- ব্যাখ্যা করুন কেন এটি সেই সূত্রগুলি বেছে নিয়েছে এবং বিভিন্ন ভেরিয়েবলের অর্থ কী।
চেইন-অফ-থট প্রম্পটিং এলএলএমকে সমস্ত গণনা সম্পাদন করতে বাধ্য করে, যা আরও সঠিক উত্তরের দিকে নিয়ে যেতে পারে। উপরন্তু, চেইন-অফ-থট প্রম্পটিং ব্যবহারকারীকে LLM-এর পদক্ষেপগুলি পরীক্ষা করতে সক্ষম করে উত্তরটি অর্থপূর্ণ কিনা তা নির্ধারণ করতে।
চ্যাট
একটি ML সিস্টেমের সাথে একটি পিছনে এবং সামনে কথোপকথনের বিষয়বস্তু, সাধারণত একটি বড় ভাষা মডেল । একটি চ্যাটে পূর্ববর্তী মিথস্ক্রিয়া (আপনি কী টাইপ করেছেন এবং কীভাবে বৃহৎ ভাষার মডেল প্রতিক্রিয়া জানিয়েছেন) চ্যাটের পরবর্তী অংশগুলির প্রসঙ্গ হয়ে ওঠে।
একটি চ্যাটবট একটি বড় ভাষা মডেলের একটি অ্যাপ্লিকেশন।
প্রাসঙ্গিক ভাষা এম্বেডিং
এমন একটি এমবেডিং যা "বোঝার" শব্দ এবং বাক্যাংশের কাছাকাছি আসে এমনভাবে যা স্থানীয় মানুষের বক্তা করতে পারে। প্রাসঙ্গিক ভাষা এম্বেডিং জটিল বাক্য গঠন, শব্দার্থবিদ্যা এবং প্রসঙ্গ বুঝতে পারে।
উদাহরণস্বরূপ, ইংরেজি শব্দ cow এর এমবেডিং বিবেচনা করুন। পুরানো এম্বেডিং যেমন word2vec ইংরেজি শব্দগুলিকে উপস্থাপন করতে পারে যেমন গাভী থেকে ষাঁড় পর্যন্ত এম্বেড করার স্থানের দূরত্ব ewe (স্ত্রী ভেড়া) থেকে রাম (পুরুষ ভেড়া) বা মহিলা থেকে পুরুষের দূরত্বের সমান। প্রাসঙ্গিক ভাষা এম্বেডিংগুলি স্বীকার করে আরও এক ধাপ এগিয়ে যেতে পারে যে ইংরেজি ভাষাভাষীরা কখনও কখনও গরু বা ষাঁড়ের অর্থ বোঝাতে গরু শব্দটি ব্যবহার করে।
প্রসঙ্গ উইন্ডো
প্রদত্ত প্রম্পটে একটি মডেল প্রক্রিয়া করতে পারে এমন টোকেনের সংখ্যা। প্রসঙ্গ উইন্ডো যত বড় হবে, মডেলটি প্রম্পটে সুসংগত এবং সামঞ্জস্যপূর্ণ প্রতিক্রিয়া প্রদান করতে তত বেশি তথ্য ব্যবহার করতে পারে।
ডি
সরাসরি প্রম্পটিং
জিরো-শট প্রম্পটিং -এর প্রতিশব্দ।
পাতন
একটি মডেলের আকার ( শিক্ষক হিসাবে পরিচিত) একটি ছোট মডেলে ( যা ছাত্র হিসাবে পরিচিত) হ্রাস করার প্রক্রিয়া যা যথাসম্ভব বিশ্বস্ততার সাথে আসল মডেলের ভবিষ্যদ্বাণীগুলিকে অনুকরণ করে৷ পাতন কার্যকর কারণ ছোট মডেলের বড় মডেলের (শিক্ষক) তুলনায় দুটি মূল সুবিধা রয়েছে:
- দ্রুত অনুমান সময়
- স্মৃতিশক্তি এবং শক্তির ব্যবহার হ্রাস
যাইহোক, ছাত্রের ভবিষ্যদ্বাণীগুলি সাধারণত শিক্ষকের ভবিষ্যদ্বাণীগুলির মতো ভাল হয় না।
ডিস্টিলেশন শিক্ষার্থী এবং শিক্ষক মডেলের ভবিষ্যদ্বাণীগুলির আউটপুটগুলির মধ্যে পার্থক্যের উপর ভিত্তি করে ক্ষতির কার্যকারিতা কমাতে ছাত্র মডেলকে প্রশিক্ষণ দেয়।
নিম্নোক্ত পদগুলির সাথে পাতনের তুলনা করুন এবং বৈসাদৃশ্য করুন:
আরও তথ্যের জন্য এলএলএম দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে ফাইন-টিউনিং, ডিস্টিলেশন এবং প্রম্পট ইঞ্জিনিয়ারিং ।
ই
evas
প্রাথমিকভাবে এলএলএম মূল্যায়নের সংক্ষিপ্ত রূপ হিসাবে ব্যবহৃত হয়। আরও বিস্তৃতভাবে, ইভাল হল যেকোনো ধরনের মূল্যায়নের সংক্ষিপ্ত রূপ।
মূল্যায়ন
একটি মডেলের গুণমান পরিমাপ করার বা একে অপরের সাথে বিভিন্ন মডেলের তুলনা করার প্রক্রিয়া।
একটি তত্ত্বাবধানে থাকা মেশিন লার্নিং মডেলের মূল্যায়ন করতে, আপনি সাধারণত এটিকে একটি বৈধতা সেট এবং একটি পরীক্ষা সেটের বিপরীতে বিচার করেন। একটি LLM মূল্যায়ন সাধারণত বিস্তৃত গুণমান এবং নিরাপত্তা মূল্যায়ন জড়িত।
চ
বাস্তবতা
এমএল বিশ্বের মধ্যে, এমন একটি সম্পত্তি যা একটি মডেল বর্ণনা করে যার আউটপুট বাস্তবতার উপর ভিত্তি করে। বাস্তবতা একটি মেট্রিকের পরিবর্তে একটি ধারণা। উদাহরণস্বরূপ, ধরুন আপনি একটি বড় ভাষা মডেলে নিম্নলিখিত প্রম্পট পাঠান:
টেবিল লবণের রাসায়নিক সূত্র কি?
বাস্তবতা অপ্টিমাইজ করে একটি মডেল সাড়া দেবে:
NaCl
এটা অনুমান করতে প্রলুব্ধ হয় যে সমস্ত মডেল বাস্তবতার উপর ভিত্তি করে হওয়া উচিত। যাইহোক, কিছু প্রম্পট, যেমন নিম্নলিখিত, একটি জেনারেটিভ এআই মডেলকে বাস্তবতার পরিবর্তে সৃজনশীলতাকে অপ্টিমাইজ করতে বাধ্য করা উচিত।
আমাকে একজন মহাকাশচারী এবং একটি শুঁয়োপোকা সম্পর্কে একটি লিমেরিক বলুন।
এটি অসম্ভাব্য যে ফলস্বরূপ লিমেরিক বাস্তবতার উপর ভিত্তি করে হবে।
স্থলতার সাথে বৈসাদৃশ্য।
কয়েক শট প্রম্পটিং
একটি প্রম্পট যাতে একাধিক (একটি "কয়েক") উদাহরণ রয়েছে যা প্রদর্শন করে যে কীভাবে বড় ভাষা মডেলের প্রতিক্রিয়া জানানো উচিত। উদাহরণস্বরূপ, নিম্নলিখিত দীর্ঘ প্রম্পটে দুটি উদাহরণ রয়েছে যা একটি বৃহৎ ভাষার মডেল দেখাচ্ছে কিভাবে একটি প্রশ্নের উত্তর দিতে হয়।
এক প্রম্পটের অংশ | নোট |
---|---|
নির্দিষ্ট দেশের সরকারী মুদ্রা কি? | যে প্রশ্নটির উত্তর আপনি LLM করতে চান। |
ফ্রান্স: EUR | একটি উদাহরণ. |
যুক্তরাজ্য: GBP | আরেকটি উদাহরণ। |
ভারত: | প্রকৃত প্রশ্ন. |
কিছু-শট প্রম্পটিং সাধারণত জিরো-শট প্রম্পটিং এবং ওয়ান-শট প্রম্পটিংয়ের চেয়ে বেশি পছন্দসই ফলাফল দেয়। যাইহোক, অল্প-শট প্রম্পটিংয়ের জন্য একটি দীর্ঘ প্রম্পট প্রয়োজন।
ফিউ-শট প্রম্পটিং হল প্রম্পট-ভিত্তিক শিক্ষার জন্য প্রয়োগ করা কয়েক-শট লার্নিংয়ের একটি রূপ।
আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে প্রম্পট ইঞ্জিনিয়ারিং দেখুন।
ফাইন-টিউনিং
একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে এর পরামিতিগুলিকে পরিমার্জিত করার জন্য একটি প্রাক-প্রশিক্ষিত মডেলে একটি দ্বিতীয়, টাস্ক-নির্দিষ্ট প্রশিক্ষণ পাস। উদাহরণস্বরূপ, কিছু বড় ভাষা মডেলের জন্য সম্পূর্ণ প্রশিক্ষণের ক্রম নিম্নরূপ:
- প্রাক-প্রশিক্ষণ: একটি বিশাল সাধারণ ডেটাসেটে একটি বৃহৎ ভাষার মডেলকে প্রশিক্ষণ দিন, যেমন সমস্ত ইংরেজি ভাষার উইকিপিডিয়া পৃষ্ঠা।
- ফাইন-টিউনিং: একটি নির্দিষ্ট কাজ করার জন্য প্রাক-প্রশিক্ষিত মডেলকে প্রশিক্ষণ দিন, যেমন মেডিকেল প্রশ্নের উত্তর দেওয়া। ফাইন-টিউনিংয়ে সাধারণত নির্দিষ্ট কাজের উপর দৃষ্টি নিবদ্ধ করে শত শত বা হাজার হাজার উদাহরণ জড়িত থাকে।
আরেকটি উদাহরণ হিসাবে, একটি বড় ইমেজ মডেলের জন্য সম্পূর্ণ প্রশিক্ষণের ক্রম নিম্নরূপ:
- প্রাক-প্রশিক্ষণ: একটি বিশাল সাধারণ ইমেজ ডেটাসেটে একটি বড় ইমেজ মডেলকে প্রশিক্ষণ দিন, যেমন উইকিমিডিয়া কমন্সের সমস্ত ছবি।
- ফাইন-টিউনিং: একটি নির্দিষ্ট কাজ সম্পাদন করার জন্য পূর্ব-প্রশিক্ষিত মডেলকে প্রশিক্ষণ দিন, যেমন অর্কাসের ছবি তৈরি করা।
ফাইন-টিউনিং নিম্নলিখিত কৌশলগুলির যেকোন সংমিশ্রণকে অন্তর্ভুক্ত করতে পারে:
- প্রাক-প্রশিক্ষিত মডেলের বিদ্যমান পরামিতিগুলির সমস্ত পরিবর্তন করা। একে কখনও কখনও ফুল ফাইন-টিউনিং বলা হয়।
- অন্যান্য বিদ্যমান পরামিতিগুলি অপরিবর্তিত রেখে (সাধারণত, ইনপুট স্তরের সবচেয়ে কাছের স্তরগুলি) রেখে শুধুমাত্র প্রাক-প্রশিক্ষিত মডেলের বিদ্যমান প্যারামিটারগুলির কিছু পরিবর্তন করা (সাধারণত, আউটপুট স্তরের নিকটতম স্তরগুলি)। প্যারামিটার-দক্ষ টিউনিং দেখুন।
- আরও স্তর যুক্ত করা হচ্ছে, সাধারণত আউটপুট স্তরের নিকটতম বিদ্যমান স্তরগুলির উপরে।
ফাইন-টিউনিং হল ট্রান্সফার লার্নিং এর একটি ফর্ম। যেমন, ফাইন-টিউনিং একটি ভিন্ন লস ফাংশন ব্যবহার করতে পারে বা প্রাক-প্রশিক্ষিত মডেলকে প্রশিক্ষিত করতে ব্যবহৃত মডেলের তুলনায় ভিন্ন মডেলের ধরন ব্যবহার করতে পারে। উদাহরণস্বরূপ, আপনি একটি রিগ্রেশন মডেল তৈরি করতে একটি প্রাক-প্রশিক্ষিত বড় ইমেজ মডেলকে সূক্ষ্ম-টিউন করতে পারেন যা একটি ইনপুট চিত্রে পাখির সংখ্যা ফেরত দেয়।
নিম্নলিখিত পদগুলির সাথে ফাইন-টিউনিং তুলনা করুন এবং বৈসাদৃশ্য করুন:
আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে ফাইন-টিউনিং দেখুন।
সাফল্যের ভগ্নাংশ
একটি ML মডেলের তৈরি করা পাঠ্য মূল্যায়নের জন্য একটি মেট্রিক৷ সাফল্যের ভগ্নাংশ হল "সফল" জেনারেট করা টেক্সট আউটপুটের সংখ্যাকে জেনারেট করা টেক্সট আউটপুটের মোট সংখ্যা দিয়ে ভাগ করা হয়। উদাহরণস্বরূপ, যদি একটি বড় ভাষা মডেল কোডের 10 টি ব্লক তৈরি করে, যার মধ্যে পাঁচটি সফল হয়, তাহলে সাফল্যের ভগ্নাংশ হবে 50%।
যদিও সাফল্যের ভগ্নাংশ পরিসংখ্যান জুড়ে বিস্তৃতভাবে কার্যকর, ML-এর মধ্যে, এই মেট্রিকটি প্রাথমিকভাবে কোড জেনারেশন বা গণিত সমস্যাগুলির মতো যাচাইযোগ্য কাজগুলি পরিমাপের জন্য দরকারী।
জি
মিথুন
Google-এর সবচেয়ে উন্নত AI সমন্বিত ইকোসিস্টেম। এই ইকোসিস্টেমের উপাদানগুলির মধ্যে রয়েছে:
- বিভিন্ন মিথুন মডেল ।
- মিথুন মডেলের ইন্টারেক্টিভ কথোপকথন ইন্টারফেস। ব্যবহারকারীরা প্রম্পট টাইপ করে এবং মিথুন সেই প্রম্পটে সাড়া দেয়।
- বিভিন্ন জেমিনি API
- মিথুন মডেলের উপর ভিত্তি করে বিভিন্ন ব্যবসায়িক পণ্য; উদাহরণস্বরূপ, গুগল ক্লাউডের জন্য মিথুন ।
মিথুন মডেল
গুগলের অত্যাধুনিক ট্রান্সফরমার -ভিত্তিক মাল্টিমডাল মডেল । মিথুন মডেলগুলি বিশেষভাবে এজেন্টদের সাথে সংহত করার জন্য ডিজাইন করা হয়েছে৷
ব্যবহারকারীরা মিথুন মডেলের সাথে ইন্টারেক্টিভ ডায়ালগ ইন্টারফেস এবং SDK-এর মাধ্যমে বিভিন্ন উপায়ে যোগাযোগ করতে পারে।
তৈরি করা পাঠ্য
সাধারণভাবে, একটি ML মডেল আউটপুট যে পাঠ্য. বৃহৎ ভাষার মডেলের মূল্যায়ন করার সময়, কিছু মেট্রিক্স উত্পন্ন পাঠ্যকে রেফারেন্স পাঠ্যের সাথে তুলনা করে। উদাহরণস্বরূপ, ধরুন আপনি একটি এমএল মডেল ফরাসি থেকে ডাচ ভাষায় কতটা কার্যকরভাবে অনুবাদ করে তা নির্ধারণ করার চেষ্টা করছেন। এই ক্ষেত্রে:
- জেনারেট করা পাঠ্য হল ডাচ অনুবাদ যা ML মডেল আউটপুট করে।
- রেফারেন্স টেক্সট হল ডাচ অনুবাদ যা একজন মানব অনুবাদক (বা সফ্টওয়্যার) তৈরি করে।
মনে রাখবেন কিছু মূল্যায়ন কৌশল রেফারেন্স টেক্সট জড়িত না.
জেনারেটিভ এআই
কোনো আনুষ্ঠানিক সংজ্ঞা ছাড়াই একটি উদীয়মান রূপান্তরমূলক ক্ষেত্র। এটি বলেছে, বেশিরভাগ বিশেষজ্ঞরা সম্মত হন যে জেনারেটিভ এআই মডেলগুলি নিম্নলিখিত সমস্ত সামগ্রী তৈরি করতে পারে ("উত্পন্ন"):
- জটিল
- সুসঙ্গত
- মূল
উদাহরণস্বরূপ, একটি জেনারেটিভ এআই মডেল পরিশীলিত প্রবন্ধ বা চিত্র তৈরি করতে পারে।
LSTMs এবং RNN সহ কিছু আগের প্রযুক্তিও আসল এবং সুসংগত বিষয়বস্তু তৈরি করতে পারে। কিছু বিশেষজ্ঞ এই আগের প্রযুক্তিগুলিকে জেনারেটিভ AI হিসাবে দেখেন, অন্যরা মনে করেন যে সত্যিকারের জেনারেটিভ AI-এর জন্য আগের প্রযুক্তিগুলি তৈরি করতে পারে তার চেয়ে আরও জটিল আউটপুট প্রয়োজন।
ভবিষ্যদ্বাণীমূলক ML এর সাথে বৈসাদৃশ্য।
সুবর্ণ প্রতিক্রিয়া
একটি উত্তর ভাল হতে পরিচিত. উদাহরণস্বরূপ, নিম্নলিখিত প্রম্পট দেওয়া হয়েছে:
2 + 2
সুবর্ণ প্রতিক্রিয়া আশা করা যায়:
4
এইচ
মানুষের মূল্যায়ন
একটি প্রক্রিয়া যেখানে লোকেরা একটি এমএল মডেলের আউটপুটের গুণমান বিচার করে; উদাহরণস্বরূপ, দ্বিভাষিক লোকেদের একটি ML অনুবাদ মডেলের গুণমান বিচার করা। মানুষের মূল্যায়ন বিশেষ করে এমন মডেল বিচার করার জন্য উপযোগী যেগুলোর কোনো সঠিক উত্তর নেই ।
স্বয়ংক্রিয় মূল্যায়ন এবং অটোরাটার মূল্যায়নের সাথে বৈসাদৃশ্য।
হিউম্যান ইন দ্য লুপ (HITL)
একটি ঢিলেঢালাভাবে সংজ্ঞায়িত বাগধারা যার অর্থ নিম্নলিখিত যে কোনো একটি হতে পারে:
- জেনারেটিভ এআই আউটপুটকে সমালোচনামূলক বা সন্দেহজনকভাবে দেখার নীতি। উদাহরণস্বরূপ, যারা এই ML শব্দকোষটি লেখেন তারা বৃহৎ ভাষার মডেলগুলি কী করতে পারে তা দেখে বিস্মিত হয় কিন্তু বৃহৎ ভাষার মডেলগুলি যে ভুলগুলি করে সে সম্পর্কে সচেতন।
- মানুষ একটি মডেলের আচরণকে আকৃতি, মূল্যায়ন এবং পরিমার্জন করতে সাহায্য করে তা নিশ্চিত করার জন্য একটি কৌশল বা সিস্টেম। একজন মানুষকে লুপের মধ্যে রাখা একটি AI কে মেশিন বুদ্ধিমত্তা এবং মানুষের বুদ্ধিমত্তা উভয় থেকে উপকৃত করতে সক্ষম করে। উদাহরণস্বরূপ, একটি সিস্টেম যেখানে একটি AI কোড তৈরি করে যা সফ্টওয়্যার ইঞ্জিনিয়াররা তারপর পর্যালোচনা করে একটি মানব-ইন-লুপ সিস্টেম।
আমি
প্রেক্ষাপটে শিক্ষা
কয়েক শট প্রম্পটিং এর সমার্থক।
নির্দেশ টিউনিং
ফাইন-টিউনিংয়ের একটি ফর্ম যা নির্দেশাবলী অনুসরণ করার জন্য একটি জেনারেটিভ এআই মডেলের ক্ষমতাকে উন্নত করে। ইন্সট্রাকশন টিউনিং এর মধ্যে একটি মডেলকে নির্দেশনা প্রম্পটের একটি সিরিজের প্রশিক্ষণ দেওয়া হয়, সাধারণত বিভিন্ন ধরনের কাজ কভার করে। ফলস্বরূপ নির্দেশ-সুরিত মডেলটি বিভিন্ন ধরনের কাজ জুড়ে জিরো-শট প্রম্পটে দরকারী প্রতিক্রিয়া তৈরি করে।
এর সাথে তুলনা এবং বৈসাদৃশ্য:
এল
এলএলএম
বড় ভাষার মডেলের সংক্ষিপ্ত রূপ।
এলএলএম মূল্যায়ন (ইভাল)
বড় ভাষা মডেল (LLMs) এর কর্মক্ষমতা মূল্যায়ন করার জন্য মেট্রিক্স এবং বেঞ্চমার্কের একটি সেট। উচ্চ স্তরে, এলএলএম মূল্যায়ন:
- এলএলএম-এর উন্নতি প্রয়োজন এমন ক্ষেত্রগুলি চিহ্নিত করতে গবেষকদের সাহায্য করুন।
- বিভিন্ন এলএলএম তুলনা করতে এবং একটি নির্দিষ্ট কাজের জন্য সেরা এলএলএম সনাক্ত করতে কার্যকর।
- LLM গুলি নিরাপদ এবং ব্যবহারের জন্য নৈতিক তা নিশ্চিত করতে সাহায্য করুন৷
LoRA
নিম্ন-র্যাঙ্ক অভিযোজনযোগ্যতার সংক্ষিপ্ত রূপ।
নিম্ন-র্যাঙ্ক অভিযোজনযোগ্যতা (LoRA)
সূক্ষ্ম টিউনিংয়ের জন্য একটি প্যারামিটার-দক্ষ কৌশল যা মডেলের প্রাক-প্রশিক্ষিত ওজনগুলিকে "হিমায়িত" করে (যেমন সেগুলি আর পরিবর্তন করা যায় না) এবং তারপরে মডেলের মধ্যে প্রশিক্ষণযোগ্য ওজনের একটি ছোট সেট সন্নিবেশ করায়। প্রশিক্ষনযোগ্য ওজনের এই সেটটি ("আপডেট ম্যাট্রিস" নামেও পরিচিত) বেস মডেলের তুলনায় যথেষ্ট ছোট এবং তাই প্রশিক্ষণের জন্য অনেক দ্রুত।
LoRA নিম্নলিখিত সুবিধা প্রদান করে:
- ডোমেনের জন্য একটি মডেলের ভবিষ্যদ্বাণীর গুণমান উন্নত করে যেখানে সূক্ষ্ম টিউনিং প্রয়োগ করা হয়।
- একটি মডেলের সমস্ত প্যারামিটার সূক্ষ্ম-টিউন করার প্রয়োজন হয় এমন কৌশলগুলির চেয়ে দ্রুত ফাইন-টিউন।
- একই বেস মডেল ভাগ করে নেওয়া একাধিক বিশেষ মডেলের একযোগে পরিবেশন সক্ষম করে অনুমানের গণনামূলক খরচ হ্রাস করে।
এম
মেশিন অনুবাদ
একটি মানুষের ভাষা থেকে অন্য মানুষের ভাষায় পাঠ্য রূপান্তর করতে সফ্টওয়্যার (সাধারণত, একটি মেশিন লার্নিং মডেল) ব্যবহার করে, উদাহরণস্বরূপ, ইংরেজি থেকে জাপানি ভাষায়।
গড় নির্ভুলতা k এ গড় (mAP@k)
একটি বৈধতা ডেটাসেট জুড়ে k স্কোরে সমস্ত গড় নির্ভুলতার পরিসংখ্যানগত গড়। k-এ গড় গড় নির্ভুলতার একটি ব্যবহার হল একটি সুপারিশ সিস্টেম দ্বারা উত্পন্ন সুপারিশের গুণমান বিচার করা।
যদিও "গড় গড়" শব্দগুচ্ছ অপ্রয়োজনীয় শোনায়, মেট্রিকের নামটি উপযুক্ত। সর্বোপরি, এই মেট্রিকটি k মানগুলিতে একাধিক গড় নির্ভুলতার গড় খুঁজে পায়।
বিশেষজ্ঞদের মিশ্রণ
একটি প্রদত্ত ইনপুট টোকেন বা উদাহরণ প্রক্রিয়া করার জন্য শুধুমাত্র এর পরামিতিগুলির একটি উপসেট (একজন বিশেষজ্ঞ হিসাবে পরিচিত) ব্যবহার করে নিউরাল নেটওয়ার্ক দক্ষতা বাড়ানোর একটি স্কিম। একটি গেটিং নেটওয়ার্ক প্রতিটি ইনপুট টোকেন বা উদাহরণ সঠিক বিশেষজ্ঞের কাছে পাঠায়।
বিস্তারিত জানার জন্য, নিচের যে কোনো একটি পেপার দেখুন:
- আক্রোশজনকভাবে বৃহৎ নিউরাল নেটওয়ার্ক: বিক্ষিপ্তভাবে গেটেড মিশ্রণ-অফ-বিশেষজ্ঞ স্তর
- এক্সপার্ট চয়েস রাউটিং সহ বিশেষজ্ঞদের মিশ্রণ
এমএমআইটি
মাল্টিমোডাল নির্দেশের সংক্ষিপ্ত রূপ।
মডেল ক্যাসকেডিং
একটি সিস্টেম যা একটি নির্দিষ্ট অনুমান প্রশ্নের জন্য আদর্শ মডেল বেছে নেয়।
অনেক বড় (প্রচুর প্যারামিটার ) থেকে অনেক ছোট (অনেক কম পরামিতি) পর্যন্ত মডেলের একটি গ্রুপ কল্পনা করুন। খুব বড় মডেল ছোট মডেলের তুলনায় অনুমান সময়ে বেশি কম্পিউটেশনাল রিসোর্স ব্যবহার করে। যাইহোক, খুব বড় মডেলগুলি সাধারণত ছোট মডেলের তুলনায় আরও জটিল অনুরোধগুলি অনুমান করতে পারে। মডেল ক্যাসকেডিং অনুমান কোয়েরির জটিলতা নির্ধারণ করে এবং তারপর অনুমান সম্পাদনের জন্য উপযুক্ত মডেল বেছে নেয়। মডেল ক্যাসকেডিংয়ের প্রধান অনুপ্রেরণা হল সাধারণভাবে ছোট মডেল নির্বাচন করে অনুমান খরচ কমানো, এবং আরও জটিল প্রশ্নের জন্য শুধুমাত্র একটি বড় মডেল নির্বাচন করা।
কল্পনা করুন যে একটি ছোট মডেল একটি ফোনে চলে এবং সেই মডেলের একটি বড় সংস্করণ একটি দূরবর্তী সার্ভারে চলে। ভাল মডেল ক্যাসকেডিং ছোট মডেলটিকে সহজ অনুরোধগুলি পরিচালনা করতে সক্ষম করে এবং জটিল অনুরোধগুলি পরিচালনা করার জন্য শুধুমাত্র দূরবর্তী মডেলটিকে কল করে খরচ এবং বিলম্বতা হ্রাস করে৷
এছাড়াও মডেল রাউটার দেখুন।
মডেল রাউটার
অ্যালগরিদম যা মডেল ক্যাসকেডিং- এ অনুমানের জন্য আদর্শ মডেল নির্ধারণ করে। একটি মডেল রাউটার নিজেই সাধারণত একটি মেশিন লার্নিং মডেল যা ধীরে ধীরে শেখে কিভাবে একটি প্রদত্ত ইনপুটের জন্য সেরা মডেল বাছাই করা যায়। যাইহোক, একটি মডেল রাউটার কখনও কখনও একটি সহজ, নন-মেশিন লার্নিং অ্যালগরিদম হতে পারে।
MOE
বিশেষজ্ঞদের মিশ্রণের সংক্ষিপ্ত রূপ।
এমটি
মেশিন অনুবাদের সংক্ষিপ্ত রূপ।
এন
সঠিক উত্তর নেই (NORA)
একাধিক উপযুক্ত প্রতিক্রিয়া থাকার একটি প্রম্পট । উদাহরণস্বরূপ, নিম্নলিখিত প্রম্পটের কোনো সঠিক উত্তর নেই:
হাতি নিয়ে একটা কৌতুক বলুন।
কোনো-এক-ডান-উত্তর প্রম্পট মূল্যায়ন করা চ্যালেঞ্জিং হতে পারে।
নোরা
কোন একটি সঠিক উত্তর জন্য সংক্ষেপণ.
ও
এক শট প্রম্পটিং
একটি প্রম্পট যাতে একটি উদাহরণ রয়েছে যা প্রদর্শন করে যে কীভাবে বড় ভাষা মডেলের প্রতিক্রিয়া জানানো উচিত। উদাহরণ স্বরূপ, নিচের প্রম্পটে একটি উদাহরণ রয়েছে যেটি একটি বৃহৎ ভাষার মডেল দেখায় কিভাবে এটি একটি প্রশ্নের উত্তর দিতে হবে।
এক প্রম্পটের অংশ | নোট |
---|---|
নির্দিষ্ট দেশের সরকারী মুদ্রা কি? | যে প্রশ্নটির উত্তর আপনি LLM করতে চান। |
ফ্রান্স: EUR | একটি উদাহরণ. |
ভারত: | প্রকৃত প্রশ্ন. |
নিম্নলিখিত পদগুলির সাথে এক-শট প্রম্পটিং তুলনা করুন এবং বৈসাদৃশ্য করুন:
পৃ
প্যারামিটার-দক্ষ টিউনিং
একটি বৃহৎ প্রাক-প্রশিক্ষিত ভাষা মডেল (PLM) সম্পূর্ণ ফাইন-টিউনিংয়ের চেয়ে আরও দক্ষতার সাথে সূক্ষ্ম-টিউন করার কৌশলগুলির একটি সেট। প্যারামিটার-দক্ষ টিউনিং সাধারণত পূর্ণ সূক্ষ্ম-টিউনিংয়ের চেয়ে অনেক কম পরামিতিকে সূক্ষ্ম-টিউন করে, তবুও সাধারণত একটি বৃহৎ ভাষার মডেল তৈরি করে যা সম্পূর্ণ সূক্ষ্ম-টিউনিং থেকে নির্মিত একটি বৃহৎ ভাষার মডেল হিসাবে (বা প্রায় পাশাপাশি) কাজ করে।
এর সাথে পরামিতি-দক্ষ টিউনিং তুলনা করুন এবং বৈসাদৃশ্য করুন:
প্যারামিটার-দক্ষ টিউনিং প্যারামিটার-দক্ষ ফাইন-টিউনিং নামেও পরিচিত।
পিএলএম
প্রাক-প্রশিক্ষিত ভাষা মডেলের সংক্ষিপ্ত রূপ।
পোস্ট-প্রশিক্ষিত মডেল
ঢিলেঢালাভাবে সংজ্ঞায়িত শব্দ যা সাধারণত একটি প্রাক-প্রশিক্ষিত মডেলকে বোঝায় যা কিছু পোস্ট-প্রসেসিংয়ের মধ্য দিয়ে গেছে, যেমন নিচের এক বা একাধিক:
প্রাক-প্রশিক্ষিত মডেল
সাধারণত, একটি মডেল যা ইতিমধ্যে প্রশিক্ষিত হয়েছে। শব্দটি একটি পূর্বে প্রশিক্ষিত এমবেডিং ভেক্টরকেও বোঝাতে পারে।
প্রাক-প্রশিক্ষিত ভাষা মডেল শব্দটি সাধারণত একটি ইতিমধ্যে প্রশিক্ষিত বড় ভাষা মডেলকে বোঝায়।
প্রাক-প্রশিক্ষণ
একটি বড় ডেটাসেটে একটি মডেলের প্রাথমিক প্রশিক্ষণ৷ কিছু প্রাক-প্রশিক্ষিত মডেল হল আনাড়ি জায়ান্ট এবং সাধারণত অতিরিক্ত প্রশিক্ষণের মাধ্যমে পরিমার্জিত হতে হবে। উদাহরণস্বরূপ, এমএল বিশেষজ্ঞরা একটি বিশাল টেক্সট ডেটাসেটে, যেমন উইকিপিডিয়ার সমস্ত ইংরেজি পৃষ্ঠাগুলিতে একটি বড় ভাষার মডেলকে প্রাক-প্রশিক্ষণ দিতে পারে। প্রাক-প্রশিক্ষণের পরে, ফলস্বরূপ মডেলটি নিম্নলিখিত কৌশলগুলির মাধ্যমে আরও পরিমার্জিত হতে পারে:
প্রম্পট
একটি বৃহৎ ভাষার মডেলে ইনপুট হিসাবে প্রবেশ করা যেকোন পাঠ্য মডেলটিকে একটি নির্দিষ্ট উপায়ে আচরণ করার শর্ত দেয়। প্রম্পটগুলি একটি বাক্যাংশের মতো ছোট বা ইচ্ছাকৃতভাবে দীর্ঘ হতে পারে (উদাহরণস্বরূপ, একটি উপন্যাসের সম্পূর্ণ পাঠ্য)। প্রম্পটগুলি নিম্নলিখিত সারণীতে দেখানো সহ একাধিক বিভাগে পড়ে:
প্রম্পট বিভাগ | উদাহরণ | নোট |
---|---|---|
প্রশ্ন | একটি কবুতর কত দ্রুত উড়তে পারে? | |
নির্দেশ | স্বেচ্ছাচারিতা সম্পর্কে একটি মজার কবিতা লিখুন। | একটি প্রম্পট যা বড় ভাষা মডেলকে কিছু করতে বলে। |
উদাহরণ | HTML-এ মার্কডাউন কোড অনুবাদ করুন। যেমন: মার্কডাউন: * তালিকা আইটেম HTML: <ul> <li>তালিকা আইটেম</li> </ul> | এই উদাহরণের প্রম্পটে প্রথম বাক্যটি একটি নির্দেশ। প্রম্পটের অবশিষ্টাংশটি উদাহরণ। |
ভূমিকা | পদার্থবিদ্যায় পিএইচডি করার জন্য মেশিন লার্নিং প্রশিক্ষণে গ্রেডিয়েন্ট ডিসেন্ট কেন ব্যবহার করা হয় তা ব্যাখ্যা করুন। | বাক্যের প্রথম অংশটি একটি নির্দেশ; "পদার্থবিজ্ঞানে পিএইচডি করতে" বাক্যাংশটি ভূমিকা অংশ। |
মডেল সম্পূর্ণ করার জন্য আংশিক ইনপুট | যুক্তরাজ্যের প্রধানমন্ত্রী এখানে থাকেন | একটি আংশিক ইনপুট প্রম্পট হয় আকস্মিকভাবে শেষ হতে পারে (যেমন এই উদাহরণটি করে) অথবা একটি আন্ডারস্কোর দিয়ে শেষ হতে পারে। |
একটি জেনারেটিভ এআই মডেল টেক্সট, কোড, ইমেজ, এমবেডিং , ভিডিও...প্রায় যেকোন কিছুর সাথে প্রম্পটে সাড়া দিতে পারে।
প্রম্পট-ভিত্তিক শিক্ষা
নির্দিষ্ট মডেলের একটি ক্ষমতা যা তাদের স্বেচ্ছাচারী পাঠ্য ইনপুট ( প্রম্পট ) এর প্রতিক্রিয়ায় তাদের আচরণকে মানিয়ে নিতে সক্ষম করে। একটি সাধারণ প্রম্পট-ভিত্তিক শেখার দৃষ্টান্তে, একটি বৃহৎ ভাষা মডেল পাঠ্য তৈরি করে একটি প্রম্পটে সাড়া দেয়। উদাহরণস্বরূপ, ধরুন একজন ব্যবহারকারী নিম্নলিখিত প্রম্পটে প্রবেশ করে:
নিউটনের গতির তৃতীয় সূত্র সংক্ষিপ্ত কর।
প্রম্পট-ভিত্তিক শিক্ষার জন্য সক্ষম একটি মডেল পূর্ববর্তী প্রম্পটের উত্তর দেওয়ার জন্য বিশেষভাবে প্রশিক্ষিত নয়। বরং, মডেলটি পদার্থবিজ্ঞান সম্পর্কে অনেক তথ্য, সাধারণ ভাষার নিয়ম সম্পর্কে অনেক কিছু এবং সাধারণত দরকারী উত্তরগুলি কী গঠন করে সে সম্পর্কে অনেক কিছু "জানে"৷ সেই জ্ঞান একটি (আশা করি) দরকারী উত্তর প্রদানের জন্য যথেষ্ট। অতিরিক্ত মানুষের প্রতিক্রিয়া ("সেই উত্তরটি খুব জটিল ছিল।" বা "একটি প্রতিক্রিয়া কী?") কিছু প্রম্পট-ভিত্তিক শিক্ষা ব্যবস্থাকে তাদের উত্তরগুলির উপযোগিতাকে ধীরে ধীরে উন্নত করতে সক্ষম করে।
প্রম্পট নকশা
প্রম্পট ইঞ্জিনিয়ারিং এর প্রতিশব্দ।
প্রম্পট ইঞ্জিনিয়ারিং
প্রম্পট তৈরি করার শিল্প যা একটি বৃহৎ ভাষার মডেল থেকে পছন্দসই প্রতিক্রিয়াগুলি প্রকাশ করে। মানুষ প্রম্পট ইঞ্জিনিয়ারিং সঞ্চালন. সুগঠিত প্রম্পট লেখা একটি বড় ভাষা মডেল থেকে কার্যকর প্রতিক্রিয়া নিশ্চিত করার একটি অপরিহার্য অংশ। প্রম্পট ইঞ্জিনিয়ারিং অনেক কারণের উপর নির্ভর করে, যার মধ্যে রয়েছে:
- ডেটাসেটটি প্রাক-প্রশিক্ষণ এবং সম্ভবত বৃহৎ ভাষার মডেলটিকে সূক্ষ্ম-টিউন করতে ব্যবহৃত হয়।
- তাপমাত্রা এবং অন্যান্য ডিকোডিং পরামিতি যা মডেল প্রতিক্রিয়া তৈরি করতে ব্যবহার করে।
সহায়ক প্রম্পট লেখার বিষয়ে আরও বিস্তারিত জানার জন্য প্রম্পট ডিজাইনের ভূমিকা দেখুন।
প্রম্পট ডিজাইন প্রম্পট ইঞ্জিনিয়ারিং এর প্রতিশব্দ।
প্রম্পট টিউনিং
একটি পরামিতি দক্ষ টিউনিং প্রক্রিয়া যা একটি "প্রিফিক্স" শিখে যা সিস্টেমটি প্রকৃত প্রম্পটে প্রিপেন্ড করে।
প্রম্পট টিউনিং-এর একটি বৈচিত্র—কখনও কখনও প্রিফিক্স টিউনিং বলা হয়— প্রতিটি স্তরে উপসর্গটি প্রিপেন্ড করা। বিপরীতে, বেশিরভাগ প্রম্পট টিউনিং শুধুমাত্র ইনপুট স্তরে একটি উপসর্গ যোগ করে।
আর
রেফারেন্স টেক্সট
প্রম্পটে একজন বিশেষজ্ঞের প্রতিক্রিয়া। উদাহরণস্বরূপ, নিম্নলিখিত প্রম্পট দেওয়া হয়েছে:
প্রশ্ন অনুবাদ করুন "আপনার নাম কি?" ইংরেজি থেকে ফরাসি।
একজন বিশেষজ্ঞের প্রতিক্রিয়া হতে পারে:
মন্তব্য vous applez-vous?
বিভিন্ন মেট্রিক্স (যেমন ROUGE ) যে মাত্রায় রেফারেন্স টেক্সট একটি ML মডেলের তৈরি করা পাঠ্যের সাথে মেলে তা পরিমাপ করে।
হিউম্যান ফিডব্যাক থেকে রিইনফোর্সমেন্ট লার্নিং (RLHF)
একটি মডেলের প্রতিক্রিয়ার গুণমান উন্নত করতে মানব রেটারদের প্রতিক্রিয়া ব্যবহার করা। উদাহরণস্বরূপ, একটি RLHF মেকানিজম ব্যবহারকারীদেরকে একটি মডেলের প্রতিক্রিয়ার গুণমানকে 👍 বা 👎 ইমোজি দিয়ে রেট দিতে বলতে পারে। সিস্টেম তারপর সেই প্রতিক্রিয়ার উপর ভিত্তি করে তার ভবিষ্যত প্রতিক্রিয়া সামঞ্জস্য করতে পারে।
ভূমিকা প্রম্পটিং
একটি প্রম্পটের একটি ঐচ্ছিক অংশ যা একটি জেনারেটিভ এআই মডেলের প্রতিক্রিয়ার জন্য লক্ষ্য দর্শকদের সনাক্ত করে। রোল প্রম্পট ছাড়াই , একটি বৃহৎ ভাষা মডেল একটি উত্তর প্রদান করে যা প্রশ্ন জিজ্ঞাসাকারী ব্যক্তির পক্ষে কার্যকর হতে পারে বা নাও হতে পারে। একটি ভূমিকা প্রম্পট সহ , একটি বড় ভাষা মডেল এমনভাবে উত্তর দিতে পারে যা একটি নির্দিষ্ট লক্ষ্য দর্শকদের জন্য আরও উপযুক্ত এবং আরও সহায়ক। উদাহরণস্বরূপ, নিম্নলিখিত প্রম্পটগুলির ভূমিকা প্রম্পট অংশটি বোল্ডফেসে রয়েছে:
- অর্থনীতিতে পিএইচডি করার জন্য এই নিবন্ধটি সংক্ষিপ্ত করুন।
- একটি দশ বছর বয়সী জন্য জোয়ার কিভাবে কাজ করে বর্ণনা করুন.
- 2008 সালের আর্থিক সংকট ব্যাখ্যা কর। আপনি একটি ছোট শিশু বা একটি সোনার উদ্ধারকারীর সাথে কথা বলুন।
এস
নরম প্রম্পট টিউনিং
রিসোর্স ইনটেনসিভ ফাইন-টিউনিং ছাড়াই একটি নির্দিষ্ট কাজের জন্য একটি বড় ভাষার মডেল টিউন করার একটি কৌশল। মডেলের সমস্ত ওজন পুনরায় প্রশিক্ষণের পরিবর্তে, নরম প্রম্পট টিউনিং স্বয়ংক্রিয়ভাবে একই লক্ষ্য অর্জনের জন্য একটি প্রম্পট সামঞ্জস্য করে।
একটি পাঠ্য প্রম্পট দেওয়া হলে, সফ্ট প্রম্পট টিউনিং সাধারণত প্রম্পটে অতিরিক্ত টোকেন এম্বেডিং যুক্ত করে এবং ইনপুট অপ্টিমাইজ করতে ব্যাকপ্রোপগেশন ব্যবহার করে।
একটি "হার্ড" প্রম্পটে টোকেন এম্বেডিংয়ের পরিবর্তে প্রকৃত টোকেন থাকে।
টি
তাপমাত্রা
একটি হাইপারপ্যারামিটার যা একটি মডেলের আউটপুটের এলোমেলোতার মাত্রা নিয়ন্ত্রণ করে। উচ্চ তাপমাত্রার ফলে আরও এলোমেলো আউটপুট হয়, যখন কম তাপমাত্রার ফলে কম এলোমেলো আউটপুট হয়।
সেরা তাপমাত্রা নির্বাচন নির্দিষ্ট অ্যাপ্লিকেশন এবং মডেলের আউটপুট পছন্দের বৈশিষ্ট্য উপর নির্ভর করে। উদাহরণস্বরূপ, সৃজনশীল আউটপুট তৈরি করে এমন একটি অ্যাপ্লিকেশন তৈরি করার সময় আপনি সম্ভবত তাপমাত্রা বাড়াবেন। বিপরীতভাবে, মডেলের নির্ভুলতা এবং ধারাবাহিকতা উন্নত করার জন্য চিত্র বা পাঠ্যকে শ্রেণীবদ্ধ করে এমন একটি মডেল তৈরি করার সময় আপনি সম্ভবত তাপমাত্রা কমিয়ে দেবেন।
তাপমাত্রা প্রায়ই softmax সঙ্গে ব্যবহার করা হয়.
জেড
জিরো-শট প্রম্পটিং
একটি প্রম্পট যা আপনি বড় ভাষার মডেলটি কীভাবে প্রতিক্রিয়া জানাতে চান তার একটি উদাহরণ প্রদান করে না । যেমন:
এক প্রম্পটের অংশ | নোট |
---|---|
নির্দিষ্ট দেশের সরকারী মুদ্রা কি? | যে প্রশ্নটির উত্তর আপনি LLM করতে চান। |
ভারত: | প্রকৃত প্রশ্ন. |
বৃহৎ ভাষার মডেল নিম্নোক্ত যেকোনো একটির সাথে সাড়া দিতে পারে:
- রুপি
- INR
- ₹
- ভারতীয় রুপি
- রুপি
- ভারতীয় রুপি
সমস্ত উত্তর সঠিক, যদিও আপনি একটি নির্দিষ্ট বিন্যাস পছন্দ করতে পারেন।
নিম্নোক্ত পদগুলির সাথে শূন্য-শট প্রম্পটিং তুলনা করুন এবং বৈসাদৃশ্য করুন: