এক নজরে
বড় ডেটাসেট নিয়ে কাজ করার সময়, মডেলের মাধ্যমে সরাসরি র ডেটা পাস করলে সমস্যা হয়: এটি রেসপন্স স্লো করে দেয়, টোকেনের খরচ বাড়ায় এবং রিজনিং সংক্রান্ত সমস্যা তৈরি করে। RMI ডেটা লক্ষ লক্ষ সারি জুড়ে থাকতে পারে, তাই এজেন্টকে সীমাহীন পরিমাণ কোয়েরি করতে দেওয়া এবং বিশ্লেষণের জন্য এটি সব ইনজেস্ট করা টোকেনের ক্ষেত্রে ব্যয়বহুল এবং কন্টেক্সট উইন্ডোকে স্ফীত করে, প্রতিটি পরবর্তী টার্নে এজেন্টের পারফর্ম্যান্সকে খারাপ করে।
যেমন, RMI historical_travel_time টেবিল থেকে কোয়েরি করলে
হাজার হাজার রোড-সেগমেন্ট সারি পাওয়া যেতে পারে। কথোপকথনের ইতিহাসে সম্পূর্ণ ফলাফল সেট ফিরিয়ে আনলে, পরবর্তী প্রতিটি টার্ন ধীরগতির হয়ে যায়, খরচ বৃদ্ধি পায় এবং মডেলটি চূড়ান্ত উত্তর সংশ্লেষণ করা থেকে বিভ্রান্ত হয়।
শুধু প্রম্পট সংক্রান্ত নির্দেশাবলী এইসব সমস্যার সমাধান করতে পারবে না। একমাত্র নির্ভরযোগ্য পদ্ধতি হল টুল কল ইন্টারসেপ্ট করা এবং মডেলের কন্টেক্সট উইন্ডোর বাইরে বড় ডেটা পেলোড রুট করা।
ADK টুল কলব্যাক
টুল এক্সিকিউশন ইন্টারসেপ্ট করার জন্য ADK কলব্যাক হুক প্রদান করে। ফলাফলের বড় সেট ম্যানেজ করতে,
after_tool_callback ব্যবহার করুন:
before_tool_callback(tool, args, tool_context): মডেল কোনও টুল বেছে নেওয়ার পরে কিন্তু টুলটি এক্সিকিউট করার আগে রান করে।after_tool_callback(tool, args, tool_context, tool_response): টুলটি শেষ হওয়ার পরে রান করে, তবে ফলাফল মডেলে ফিরে যাওয়ার আগে। টুলের উত্তর পরিবর্তন করতে এটি ব্যবহার করুন।
কলব্যাক সেশন state-এ অ্যাক্সেস সহ tool_context অবজেক্ট পায়।
এর ফলে, আপনি কথোপকথন চলাকালীন ব্যাকগ্রাউন্ড মেমরিতে বড় ডেটাসেট স্টোর করতে পারবেন,
সেগুলি মডেলের প্রম্পটে যোগ করতে হবে না।
# root_agent = llm_agent.Agent(
# ...,
# after_tool_callback=stash_and_truncate_results,
# )
পোস্ট-এক্সিকিউশন ট্রাঙ্কেশন ও স্ট্যাশিং
উদ্দেশ্য: সিদ্ধান্ত নেওয়ার জন্য মডেলকে কোয়েরি ফলাফলের একটি ছোট স্যাম্পেল দেখানো, একইসাথে চূড়ান্ত আউটপুটের জন্য সম্পূর্ণ ডেটাসেট সেভ করা।
RMI এজেন্টের জন্য, একটি after_tool_callback execute_sql ফলাফল ইন্টারসেপ্ট করে,
সেশন স্টেটে সারির সম্পূর্ণ তালিকা সেভ করে এবং মোট সারি গণনার সাথে
একটি ছোট স্যাম্পেল ফেরত দেয়:
def stash_and_truncate_results(tool, args, tool_context, tool_response):
if tool.name == "execute_sql" and "rows" in tool_response:
rows = tool_response["rows"]
tool_context.state["last_sql_result"] = rows # keep everything
tool_response["total_rows_fetched"] = len(rows)
tool_response["rows"] = rows[:SAMPLE_LIMIT] # show a sample
tool_response["message"] = (
f"Showing {SAMPLE_LIMIT} of {len(rows)} rows. "
"Full result stashed in background state."
)
return tool_response
একটি স্যাম্পেল রিটার্ন করলে, ভবিষ্যতের সব টার্নে ইনপুট টোকেন কমে যায়, যার ফলে খরচ ও উত্তর দেওয়ার সময় কমে যায়। এছাড়াও, এটি বড় কোয়েরির ফলাফলকে কন্টেক্সট উইন্ডোতে ভিড় করতে দেয় না এবং মডেলের নির্দেশাবলী অনুসরণ করার ক্ষমতাকে প্রভাবিত করে না।
আপনার এজেন্ট প্রম্পট যেন স্পষ্টভাবে ব্যাখ্যা করে যে টুলগুলি ডিজাইন অনুসারে একটি নমুনা ফেরত দেয়। এই প্রসঙ্গ ছাড়া, মডেলটি আংশিক ডেটা দ্বারা বিভ্রান্ত হতে পারে, অনুপস্থিত রেকর্ডগুলি মেলানোর চেষ্টা করার জন্য কম্পিউট এবং রিজনিং টোকেন নষ্ট করে বা বাকিগুলি আনার জন্য অপ্রয়োজনীয় টুল কল চালু করে।
উদাহরণ: বড় ফলাফল সেট ম্যানেজ করা
- ব্যবহারকারী জিজ্ঞাসা করেছেন, "কোন কোন রুটে এখন ২-এর বেশি ডিলে রেশিও আছে?"
historical_travel_time-এর বিরুদ্ধে এজেন্টের কোয়েরি হাজার হাজার সারি রিটার্ন করে।after_tool_callbackসেশন স্টেটে সম্পূর্ণ ফলাফল সেভ করে এবং শুধুমাত্র একটি ছোট স্যাম্পেল এবং মোট সারির সংখ্যা দেখায়।- মডেলটি সেই স্যাম্পেলের উপর ভিত্তি করে তার সারসংক্ষেপ তৈরি করে।
- অ্যাপ্লিকেশন বা ডাউনস্ট্রিম টুল সেশন স্টেট থেকে সরাসরি সম্পূর্ণ ডেটাসেট পড়ে যাতে সম্পূর্ণ টেবিল রেন্ডার করা বা ব্যবহারকারীর জন্য এক্সপোর্ট করা যায়।
শেখার মূল বিষয়
- প্রম্পট থেকে বড় পেলোড দূরে রাখুন: প্রম্পট ইতিহাসের মাধ্যমে বড় ডেটাসেট এদিক-ওদিক পাস করার পরিবর্তে সেশন স্টেটে স্টোর করুন।
- টুলের বড় আউটপুট ট্রাঙ্কেট করুন: সেশন স্টেটে সম্পূর্ণ ফলাফল সেভ করার সময় মডেলে ছোট স্যাম্পেল
ফেরত পাঠাতে
after_tool_callbackব্যবহার করুন। - মডেলকে স্যাম্পেল সম্পর্কে জানান: একটি প্রম্পট রুল যোগ করুন যা ব্যাখ্যা করে যে মডেলের বিভ্রান্তি, যুক্তিযুক্ত টোকেনের অপচয় এবং অপ্রয়োজনীয় টুল কল এড়াতে ফলাফলগুলি স্যাম্পেল করা হয়।
পরবর্তী ধাপ
- ADK কলব্যাক রেফারেন্স: মডেল, এজেন্ট ও টুল-লেভেল ইন্টারসেপশন সম্পর্কে বিস্তারিত জানতে অফিসিয়াল ADK কলব্যাক গাইড পড়ুন।
অবদানকারী
Nathaniel Thomas | সফ্টওয়্যার ইঞ্জিনিয়ারিং ইন্টার্ন, Google Maps Platform