بهینه‌سازی سرعت استنتاج با ذخیره پیشوند

ذخیره‌سازی پیشوند در حافظه نهان ویژگی‌ای است که با ذخیره و استفاده مجدد از وضعیت LLM میانی پردازش بخش پیشوند پیام‌واره مشترک و تکراری، زمان استنتاج را کاهش می‌دهد. برای فعال کردن ذخیره پیشوند در حافظه نهان، فقط باید پیشوند ثابت را از پسوند پویا در درخواست میانای برنامه‌سازی کاربردی جدا کنید.

درحال‌حاضر، ذخیره پیشوند در حافظه نهان فقط از ورودی نوشتاری پشتیبانی می‌کند، بنابراین اگر در پیام‌واره‌تان تصویر ارائه می‌دهید، نباید از این ویژگی استفاده کنید.

دو رویکرد برای پیاده‌سازی ذخیره‌سازی پیشوند در حافظه نهان وجود دارد: ضمنی یا صریح:

استفاده ضمنی از ذخیره‌سازی پیشوند در حافظه نهان

برای فعال کردن ذخیره پیشوند در حافظه نهان، بخش مشترک پیام‌واره را به فیلد promptPrefix اضافه کنید، همان‌طور که در تکه‌کدهای زیر نشان داده شده است:

Kotlin

val promptPrefix = "Reverse the given sentence: "
val dynamicSuffix = "Hello World"

val result = generativeModel.generateContent(
  generateContentRequest(TextPart(dynamicSuffix)) {
    promptPrefix = PromptPrefix(promptPrefix)
  }
)

جاوا

String promptPrefix = "Reverse the given sentence: ";
String dynamicSuffix = "Hello World";

GenerateContentResponse response = generativeModelFutures.generateContent(
    new GenerateContentRequest.Builder(new TextPart(dynamicSuffix))
    .setPromptPrefix(new PromptPrefix(promptPrefix))
    .build())
    .get();

در قطعه کد بالا، dynamicSuffix به‌عنوان محتوای اصلی ارسال می‌شود و promptPrefix به‌صورت جداگانه ارائه می‌شود.

بهبود عملکرد تخمینی

بدون ذخیره‌سازی پیشوند در حافظه نهان

با پیشوند cache-hit

(وقتی پیشوند برای اولین‌بار استفاده می‌شود، ممکن است خطای عدم وجود پیشوند در حافظه پنهان رخ دهد)

‫Pixel 9 با پیشوند ثابت ۳۰۰ نشانه‌ای و پسوند پویای ۵۰ نشانه‌ای پیام‌واره

‫۰٫۸۲ ثانیه

‫۰٫۴۵ ثانیه

‫Pixel 9 با پیشوند ثابت ۱۰۰۰ نشانه‌ای و پیام‌واره پسوند پویای ۱۰۰ نشانه‌ای

‫۲٫۱۱ ثانیه

۰٫۵ ثانیه

ملاحظات فضای ذخیره‌سازی

با ذخیره کردن حافظه نهان پیشوند ضمنی، فایل‌های حافظه نهان در فضای ذخیره‌سازی خصوصی برنامه کارخواه ذخیره می‌شوند که این امر مصرف فضای ذخیره‌سازی برنامه‌تان را افزایش می‌دهد. فایل‌های حافظه نهان رمزگذاری‌شده و فراداده‌های منسوب به آن‌ها، ازجمله نوشتار پیشوند اصلی، ذخیره می‌شوند. موارد زیر را درباره فضای ذخیره‌سازی به‌خاطر داشته باشید:

  • تعداد حافظه‌های پنهان توسط سازوکار LRU (کم‌استفاده‌ترین‌های اخیر) مدیریت می‌شود. وقتی از حداکثر مقدار کل حافظه نهان فراتر بروید، حافظه‌های نهانی که کمتر استفاده شده‌اند به‌طور خودکار حذف می‌شوند.
  • اندازه حافظه پنهان پیام‌واره به طول پیشوند بستگی دارد.
  • برای پاک کردن همه حافظه‌های پنهان ایجادشده از حافظه پنهان پیشوند، از روش generativeMode.clearImplicitCaches() استفاده کنید.

استفاده کردن از مدیریت صریح حافظه نهان

دسترسی مستقیم به مدل شامل روش‌های صریح مدیریت حافظه پنهان است تا به توسعه‌دهندگان کنترل دقیق‌تری بر نحوه ایجاد، جستجو، استفاده، و حذف حافظه‌های پنهان بدهد. این عملیات دستی مستقل از مدیریت خودکار حافظه نهان سیستم اجرا می‌شود.

این مثال نحوه مقداردهی اولیه مدیریت حافظه نهان صریح و انجام استنتاج را نشان می‌دهد:

Kotlin

val cacheName = "my_cache"
val promptPrefix = "Reverse the given sentence: "
val dynamicSuffix = "Hello World"

// Create a cache
val cacheRequest = createCachedContextRequest(cacheName, PromptPrefix(promptPrefix))
val cache = generativeModel.caches.create(cacheRequest)

// Run inference with the cache
val response = generativeModel.generateContent(
  generateContentRequest(TextPart(dynamicSuffix)) {
    cachedContextName = cache.name
  }
)

جاوا

String cacheName = "my_cache";
String promptPrefix = "Reverse the given sentence: ";
String dynamicSuffix = "Hello World";

// Create a cache
CachedContext cache = cachesFutures.create(
  new CreateCachedContextRequest.Builder(cacheName, new PromptPrefix(promptPrefix))
  .build())
  .get();

// Run inference with the cache
GenerateContentResponse response = generativeModelFutures.generateContent(
  new GenerateContentRequest.Builder(new TextPart(dynamicSuffix))
  .setCachedContextName(cache.getName())
  .build())
  .get();

این مثال نشان می‌دهد که چگونه بااستفاده از generativeModel.caches، حافظه‌های پنهان صریحاً مدیریت‌شده را پُرسمان، بازیابی، و حذف کنید:

Kotlin

val cacheName = "my_cache"

// Query pre-created caches
for (cache in generativeModel.caches.list()) {
  // Do something with cache
}

// Get specific cache
val cache = generativeModel.caches.get(cacheName)

// Delete a pre-created cache
generativeModel.caches.delete(cacheName)

جاوا

String cacheName = "my_cache";

// Query pre-created caches
for (PrefixCache cache : cachesFutures.list().get()) {
  // Do something with cache
}

// Get specific cache
PrefixCache cache = cachesFutures.get(cacheName).get();

// Delete a pre-created cache
cachesFutures.delete(cacheName);