Prodüksiyon

Makine öğrenimi ardışık düzenlerinizi üretime hazırlamak için aşağıdakileri yapmanız gerekir:

• Ardışık düzenleriniz için işlem kaynakları sağlayın
• Günlük kaydı, izleme ve uyarı işlevlerini uygulayın

İşlem kaynaklarının temel hazırlığını yapma

Makine öğrenimi ardışık düzenlerini çalıştırmak için RAM, CPU ve GPU/TPU gibi işlem kaynakları gerekir. Yeterli bilgi işlem olmadan ardışık düzenlerinizi çalıştıramazsınız. Bu nedenle, Ardışık düzenlerinize gereken kaynakları sağlamak için yeterli kotayı alın ve üretimde çalıştırılması gerekir.

• Sunma, eğitim ve doğrulama ardışık düzenleri. Bu ardışık düzenlerde, TPU'lar, GPU'lar veya CPU'lar. Kullanım alanınıza bağlı olarak, bir ekip üyesiyle ilgili veya aynı donanımı kullanın. Örneğin, eğitim CPU'larda görülür, ancak sunumda TPU'lar kullanılabilir (Tersi de tam tersi). Genel olarak, çoğunlukla daha büyük donanımlarla eğitilip daha küçük donanımlarla hizmet verirler.

  Donanım seçerken şunları göz önünde bulundurun:

  • Daha ucuz donanımlarla eğitim verebilir misiniz?
  • Farklı donanımlara geçmek performansı artırır mı?
  • Modelin boyutu nedir ve performansını hangi donanım optimize edecek?
  • Modelinizin mimarisine göre ideal donanım nedir?
  Not: Donanım arasında model geçişi yaparken gereken zamanı ve çabayı göz önünde bulundurun. tıklayın. Donanımı değiştirmek modeli daha ucuz hale getirebilir zahmetsizce yaratabilirsiniz, ancak bunun için gereken mühendislik çalışması veya mühendislikle ilgili çalışmalara öncelik veren yardımcı olur.

• Veri ardışık düzenleri. Veri ardışık düzenleri RAM ve CPU için kota gerektirir . Projenin vizyonu ve hedefleriyle ardışık düzeninizin eğitim ve test veri kümeleri oluşturmak için ihtiyaç duyduğu maksimum kotayı kapsayabilir.

Her ardışık düzen için kota ayıramayabilirsiniz. Bunun yerine kotanın paylaştırılması için de geçerlidir. Bu gibi durumlarda, Ardışık düzeninizi çalıştırmak, izleme ayarlarını yapmak ve tek ve hatalı bir ardışık düzenin kotanın tamamını tüketmesini önlemek için değişiklik yapmaktır.

Kota tahmini

Veri ve eğitim ardışık düzenleri için ihtiyaç duyacağınız kotayı tahmin etmek için benzer projeler üzerinde çalışabilirsiniz. Yayın kotasını tahmin etmek için saniye başına hizmet sorgularını tahmin eder. Bu yöntemler bir temel oluşturur. Farklı deneme aşamasında bir çözümün prototipini oluşturmaya başlarsanız, 'i kullanabilirsiniz.

Kotayı tahmin ederken yalnızca üretim için değil, kotayı hesaba katmayı unutmayın. devam eden denemeler için de kullanılır.

Öğrendiklerinizi kontrol edin

Tahmin sunacağı donanımı seçerken her zaman modeli eğitmek için kullanılandan daha güçlü bir donanıma sahip olması gerekir.

Yanlış

Doğru. Genellikle eğitim, sunumdan daha büyük bir donanım gerektirir.

Doğru

Günlük kaydı, izleme ve uyarı

Bir üretim modelinin davranışını günlüğe kaydetmek ve izlemek çok önemlidir. Robust izleme altyapısı, modellerinizin güvenilir hizmet sunmasını yüksek kaliteli tahminler oluşturun.

İyi günlük kaydı ve izleme uygulamaları, makine öğreniminde sorunların proaktif olarak tanımlanmasına yardımcı olur potansiyel iş etkisini azaltmanıza yardımcı olur. Bir sorun oluştuğunda, uyarı ve kapsamlı günlükler hataların teşhis edilmesini kolaylaştırarak bir sonucu veya işaretidir.

Aşağıdaki sorunları tespit etmek için günlük kaydı ve izlemeyi uygulamanız gerekir. makine öğrenimi ardışık düzenleri ile çalışır:

Pipeline	Gözle
Sunma	Eğitim verilerine kıyasla yayın verilerindeki sapmalar veya kaymalar Tahminlerdeki sapmalar veya kaymalar Eksik veya bozuk değerler gibi veri türü sorunları Kota kullanımı Model kalitesi metrikleri Bir üretim modelinin kalitesini hesaplamak eğitim sırasında modelin kalitesini hesaplamaya odaklanıyor. Üretimde karşılaştırmak için kesin doğrulara erişmeleri gerekmeyebilir. nasıl tahmin edilir? Bunun yerine, yardımcı olan metrikleri yakalamak için temsil eder. Örneğin, bir posta uygulamasında spam olduğunu gerçek zamanlı olarak öğrenin. Bunun yerine kullanıcılarının spam klasörüne taşıdığı posta yüzdesi. Sayı atlıyorsa değeri% 0,5'ten %3'e yükseltin. Bu tablodaki değişiklikleri karşılaştırmanın temsili metrikleri, ham sayılara göre daha bilgilendiricidir.
Veriler	Özellik değerlerindeki sapmalar ve kaymalar Etiket değerlerindeki sapmalar ve kaymalar Eksik veya bozuk değerler gibi veri türü sorunları Kota kullanım oranı Kota sınırına ulaşılmak üzere
Eğitim	Eğitim süresi Eğitim hataları Kota kullanımı
Doğrulama	Test veri kümelerinde sapma veya kayma

Ayrıca, aşağıdakiler için günlük kaydı, izleme ve uyarı özelliklerinden de yararlanabileceksiniz:

• Gecikme. Tahminde bulunmak ne kadar sürer?
• Kesintiler. Model, tahmin yayınlamayı durdurdu mu?

Öğrendiklerinizi kontrol edin

Aşağıdakilerden hangisi günlük kaydı ve izlemenin temel nedenidir makine öğrenimi ardışık düzenleriniz arasında

Sorunları kullanıcıları etkilemeden önce proaktif olarak tespit edin

Kota ve kaynak kullanımını izleme

Olası güvenlik sorunlarını belirleme

Yukarıdakilerin tümü

Doğru. Makine öğrenimi ardışık düzenlerinizin günlüğe kaydedilmesi ve izlenmesi, ciddi hale gelmeden önce teşhis yapılmasını sağlar.

Model dağıtma

Model dağıtımı için şunları belgelemeniz gerekir:

• Dağıtıma başlamak ve kullanıma sunumu artırmak için onay gerekir.
• Bir modeli üretime geçirme.
• Modelin dağıtıldığı yer (ör. hazırlık veya canary varsa) ortam olarak da bilinir.
• Dağıtım başarısız olursa yapılması gerekenler.
• Üretim aşamasında olan bir modeli geri alma

Model eğitimini otomatik hale getirdikten sonra, doğrulama ve dağıtım. Dağıtımları otomatikleştirme dağıtımları bir dağıtım sorunu yaşama olasılığını azaltır. birlikte çalışır. Ayrıca potansiyel hataları azaltır, verimliliği artırır nöbetçi rotasyonlar ve SRE desteği sağlıyor.

Genellikle yeni modelleri bir kullanıcı alt kümesine dağıtarak modelin nasıl işlediğini tartıştık. Gerekiyorsa dağıtıma devam edin. Değilse dağıtımı geri alır ve sorunları teşhis edip hata ayıklamaya başlarsınız.