Nöral ağlar: Düğümler ve gizli katmanlar

Nöral ağ oluşturmak için doğrusal olmayanları öğrenen, şu tanıdık model yapısıyla başlayın: Formun doğrusal modeli $y' = b + w_1x_1 + w_2x_2 + w_3x_3$.

Bu denklemi, aşağıdaki gibi görselleştirebiliriz (burada $x_1$, $x_2$ ve $x_3$ üç giriş düğümümüz (mavi renkte), $y'$ çıkış düğümümüzdür (yeşil renkte).

1. alıştırma

Yukarıdaki modelde ağırlık ve önyargı değerleri rastgele ayarlandı başlatıldı. Google Cloud'un genel özelliklerini tanımak için doğrusal modeli inceleyelim. Şunları yapabilirsiniz: Şimdilik Etkinleştirme İşlevi açılır listesini yoksayın; bu konuyu daha sonra daha fazla bilgi edineceksiniz.

  1. Oyunun değerini hesaplamak için ağın üzerindeki Oynat (▶️) düğmesini tıklayın $x_1 = 1.00$, $x_2 = 2.00$ ve giriş değerleri için çıkış düğümü x_3 TL = 3,00 TL.

  2. Buradaki ikinci düğümü tıklayın giriş katmanını test edin ve 2,00'dan itibaren 2,50'ye. Çıkış düğümünün değerinin değiştiğini unutmayın. Çıkışı seçin düğümler (yeşil) ile gösterilir ve çıkışın nasıl gerçekleştiğini görmek için Hesaplamalar değeri hesaplandı.

  3. Ağırlığı ($w_1$, $w_2$, $w_3$) görmek için çıkış düğümünü (yeşil renkte) tıklayın ve yanlılık ($b$) parametre değerleridir. Şunun için ağırlık değerini azaltın: $w_3$ (çıktı düğümünün değerinin ve aşağıdaki hesaplamaların tekrar değişti). Ardından, yanlılık değerini artırın. Bu değişikliklerin nasıl olduğunu inceleyin model çıkışını etkilemiştir.

Ağa katman ekleme

Ağın ağırlık ve yanlılık değerlerini Genel matematiksel durumu değiştirmeyen alıştırma 1 ilişki olduğunu unutmayın. Modelimiz hâlâ doğrusal bir model.

Ama ağa giriş katmanının arasına başka bir katman eklersek ne olur? ve çıkış katmanında neler var? Sinir ağı terminolojisinde, pikseller arasındaki bu katmana ve çıkış katmanına gizli katmanlar ve düğümler bu katmanlarda nöron.

Gizli katmandaki her bir nöronun değeri doğrusal modelin çıktısı: girişlerinin her birinin çarpımının toplamını alın (önceki ağ katmanındaki nöronlar) ve benzersiz ağırlık parametresi, artı önyargıyı ortaya çıkarıyor. Benzer şekilde, bir sonraki katmandaki (burada, çıkış katmanındaki) nöronlar gizli katmanın nöron değerleri giriş olarak kullanılarak hesaplanır.

Bu yeni gizli katman, modelimizin giriş verilerini başka bir veri kümesi kullanarak parametre grubudur. Bu, modelimizin doğrusal olmayan ilişkileri öğrenmesine yardımcı olabilir mi?

2. alıştırma

Modele dört nöron içeren bir gizli katman ekledik.

Oyunun değerini hesaplamak için ağın üzerindeki Oynat (▶️) düğmesini tıklayın giriş değerleri için dört gizli katman düğümünü ve çıkış düğümünü x_1 ABD doları = 1,00 ABD doları, x_2 ABD doları = 2,00 ABD doları ve x_3 ABD doları = 3,00 ABD doları.

Ardından modeli inceleyin ve aşağıdaki soruları yanıtlamak için kullanın.

Kaç tane parameters (ağırlıklar ve ağırlıklar) tarafından ağ modeline nasıl sahip olur?
4
Alıştırma 1'deki orijinal modelimizde dört parametre: w11, w21, w31 ve b. Bu model bir daha fazla parametre bulunur.
12
Toplam parametre sayısının her iki parametreyi de içerdiğini unutmayın gizli katmandaki düğüm değerlerinin hesaplanması için kullanılır giriş değerleri ve çıkış değerini hesaplamak için kullanılan parametreler .
16
Toplam parametre sayısının hem ağırlığı hem de önyargı parametrelerini içerir.
21
Dört düğüm değerinin her birini hesaplamak için kullanılan 4 parametre vardır. gizli katman—3 ağırlık (her giriş değeri için bir tane) ve bir yanlılık (bunların toplamı 16 parametreye eşittir.) Daha sonra 5 parametre kullanılır hesaplamak için çıkış değerini hesaplamak üzere: 4 ağırlık ( gizli katman) ve önyargıdır. Bu nöral ağda toplamda 21 parametreleridir.

Model parametrelerini değiştirmeyi deneyin ve model parametreleri gizli katman düğüm değerlerini ve çıkış değerini (tüm talimatları Bu değerlerin nasıl olduğunu görmek için aşağıdaki Hesaplamalar panelini kullanın hesaplanır).

Bu model doğrusal olmayanlıkları öğrenebilir mi?

Evet
Gizli katmandaki düğümlerin her birini ve çıkış düğümünü tıklayın. ve aşağıdaki hesaplamaları inceleyebilirsiniz. Hangi konuda dikkatinizi tüm bu hesaplamalar nasıl yapılır?
Hayır

Gizli katmandaki düğümlerin her birini tıklayıp hesaplamalar yapılırsa bunların hepsinin doğrusal olduğunu ve (çarpma ve toplama işlemlerinden oluşur).

Ardından çıkış düğümünü tıklayıp hesaplamayı incelerseniz bu hesaplamanın da doğrusal olduğunu göreceksiniz. Doğrusal doğrusal hesaplamaların çıktısı üzerinde yapılan hesaplamalar doğrusal olmadığından da bu model doğrusal olmayanlıkları öğrenemez.

.