신경망: 활성화 함수

이전 연습에서 App Engine에 히든 레이어가 비선형성을 나타내기에 충분하지 않았습니다. 선형 연산에 수행되는 선형 연산은 여전히 선형입니다.

신경망을 구성하여 비선형 관계인가요? 신경망을 삽입할 때 모델로 변환할 수 있습니다.

조금 생소한 것처럼 보이지만 실제로 선형 모델의 출력에 비선형 수학 연산을 오신 것을 환영합니다 로지스틱 회귀 선형 회귀 모델을 조정하여 0에서 연속되는 값을 출력했습니다. 모델의 출력을 1 (확률 표현)으로 변환하여 시그모이드 함수.

신경망에도 동일한 원칙을 적용할 수 있습니다. 모델을 다시 살펴보겠습니다 이번에는 실습 2에서 출력하기 위해 먼저 시그모이드 함수를 적용합니다.

>| 버튼을 클릭하여 각 노드의 계산을 단계별로 시도해 보세요. 을 누릅니다. 수행된 수학 연산 검토 그래프 아래에 있는 계산 패널에서 각 노드 값을 계산합니다. 각 노드의 출력은 이제 선형 방정식의 시그모이드 변환입니다. 노드 조합으로 계산하고 출력값은 모두 0과 1 사이로 떨어졌습니다.

여기서 시그모이드는 활성화 함수를 신경망의 경우 뉴런 출력값의 비선형 변환 그 값이 다음 신경망 레이어입니다

이제 활성화 함수를 추가했으므로 레이어를 추가하면 더 큰 효과를 얻을 수 있습니다. 비선형성에 비선형성을 쌓으면 관계를 나타냅니다. 요약하자면 각 레이어는 원시 데이터 세트에 대해 더 복잡한 상위 수준 함수를 인코더-디코더입니다 이것이 어떻게 작동하는지 더 많은 직관력을 기르고 싶으시다면 Chris Olah의 유용한 블로그 게시물을 참고하세요.

일반적인 활성화 함수

활성화 함수로 흔히 사용되는 세 가지 수학 함수는 시그모이드, tanh, ReLU가 있습니다.

시그모이드 함수 (위에서 설명)는 입력에 대해 다음 변환을 수행합니다. $x$를 실행하여 0과 1 사이의 출력 값을 생성합니다.

\[F(x)=\frac{1} {1+e^{-x}}\]

이 함수의 도표는 다음과 같습니다.

그림 4. 시그모이드 함수의 도표:
      x가 음수에 접근함에 따라 점근법으로 x축에 접근
      x가 무한대에 가까워질수록 1입니다.
그림 4. 시그모이드 함수의 플롯

tanh('하이퍼볼릭 탄젠트'의 줄임말) 함수는 입력 $x$ 를 -1과 1 사이의 출력 값을 생성합니다.

\[F(x)=tanh(x)\]

이 함수의 도표는 다음과 같습니다.

그림 5. tanh 함수의 도표: 약간
      시그모이드 함수보다 더 가파른 s자형 곡선입니다. 점근선은
      x가 음의 무한대에 가까워질수록 -1에 접근하고 x가 접근하면 1에 가깝습니다.
      무한대입니다.
그림 5. tanh 함수의 도표입니다.
를 통해 개인정보처리방침을 정의할 수 있습니다.
를 통해 개인정보처리방침을 정의할 수 있습니다.

정류 선형 유닛 활성화 함수 (또는 ReLU)는 short)은 다음 알고리즘을 사용하여 출력을 변환합니다.

  • 입력 값 $x$ 가 0보다 작으면 0을 반환합니다.
  • 입력 값 $x$ 가 0보다 크거나 같으면 입력 값을 반환합니다.

ReLU는 max() 함수를 사용하여 수학적으로 표현할 수 있습니다.

$$F(x)=max(0,x)$$

이 함수의 도표는 다음과 같습니다.

<ph type="x-smartling-placeholder">
</ph> 그림 6. ReLU 함수의 도표: 가로선
      음의 무한대에서 0까지 x축을 따라 대각선이 됨
      0에서 무한대까지 기울기 1 (y=x)로 오른쪽 위로 이동한다는 것을 압니다. <ph type="x-smartling-placeholder">
</ph> 그림 6. ReLU 함수의 도표

ReLU가 매끄러운 함수보다는 활성화 함수로 조금 더 잘 작동하는 경우가 많습니다. 시그모이드 또는 tanh와 같은 함수로 변환될 수 있습니다. 경사 소실 문제 신경망 학습을 수행할 수도 있습니다 ReLU를 사용하기가 훨씬 쉬움 더 많은 데이터 세트를 계산할 수 있습니다

기타 활성화 함수

실제로는 모든 수학 함수가 활성화 함수 역할을 할 수 있습니다. \(\sigma\) 이 활성화 함수를 나타낸다고 가정해 보겠습니다. 네트워크의 노드 값은 다음과 같이 주어집니다. 공식:

$$\sigma(\boldsymbol w \cdot \boldsymbol x+b)$$

Keras는 많은 수의 애플리케이션에 즉시 사용 가능한 지원을 제공합니다. 활성화 함수를 사용합니다. 하지만 ReLU로 시작하는 것이 좋습니다.

요약

다음 동영상은 지금까지 학습한 내용을 요약합니다. 신경망이 구성되는 방식에 대해 자세히 알아보세요.

이제 우리 모델에는 사람들이 일반적으로 사용하는 신경망을 지칭할 때 사용됩니다.

  • 뉴런과 유사한 노드 집합으로, 레이어로 구성됩니다.
  • 각 신경망 간의 연결을 나타내는 가중치 집합 그 아래에 있는 레이어가 있습니다. 그 아래 레이어는 또는 다른 종류의 레이어가 있을 수 있습니다.
  • 편향 세트는 노드당 하나씩입니다.
  • 레이어에서 각 노드의 출력을 변환하는 활성화 함수입니다. 레이어마다 활성화 함수가 다를 수 있습니다.

주의: 신경망이 항상 더 좋은 것은 아닙니다 신경망은 여러 특성 교차를 처리할 수 있는 유연한 대안을 많은 경우에 잘 작동합니다.