신경망: 상호작용 연습

아래의 대화형 연습을 통해 데이터 레이크의 내부 작동 방식을 학습합니다. 먼저, 매개변수와 초매개변수가 어떻게 변경되는지 네트워크의 예측에 영향을 줍니다. 그런 다음 배운 내용을 사용하여 신경망을 학습시킬 수 있습니다.

실습 1

다음 위젯은 다음과 같은 구성으로 신경망을 설정합니다.

• 값이 0.00, 0.00, 0.00인 뉴런이 3개 있는 입력 레이어
• 뉴런이 4개 있는 히든 레이어
• 뉴런이 1개 있는 출력 레이어
• ReLU 활성화 함수가 모든 히든 레이어 노드와 출력 노드는

네트워크의 초기 설정을 검토합니다 (참고: 클릭하지 ▶️ 또는 >| 버튼)을 클릭한 다음 위젯 아래의 작업을 완료합니다.

작업 1

신경망 모델의 세 가지 입력 특성 값은 모두 0.00 네트워크의 각 노드를 클릭하여 초기화된 모든 노드를 확인합니다. 값으로 사용됩니다. 재생 (▶️) 버튼을 누르기 전에 다음 질문에 답하세요.

어떤 종류의 출력 값을 양성, 음성 또는 0 중 어떤 것이 생성될 것으로 예상하나요?

양수 출력 값

음수 출력 값

출력 값 0

이제 네트워크 위에 있는 재생 (▶️) 버튼을 클릭하고 히든 레이어를 모두 시청해 보세요. 출력 노드 값이 채워집니다 위의 답변이 정확했나요?

설명을 보려면 여기를 클릭하세요.

얻을 수 있는 정확한 출력 값은 가중치와 편향 매개변수는 무작위로 초기화됩니다 하지만 각 뉴런은 값이 0이면 입력 레이어에서 가중치를 히든 레이어 노드 값은 모두 0으로 처리됩니다. 예를 들어 첫 번째 히든 레이어 노드 계산은 다음과 같습니다.

y = ReLU(w₁₁* 0.00 + w₂₁* 0.00 + w₃₁* 0.00 + b)

y = ReLU(b)

따라서 각 히든 레이어 노드의 값은 편향 (b)로, b가 음수이면 0, b가 0이면 b 자체입니다. 긍정적입니다

그러면 출력 노드의 값은 다음과 같이 계산됩니다.

y = ReLU(w₁₁* x₁₁ + w₂₁* x₂₁) + w₃₁* x₃₁ + w₄₁* x₄₁ + b)

작업 2

신경망을 수정하기 전에 다음 질문에 답하세요.

히든 레이어를 추가하는 경우 신경망에 첫 번째 히든 레이어에 연결하고 이 새로운 레이어에 3개의 노드를 제공하여 입력 및 가중치/편향 매개변수는 동일하며, 계산 어떤 영향을 받게 되나요?

모든 노드 (입력 노드 제외)

단지 포드의 노드만 첫 번째 히든 레이어

출력 노드만

이제 다음과 같이 신경망을 수정하여 노드가 3개인 새로운 히든 레이어를 추가합니다.

1. 텍스트 히든 레이어 1개 왼쪽에 있는 + 버튼을 클릭하여 새 레이어를 추가합니다. 히든 레이어를 생성합니다
2. 새 히든 레이어 위의 + 버튼을 두 번 클릭하여 노드를 2개 더 추가합니다. 레이어에 추가합니다

위의 답변이 정확했나요?

설명을 보려면 여기를 클릭하세요.

출력 노드만 변경됩니다. 이 신경망의 추론은 'feed-forward' (계산이 처음부터 끝까지 진행됨), 덧셈이 새 레이어가 추가된 이후의 노드에만 영향을 미칩니다 선행하는 레이어가 아니라 레이어에 있습니다

작업 3

네트워크의 첫 번째 히든 레이어에서 두 번째 노드 (상단) 클릭 그래프로 확인할 수 있습니다. 네트워크 구성을 변경하기 전에 다음 질문에 답하세요.

이 가중치 w₁₂ (첫 번째 입력 노드 x₁ 아래에 표시됨), 어떤 다른 노드에도 일부 입력의 경우 계산에 영향을 미칠 수 있음 어떻게 해야 할까요?

없음

의 두 번째 노드는 첫 번째 히든 레이어, 두 번째 히든 레이어의 모든 노드, 그리고 출력 노드와 일치합니다

클러스터의 모든 노드는 첫 번째 히든 레이어, 두 번째 히든 레이어, 출력 레이어로 구성됩니다.

이제 가중치 w₁₂( 첫 번째 입력 노드 x₁)의 값을 5.00로 변경하고 Enter 키를 누릅니다. 그래프의 업데이트를 확인합니다.

답변이 정확했나요? 답변을 확인할 때는 주의해야 합니다. 노드가 값이 변경되지 않으면 기본 계산이 변경되지 않았다는 뜻인가요?

설명을 보려면 여기를 클릭하세요.

첫 번째 히든 레이어에서 영향을 받는 유일한 노드는 두 번째 노드( )을 입력합니다. 첫 번째 노드의 다른 노드에 대한 값은 히든 레이어에는 w₁₂가 매개변수로 포함되지 않으므로 있습니다. 두 번째 히든 레이어의 모든 노드가 영향을 받습니다. 첫 번째 노드의 두 번째 노드 값에 따라 히든 레이어입니다. 마찬가지로 출력 노드 값은 두 번째 히든 레이어의 노드 값에 따라 달라집니다.

답변이 '없음'이라고 생각하셨나요? 포드의 노드 값이 가중치 값을 변경했을 때 네트워크를 변경했다면 어떻게 해야 할까요? 참고: 기본 노드의 값을 변경하지 않아도 노드 계산이 변경될 수 있음 (예: ReLU(0)와 ReLU(–5)는 모두 0의 출력을 생성합니다. 단지 '네트워크'가 어떻게 영향을 받았는지 노드 값을 보고 계산 결과도 검토하세요

실습 2

특성 교차 실습에서 범주형 데이터 모듈 수동으로 특성 교차를 구성하여 비선형 데이터에 맞도록 했습니다. 이제 신경망을 빌드할 수 있는지 확인해 보겠습니다. 비선형 데이터를 맞추는 방법을 배웠습니다.

과제: 주황색 점과 주황색 점을 구분할 수 있는 신경망을 구성해 보세요. 두 데이터 포인트에서 0.2 미만의 손실을 학습 데이터와 테스트 데이터입니다.

안내:

아래의 대화형 위젯에서:

1. 텍스트, 이미지, 오디오, 동영상 등 다음 구성 설정을 구성합니다. <ph type="x-smartling-placeholder">
   </ph>
   • + 및 - 버튼을 클릭하여 히든 레이어를 추가하거나 삭제할 수 있습니다. 네트워크 다이어그램의 HIDDEN LAYERS 제목 왼쪽에 있습니다.
   • + 및 - 기호를 클릭하여 히든 레이어에서 뉴런을 추가하거나 삭제합니다. 히든 레이어 열 위에 버튼이 있습니다.
   • 학습률에서 새 값을 선택하여 학습률을 변경합니다. 드롭다운을 선택합니다.
   • 다음에서 새 값을 선택하여 활성화 함수를 변경합니다. 활성화 드롭다운을 선택합니다.
2. 다이어그램 위에 있는 재생 (▶️) 버튼을 클릭하여 신경망을 학습시킵니다. 모델을 학습시킵니다.
3. 학습으로 데이터에 적합한 모델의 시각화 관찰 진행되며 테스트 손실 및 학습 손실 값이 Output(출력) 섹션을 확인합니다.
4. 모델이 테스트 및 학습 데이터에서 0.2 미만의 손실을 달성하지 못하면 재설정을 클릭하고 다른 구성으로 1~3단계를 반복합니다. 설정을 변경할 수 있습니다. 원하는 결과를 얻을 때까지 이 과정을 반복합니다.

여기를 클릭하여 솔루션을 확인하세요

다음과 같은 방법으로 0.2 미만의 테스트 손실과 학습 손실을 모두 달성할 수 있었습니다.

• 뉴런 3개가 포함된 히든 레이어 1개를 추가합니다.
• 학습률 0.01 선택
• ReLU의 활성화 함수 선택

핵심 용어:

• 테스트 손실
• 학습 손실