머신러닝 용어집: 결정 포레스트

이 페이지에는 결정 포레스트 용어집 용어가 포함되어 있습니다. 모든 용어집 용어에 대해 여기를 클릭하세요.

A

속성 샘플링

#df

결정 포레스트를 학습시키기 위한 전략 결정 트리는 가능한 데이터의 무작위 하위 집합만 고려합니다. 특성을 사용하여 상태를 학습할 수 있습니다. 일반적으로 특성의 다른 하위 집합이 각 노드입니다. 반면에 의사 결정 트리를 학습시킬 때 속성을 샘플링하지 않으면 각 노드에 대해 가능한 모든 특성이 고려됩니다.

축 정렬 조건

#df

결정 트리에서 조건은 한 가지 기능만 포함합니다. 예를 들어 이 특성인 경우 다음은 축 정렬 조건입니다.

area > 200

경사 조건과 대비되는 개념입니다.

B

자지 빼기

#df

앙상블 학습 메서드앙상블 학습의 무작위 하위 집합으로 구성요소 모델이 학습 대체를 통해 샘플링된 예 예를 들어 랜덤 포레스트는 배깅으로 학습된 결정 트리

배깅이라는 용어는 부스트랩 집계의 줄임말입니다.

바이너리 조건

#df

결정 트리에서 조건은 일반적으로 예 또는 아니요의 두 가지 결과만 나타납니다. 예를 들어 다음은 바이너리 조건입니다.

temperature >= 100

비바이너리 조건과 대비되는 개념입니다.

C

조건

#df

의사 결정 트리에서 표현식을 평가합니다. 예를 들어 결정 트리에는 두 가지 조건이 포함됩니다.

조건은 분할 또는 테스트라고도 합니다.

조건을 leaf와 대조합니다.

관련 주제에 대한 추가 정보

• 바이너리 조건
• 논바이너리 조건.
• axis-aligned-condition
• 경사 조건

D

결정 포레스트

#df

여러 결정 트리에서 생성된 모델 결정 포레스트는 특정 가계의 예측을 집계하여 결정 트리를 살펴보겠습니다 인기 있는 결정 포레스트 유형은 다음과 같습니다. 랜덤 포레스트 및 경사 강화 트리입니다.

결정 트리

#df

일련의 집합으로 구성된 지도 학습 모델 조건과 리프는 계층적으로 구성됩니다. 예를 들어 다음은 결정 트리입니다.

E

엔트로피

#df

포함 <ph type="x-smartling-placeholder"></ph> 정보 이론, 예측 불가능한 확률에 대한 설명 있습니다. 또한 엔트로피는 양으로부터 각 예에 포함된 정보 배포에 확률 변수의 모든 값이 가능성이 같습니다

가능한 두 값 '0'을 갖는 집합의 엔트로피 및 '1' (예: 이진 분류 문제의 라벨) 다음 공식을 가집니다.

<ph type="x-smartling-placeholder"></ph> H = -p 로그 p - q 로그 q = -p 로그 p - (1-p) * 로그 (1-p) 를 통해 개인정보처리방침을 정의할 수 있습니다.

각 항목의 의미는 다음과 같습니다.

• H는 엔트로피입니다.
• p는 '1'의 분수입니다. 예로 들 수 있습니다
• q는 '0'의 분수입니다. 예로 들 수 있습니다 q = (1 - p)인 것을 볼 수 있습니다.
• log는 일반적으로 log₂입니다. 이 경우 엔트로피는 있습니다.

예를 들어 다음을 가정합니다.

• 100개의 예가 '1' 값을 포함함
• 300개의 예가 '0' 값을 포함함

따라서 엔트로피 값은 다음과 같습니다.

• p = 0.25
• q = 0.75
• H = (-0.25)log₂(0.25) - (0.75)로그₂(0.75) = 예당 0.81비트

완벽하게 균형을 이룬 세트 (예: '0' 200개 및 '1' 200개) 예당 1.0비트의 엔트로피가 있을 것입니다. 세트가 점점 더 불균형이면 엔트로피가 0.0을 향해 이동합니다.

결정 트리에서 엔트로피는 정보 획득을 통해 splitter - conditions 선택 매우 짧은 시간 안에 말이죠.

엔트로피를 다음과 비교:

• 지니 불순물
• 교차 엔트로피 손실 함수

엔트로피를 종종 섀넌의 엔트로피라고 합니다.

F

특성 중요도

#df

변수 중요도의 동의어입니다.

G

지니 불순물

#df

엔트로피와 유사한 측정항목입니다. 스플리터 지니 불순물 또는 엔트로피에서 파생된 값을 사용하여 분류를 위한 조건 결정 트리. 정보 획득은 엔트로피에서 파생됩니다. 파생된 측정항목에 일반적으로 인정되는 동등한 용어가 없습니다. 지니 불순물로부터 이름이 지정되지 않은 이 측정항목은 얻을 수 있습니다.

지니 불순물은 지니 지수 또는 간단히 지니라고도 합니다.

지니 불순물에 대한 수학 세부정보를 보려면 아이콘을 클릭합니다.

지니 불순물은 새로운 데이터 조각을 잘못 분류할 확률 가져온 것입니다. 2가 한 세트의 기니 불순물 가능한 값 '0' 및 '1' 예를 들어 이진 분류 문제) 다음 공식으로 계산됩니다.

<ph type="x-smartling-placeholder"></ph> I = 1 - (p² + q²) = 1 - (p² + (1-p)²)

각 항목의 의미는 다음과 같습니다.

• I는 기니 불순물입니다.
• p는 '1'의 분수입니다. 예로 들 수 있습니다
• q는 '0'의 분수입니다. 예로 들 수 있습니다 q = 1-p

예를 들어 다음 데이터 세트를 생각해 보세요.

• 값 '1'을 포함하는 라벨 100개 (데이터 세트의 0.25)
• 300개의 라벨 (데이터 세트의 0.75)에 값 '0'이 포함되어 있습니다.

따라서 기니 불순물은 다음과 같습니다.

• p = 0.25
• q = 0.75
• I = 1 - (0.25² + 0.75²) = 0.375

결과적으로 동일한 데이터 세트의 무작위 라벨은 37.5% 의 확률로 제대로 분류될 확률은 62.5% 입니다.

완벽하게 균형 잡힌 라벨 (예: 200 '0' 및 200 '1')은 지니 불순물을 0.5로 지정했습니다. 매우 불균형 라벨은 지니 불순물이 0.0에 가깝습니다

---

경사 부스티드 (결정) 트리 (GBT)

#df

다음과 같은 결정 포레스트의 한 유형입니다.

• 학습에서는 그라데이션 부스팅.
• 약한 모델은 의사 결정 트리입니다.

경사 부스팅

#df

약한 모델이 반복적으로 학습되도록 하는 학습 알고리즘 강력한 모델의 품질 개선 (손실 감소) 예를 들어 약한 모델은 선형 또는 작은 결정 트리 모델일 수 있습니다. 강력한 모델은 이전에 학습된 모든 약한 모델의 합계가 됩니다.

가장 단순한 형태의 경사 부스팅에서는 각 반복에서 약한 모델을 사용합니다. 강력한 모델의 손실 경사를 예측하도록 학습되었습니다. 그런 다음 예측된 경사를 빼서 업데이트됩니다. 경사하강법과 유사합니다.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

각 항목의 의미는 다음과 같습니다.

• $F_{0}$ 은(는) 강력한 출발 모델입니다.
• $F_{i+1}$ 은(는) 그다음으로 좋은 모델입니다.
• $F_{i}$ 은(는) 현재 강력한 모델입니다.
• $\xi$ 는 축소라고 하는 0.0과 1.0 사이의 값입니다. 인코더-디코더 아키텍처를 업계의 학습률 경사하강법입니다.
• $f_{i}$ 는 손실 경사를 예측하도록 학습된 약한 모델입니다. $F_{i}$입니다.

경사 부스팅의 현대적인 변형에는 이차 도함수도 포함됩니다. (Hessian) 값을 구할 수 있습니다.

결정 트리는 일반적으로 그래디언트 부스팅이라고 합니다. 자세한 내용은 경사 강화 (결정) 트리.

I

추론 경로

#df

결정 트리에서 추론 중에 특정 예가 루트를 다른 조건으로 변경하고 잎 예를 들어, 다음 결정 트리에서 두꺼운 화살표는 특성 값:

• x = 7
• y = 12
• z = -3

다음 그림의 추론 경로는 리프에 도달하기 전의 조건 (Zeta)

세 개의 굵은 화살표는 추론 경로를 나타냅니다.

정보 획득

#df

결정 포레스트에서 노드의 엔트로피 및 가중치 적용 (예시 수 기준) 하위 노드의 엔트로피 합계입니다. 노드의 엔트로피는 예시가 표시됩니다

다음 엔트로피 값을 예로 들어보겠습니다.

• 상위 노드의 엔트로피 = 0.6
• 관련 예 16개가 있는 하위 노드 1개의 엔트로피 = 0.2
• 관련 예 24개가 있는 다른 하위 노드의 엔트로피 = 0.1

따라서 예의 40% 는 하나의 하위 노드에 있고 60% 는 확인할 수 있습니다 따라서 날짜는 다음과 같이 계산합니다.

• 하위 노드의 가중 엔트로피 합계 = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

따라서 정보 획득은 다음과 같습니다.

• 정보 획득 = 상위 노드의 엔트로피 - 하위 노드의 가중치가 적용된 엔트로피 합계
• 정보 획득 = 0.6 - 0.14 = 0.46

대부분의 스플리터는 조건을 만들려고 합니다. 사용하는 것이 좋습니다

인셋 조건

#df

결정 트리에서 조건은 한 항목이 있는지 테스트합니다. 예를 들어 다음은 인셋 조건입니다.

  house-style in [tudor, colonial, cape]

추론 중에 주택 스타일 feature의 값이 tudor, colonial 또는 cape이면 이 조건은 Yes로 평가됩니다. 만약 주택 스타일 지형지물의 값이 다른 경우 (예: ranch) 이 조건은 No로 평가됩니다.

인셋 조건이 보통 더 효율적인 결정 트리로 이어집니다. 원-핫 인코딩 특성을 테스트하는 조건

L

잎

#df

결정 트리의 모든 엔드포인트 좋아요 취소 조건을 충족하는 경우 리프는 테스트를 실행하지 않습니다. 오히려 리프는 가능한 예측입니다. 잎은 말단기도 하다 추론 경로의 노드입니다.

예를 들어 다음 결정 트리에는 세 개의 리프가 포함됩니다.

N

노드 (의사 결정 트리)

#df

결정 트리에서 condition 또는 leaf.

논바이너리 조건

#df

세 개 이상의 가능한 결과가 포함된 조건입니다. 예를 들어, 다음의 논바이너리 조건에는 세 가지 가능한 값을 포함합니다. 결과:

O

사위

#df

결정 트리에서 둘 이상 포함된 condition[상태] 기능에 관해 자세히 알아보세요. 예를 들어 높이와 너비가 모두 특성인 경우 다음은 사선 조건입니다.

  height > width

축 정렬 조건과 대비되는 개념입니다.

가방 외 평가 (OOB 평가)

#df

애플리케이션의 품질을 평가하는 메커니즘은 결정 포레스트 프로세스를 결정 트리를 이벤트 기간에 사용되지 않는 예시 학습을 수행합니다. 예를 들어 시스템이 각 결정 트리를 학습시키고 평가한 다음 나머지 3분의 1에 불과했습니다.

Out-of-bag(패키지 외) 평가는 계산상 효율적이고 보수적임 교차 검증 메커니즘의 근사치입니다. 교차 검증에서는 각 교차 검증 라운드마다 하나의 모델이 학습됩니다. 예를 들어 10개 모델은 10배 교차 검증으로 학습됩니다. OOB 평가에서는 단일 모델이 학습됩니다. 왜냐하면 배깅을 학습 중에 각 트리에서 일부 데이터를 보류하므로 OOB 평가는 교차 검증의 근사치를 계산합니다.

P

순열 변수 중요도

#df

평가되는 변수 중요도의 한 유형 치환을 설정한 후 모델의 예측 오차 증가 특성의 값을 정의합니다. 순열 변수의 중요도는 모델에 의존하지 않습니다. 측정항목입니다.

R

랜덤 포레스트

#df

앙상블은 결정 트리의 특정 임의 노이즈를 사용하여 학습한 각 결정 트리 예를 들어 배깅을 사용하면 됩니다.

랜덤 포레스트는 결정 포레스트의 한 유형입니다.

루트

#df

시작 노드 (첫 번째 조건)를 의사 트리에 포함하는 것이 좋습니다. 규칙에 따라 다이어그램은 의사 결정 트리의 맨 위에 루트를 배치합니다. 예를 들면 다음과 같습니다.

S

교체를 통한 샘플링

#df

동일한 값을 갖는 후보 항목 집합에서 항목을 선택하는 방법입니다. 항목을 여러 번 선택할 수 있습니다. '교체 포함' 문구 의미 각 선택 후 선택된 항목이 풀로 반환됨 조합할 수 있습니다 역수 방식은 대체 없이 샘플링하는 것입니다. 후보 항목을 한 번만 선택할 수 있음을 의미합니다

예를 들어 다음 과일 세트를 생각해 보세요.

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

시스템에서 무작위로 fig를 첫 번째 항목으로 선택한다고 가정합니다. 대체로 샘플링을 사용하는 경우 시스템에서 두 번째 항목을 찾습니다.

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

예, 이전과 동일한 세트이므로 시스템이 잠재적으로 fig를 다시 선택합니다.

대체 없이 샘플링을 사용하는 경우 샘플을 선택할 수 없음 선택할 수 있습니다 예를 들어 시스템에서 무작위로 fig를 첫 번째 샘플을 선택한 후에는 fig을(를) 다시 선택할 수 없습니다. 따라서 시스템은 다음 (감소된) 집합에서 두 번째 샘플을 선택합니다.

fruit = {kiwi, apple, pear, cherry, lime, mango}

추가 메모를 보려면 아이콘을 클릭하세요.

교체와 함께 샘플링에서 대체라는 단어는 혼란스러워합니다. 알게 되었습니다. 영어에서 대체는 '대체'를 의미합니다. 하지만 대체를 사용한 샘플링에서는 실제로는 프랑스어 정의가 사용됩니다. 대체는 '무언가를 돌려주는 것'을 의미합니다.

영어 단어 replacement는 프랑스어로 번역됩니다. remplacement라는 단어로 구분합니다.

---

축소

#df

초매개변수는 컨트롤하는 그라데이션 부스팅 과적합. 그래디언트 부스팅의 축소 학습률과 경사하강법. 축소는 십진수입니다. 0.0과 1.0 사이의 값입니다. 축소 값이 낮을수록 과적합 감소 훨씬 크다는 것을 의미합니다.

분할

#df

결정 트리에서는 condition 상태

스플리터

#df

결정 트리를 학습시키는 동안 루틴은 가장 적합한 모델을 찾는 데 있어 각 노드의 조건입니다.

T

테스트

#df

결정 트리에서는 condition 상태

임곗값 (결정 트리용)

#df

축 정렬 조건에서 기능을 비교하는 중입니다. 예를 들어 75는 다음 조건에서 임계값에 도달할 수 있습니다.

grade >= 75

드림 <ph type="x-smartling-placeholder">

</ph> 이러한 형태의 기준은 분류 임곗값.

V

변수 중요도

#df

각 항목의 상대적 중요도를 나타내는 점수 집합 특성을 모델에 추가합니다.

예를 들어 다음과 같은 결정 트리가 있다고 가정해 보겠습니다. 예상 주택 가격. 이 결정 트리가 세 가지 특성: 크기, 나이 및 스타일 변수 중요도 집합이 3개의 특성이 다음과 같이 계산됩니다. {size=5.8, age=2.5, style=4.7}인 경우 크기가 더 중요한 결정 트리를 살펴보겠습니다.

다양한 중요도 측정항목이 존재하여 모델의 다양한 측면에 대한 ML 전문가

W

군중의 지혜

#df

대규모 그룹의 의견이나 추정치를 평균화하는 개념 '군중'은 놀라울 정도로 좋은 결과를 낳는 경우가 많습니다. 예를 들어 사람들이 숫자와 숫자를 맞추는 게임에서 젤리빈을 커다란 병에 담은 것입니다. 대부분의 개인이 정확하지 않을 수 있으므로 모든 추측의 평균값은 놀랍게도 실제 기기 수에 근접한 것으로 항아리에 젤리빈이 들어 있습니다.

앙상블은 군중의 지혜를 보여주는 소프트웨어 아날로그입니다. 개별 모델이 매우 부정확한 예측을 하더라도 많은 모델의 예측을 평균화하면 놀라울 정도로 예측이 가능합니다. 예를 들어 개인이 결정 트리는 잘못된 예측을 할 수도 있고 결정 포레스트는 종종 매우 좋은 예측을 합니다.