Glossário de machine learning: florestas de decisão

Esta página contém os termos do glossário de florestas de decisão. Para ver todos os termos do glossário, clique aqui.

A

amostragem de atributos

#df

Uma tática para treinar uma floresta de decisão em que cada árvore de decisão considera apenas um subconjunto aleatório de recursos possíveis ao aprender a condição. Geralmente, um subconjunto diferente de recursos é amostrado para cada . Por outro lado, ao treinar uma árvore de decisão sem amostragem de atributos, todos os atributos possíveis são considerados para cada nó.

condição de alinhamento ao eixo

#df

Em uma árvore de decisão, uma condição que envolve apenas um único recurso. Por exemplo, se a área for um recurso, esta será uma condição alinhada ao eixo:

area > 200

Contraste com a condição oblíqua.

B

ensopando

#df

Um método para treinar um ensemble em que cada modelo constituinte é treinado em um subconjunto aleatório de exemplos de treinamento amostrados com substituição. Por exemplo, uma floresta aleatória é uma coleção de árvores de decisão treinadas com pacotes.

O termo bagging é a abreviação de bootstrap aggregating.

condição binária

#df

Em uma árvore de decisão, uma condição que tem apenas dois resultados possíveis, normalmente sim ou não. Por exemplo, esta é uma condição binária:

temperature >= 100

Contraste com a condição não binária.

C

condição

#df

Em uma árvore de decisão, qualquer que avalie uma expressão. Por exemplo, a parte a seguir de uma árvore de decisão contém duas condições:

Uma árvore de decisão que consiste em duas condições: (x > 0) e (y > 0).

Uma condição também é chamada de divisão ou teste.

Condição de contraste com leaf.

Consulte também:

D

floresta de decisão

#df

Um modelo criado a partir de várias árvores de decisão. Uma floresta de decisão faz uma previsão agregando as previsões das árvores de decisão dela. Os tipos conhecidos de florestas de decisão incluem florestas aleatórias e árvores otimizadas com gradiente.

árvore de decisão

#df

Um modelo de aprendizado supervisionado composto por um conjunto de conditions e conditions organizados hierarquicamente. Por exemplo, veja a seguir uma árvore de decisão:

Uma árvore de decisão composta por quatro condições organizadas hierarquicamente, que levam a cinco folhas.

E

entropia

#df

Em teoria da informação, uma descrição de como é imprevisível uma distribuição de probabilidade. Como alternativa, a entropia também é definida como a quantidade de informações que cada exemplo contém. Uma distribuição tem a maior entropia possível quando todos os valores de uma variável aleatória são igualmente prováveis.

A entropia de um conjunto com dois valores possíveis, "0" e "1" (por exemplo, os rótulos em um problema de classificação binária) tem a seguinte fórmula:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

onde:

  • H é a entropia.
  • p é a fração dos exemplos de "1".
  • q é a fração dos exemplos de "0". Observe que q = (1 - p)
  • log geralmente é log2. Nesse caso, a unidade de entropia é um pouco.

Por exemplo, suponha que:

  • 100 exemplos contêm o valor "1"
  • 300 exemplos contêm o valor "0"

Portanto, o valor da entropia é:

  • p = 0,25
  • q = 0,75
  • H = (-0,25)log2(0,25) - (0,75)log2(0,75) = 0,81 bits por exemplo

Um conjunto perfeitamente equilibrado (por exemplo, 200 "0" e 200 "1"s) teria uma entropia de 1,0 bit por exemplo. À medida que um conjunto fica mais desequilibrado, a entropia dele se torna 0,0.

Nas árvores de decisão, a entropia ajuda a formular o ganho de informações para ajudar o divisor a selecionar as condições durante o crescimento de uma árvore de decisão de classificação.

Comparar entropia com:

Muitas vezes, a entropia é chamada de entropia de Shannon.

F)

importâncias de atributos

#df

Sinônimo de importâncias variáveis.

G

impureza de gini

#df

Uma métrica semelhante à entropia. Os divisores usam valores derivados da impureza ou entropia de gini para compor condições para árvores de decisão de classificação. O ganho de informações é derivado da entropia. Não existe um termo equivalente universalmente aceito para a métrica derivada da impureza gini. No entanto, essa métrica sem nome é tão importante quanto o ganho de informações.

A impureza de Gini também é chamada de índice de gini ou simplesmente gini.

árvores (GBT) com aumento de gradiente

#df

Um tipo de floresta de decisão em que:

aumento de gradiente

#df

Um algoritmo de treinamento em que modelos fracos são treinados para melhorar de forma iterativa a qualidade (reduzir a perda) de um modelo forte. Por exemplo, um modelo fraco pode ser linear ou pequeno de árvore de decisão. O modelo forte se torna a soma de todos os modelos fracos que já foram treinados.

Na forma mais simples de otimização de gradiente, a cada iteração, um modelo fraco é treinado para prever o gradiente de perda do modelo forte. Em seguida, a saída do modelo forte é atualizada subtraindo o gradiente previsto, semelhante ao gradiente descendente.

$$F_{0} = 0$$ $$F_{i+1} = F_i - \xi f_i $$

onde:

  • $F_{0}$ é o modelo inicial forte.
  • $F_{i+1}$ é o próximo modelo forte.
  • $F_{i}$ é o modelo forte atual.
  • $\xi$ é um valor entre 0,0 e 1,0 chamado redução, que é análogo à taxa de aprendizado no gradiente descendente.
  • $f_{i}$ é o modelo fraco treinado para prever o gradiente de perda de $F_{i}$.

As variações modernas de otimização do gradiente também incluem a segunda derivada (Hessian) da perda no cálculo.

As árvores de decisão costumam ser usadas como modelos fracos na otimização de gradiente. Consulte as árvores de aumento de gradiente (decisão).

I

caminho de inferência

#df

Em uma árvore de decisão, durante a inferência, a rota que um exemplo específico toma da raiz para outras condições, terminando com uma folha. Por exemplo, na árvore de decisão a seguir, as setas mais grossas mostram o caminho de inferência de um exemplo com estes valores de atributo:

  • x = 7
  • y = 12
  • z = -3

O caminho de inferência na ilustração a seguir percorre três condições antes de chegar à folha (Zeta).

Uma árvore de decisão composta por quatro condições e cinco folhas.
          A condição raiz é (x > 0). Como a resposta é "Sim", o caminho de inferência percorre da raiz até a próxima condição (y > 0).
          Como a resposta é "Sim", o caminho de inferência percorre a
          próxima condição (z > 0). Como a resposta é "Não", o caminho de inferência
          vai até o nó terminal, que é a folha (Zeta).

As três setas grossas mostram o caminho de inferência.

ganho de informações

#df

Em florestas de decisão, a diferença entre a entropia de um nó e a soma ponderada (por número de exemplos) da entropia dos nós filhos. A entropia de um nó é a entropia dos exemplos desse nó.

Por exemplo, considere os seguintes valores de entropia:

  • entropia do nó pai = 0,6
  • entropia de um nó filho com 16 exemplos relevantes = 0,2
  • entropia de outro nó filho com 24 exemplos relevantes = 0,1

Portanto, 40% dos exemplos estão em um nó filho e 60% no outro. Assim:

  • Soma da entropia ponderada dos nós filhos = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Assim, o ganho de informação é:

  • ganho de informações = entropia do nó pai - soma de entropia ponderada dos nós filhos
  • ganho de informação = 0,6 - 0,14 = 0,46

A maioria dos divisores busca criar condições que maximizam o ganho de informações.

condição inserida

#df

Em uma árvore de decisão, uma condição que testa a presença de um item em um conjunto de itens. Por exemplo, esta é uma condição inserida:

  house-style in [tudor, colonial, cape]

Durante a inferência, se o valor do recurso de estilo de casa for tudor ou colonial ou cape, essa condição será avaliada como Sim. Se o valor do recurso de estilo de casa for outro tipo (por exemplo, ranch), essa condição será avaliada como Não.

As condições inseridas geralmente levam a árvores de decisão mais eficientes do que as condições que testam recursos codificados em one-hot.

L

folha

#df

Qualquer endpoint em uma árvore de decisão. Ao contrário de uma condição, uma folha não executa um teste. Em vez disso, uma folha é uma previsão possível. Uma folha também é o do terminal de um caminho de inferência.

Por exemplo, a árvore de decisão a seguir contém três folhas:

Uma árvore de decisão com duas condições que levam a três folhas.

N

nó (árvore de decisão)

#df

Em uma árvore de decisão, qualquer condição ou folha.

Uma árvore de decisão com duas condições e três folhas.

condição não binária

#df

Uma condição que contém mais de dois resultados possíveis. Por exemplo, a condição não binária a seguir contém três resultados possíveis:

Uma condição (number_of_legs = ?) que leva a três resultados
          possíveis. Um resultado (number_of_legs = 8) leva a uma folha
          chamada aranha. Um segundo resultado (number_of_legs = 4) leva a uma folha chamada cachorro. Um terceiro resultado (number_of_legs = 2) leva a uma folha chamada pinguim.

O

condição oblíqua

#df

Em uma árvore de decisão, uma condição que envolve mais de um recurso. Por exemplo, se altura e largura forem dois elementos, então a condição a seguir é oblíqua:

  height > width

Contraste com a condição alinhada ao eixo.

avaliação de fora do caso (avaliação de OOB)

#df

Um mecanismo para avaliar a qualidade de uma floresta de decisão testando cada árvore de decisão em relação aos exemplos não usados durante o treinamento dessa árvore de decisão. Por exemplo, no diagrama a seguir, observe que o sistema treina cada árvore de decisão em cerca de dois terços dos exemplos e, em seguida, avalia em relação ao um terço restante dos exemplos.

Uma floresta de decisão composta por três árvores de decisão.
          Uma árvore de decisão é treinada em dois terços dos exemplos
          e usa o um terço restante para a avaliação de OOB.
          Uma segunda árvore de decisão é treinada em dois terços diferentes
          dos exemplos da árvore de decisão anterior e,
          em seguida, usa um terço diferente para a avaliação de OOB
          da árvore de decisão anterior.

A avaliação de valores fora de uso é uma aproximação conservadora e eficiente em termos computacionais do mecanismo de validação cruzada. Na validação cruzada, um modelo é treinado para cada rodada de validação cruzada (por exemplo, 10 modelos são treinados em uma validação cruzada de 10 dobras). Com a avaliação OOB, um único modelo é treinado. Como bagging retém alguns dados de cada árvore durante o treinamento, a avaliação de OOB pode usar esses dados para aproximar a validação cruzada.

P

importâncias das variáveis de permutação

#df

Um tipo de importância variável que avalia o aumento no erro de previsão de um modelo após permutar os valores do atributo. A importância da variável de permutação é uma métrica independente de modelo.

R

Floresta aleatória

#df

Um ensemble de árvores de decisão em que cada árvore de decisão é treinada com um ruído aleatório específico, como bagging.

Florestas aleatórias são um tipo de floresta de decisão.

root

#df

O inicial (a primeira condição) em uma árvore de decisão. Por convenção, os diagramas colocam a raiz no topo da árvore de decisão. Exemplo:

Uma árvore de decisão com duas condições e três folhas. A
          condição inicial (x > 2) é a raiz.

S

amostragem com substituição

#df

Um método para escolher itens de um conjunto de itens candidatos em que o mesmo item pode ser escolhido várias vezes. A frase "com substituição" significa que, após cada seleção, o item selecionado é retornado ao conjunto de itens candidatos. O método inverso, amostragem sem substituição, significa que um item candidato só pode ser escolhido uma vez.

Por exemplo, considere o seguinte conjunto de frutas:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Suponha que o sistema escolha aleatoriamente fig como o primeiro item. Ao usar a amostragem com substituição, o sistema escolherá o segundo item do conjunto a seguir:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Sim, é o mesmo conjunto de antes, então o sistema pode escolher fig novamente.

Se você usar a amostragem sem substituição, depois de selecionada, uma amostra não poderá ser selecionada novamente. Por exemplo, se o sistema escolher aleatoriamente fig como a primeira amostra, fig não poderá ser escolhido de novo. Portanto, o sistema escolhe a segunda amostra do conjunto (reduzido) a seguir:

fruit = {kiwi, apple, pear, cherry, lime, mango}

redução

#df

Um hiperparâmetro no aumento do gradiente que controla o overfitting. A redução na otimização do gradiente é análoga à taxa de aprendizado no gradiente descendente. Redução é um valor decimal entre 0,0 e 1,0. Um valor de redução menor reduz mais o overfitting do que um valor de redução maior.

dividir

#df

Em uma árvore de decisão, outro nome para uma condição.

divisor

#df

Ao treinar uma árvore de decisão, a rotina e o algoritmo responsáveis por encontrar a melhor condição em cada .

T

test

#df

Em uma árvore de decisão, outro nome para uma condição.

limite (para árvores de decisão)

#df

Em uma condição alinhada ao eixo, o valor com o qual um atributo está sendo comparado. Por exemplo, 75 é o valor do limite na seguinte condição:

grade >= 75

V

importâncias variáveis

#df

Um conjunto de pontuações que indica a importância relativa de cada recurso para o modelo.

Por exemplo, considere uma árvore de decisão que estime os preços de casas. Suponha que essa árvore de decisão use três recursos: tamanho, idade e estilo. Se um conjunto de importâncias variáveis para os três recursos for calculado como {size=5.8, age=2.5, style=4.7}, o tamanho será mais importante para a árvore de decisão do que a idade ou o estilo.

Existem diferentes métricas de importância variáveis, que podem informar especialistas de ML sobre diferentes aspectos dos modelos.

W

a sabedoria da multidão

#df

A ideia de que a média das opiniões ou estimativas de um grande grupo de pessoas ("a multidão") geralmente produz resultados surpreendentemente bons. Por exemplo, considere um jogo em que as pessoas adivinham o número de jujubas em um pote grande. Embora a maioria dos palpites individual seja imprecisa, a média de todas as suposições tem se mostrado empiricamente próxima do número real de jujubas no pote.

Ensembles são softwares análogos à sabedoria da multidão. Mesmo que os modelos individuais façam previsões muito imprecisas, a média das previsões de muitos modelos costuma gerar previsões surpreendentemente boas. Por exemplo, uma árvore de decisão individual pode fazer previsões ruins, mas uma floresta de decisão costuma fazer previsões muito boas.