Tipi di condizioni

Questa unità si concentra su diversi tipi di condizioni utilizzate per creare gli alberi decisionali.

Condizioni allineate all'asse e oblique

Una condizione allineata all'asse coinvolge una sola funzionalità. Una condizione obliqua coinvolge più elementi. Ad esempio, la seguente è una condizione allineata all'asse:

num_legs ≥ 2

Mentre la seguente è una condizione obliqua:

num_legs ≥ num_fingers

Spesso, gli alberi decisionali vengono addestrati solo con condizioni allineate agli assi. Tuttavia, le suddivisioni oblique sono più efficaci perché possono esprimere modelli più complessi. A volte le suddivisioni oblique producono risultati migliori a scapito di costi di addestramento e inferenza più elevati.

Codice YDF

In YDF, gli alberi decisionali vengono addestrati con la condizione allineata all'asse per impostazione predefinita. Puoi attivare gli alberi decisionali obliqui con il parametro split_axis="SPARSE_OBLIQUE".

Figura 4. Esempi di una condizione allineata all'asse e di una condizione obliqua.

 

Se rappresenti graficamente le due condizioni precedenti, ottieni la seguente separazione dello spazio delle funzionalità:

Figura 5. Separazione dello spazio delle funzionalità per le condizioni riportate nella Figura 4.

 

Condizioni binarie e non binarie

Le condizioni con due possibili risultati (ad esempio, true o false) sono chiamate condizioni binarie. Gli alberi decisionali contenenti solo condizioni binarie sono chiamati alberi decisionali binari.

Le condizioni non binarie hanno più di due possibili risultati. Pertanto, le condizioni non binarie hanno un potere di discriminazione maggiore rispetto alle condizioni binarie. Le decisioni contenenti una o più condizioni non binarie sono chiamate alberi di decisione non binari.

Figura 6: alberi decisionali binari e non binari.

 

Anche le condizioni con troppa potenza sono più soggette a overfitting. Per questo motivo, le foreste decisionali generalmente utilizzano alberi decisionali binari, quindi questo corso si concentrerà su questi modelli.

Nota: una condizione non binaria può essere emulata con più condizioni binarie. Pertanto, gli alberi binari non sono intrinsecamente meno potenti degli alberi non binari.

Il tipo di condizione più comune è la condizione di soglia espressa come:

feature ≥ threshold

Ad esempio:

num_legs ≥ 2

Esistono altri tipi di condizioni. Di seguito sono riportati altri tipi di condizioni binarie di uso comune:

 

Tabella 2. Tipi comuni di condizioni binarie.

Nome	Condizione	Esempio
condizione soglia	$\mathrm{feature}_i \geq \mathrm{threshold}$	$\mathrm{num\_legs} \geq 2$
condizione di uguaglianza	$\mathrm{feature}_i = \mathrm{value}$	$\mathrm{species} = ``cat"$
Condizione in-set	$\mathrm{feature}_i \in \mathrm{collection}$	$\mathrm{species} \in \{``cat", ``dog", ``bird"\}$
condizione obliqua	$\sum_{i} \mathrm{weight}_i \mathrm{feature}_i \geq \mathrm{threshold}$	$5 \ \mathrm{num\_legs} + 2 \ \mathrm{num\_eyes} \geq 10$
La funzionalità non è presente	$\mathrm{feature}_i \mathrm{is} \mathrm{Missing}$	$\mathrm{num\_legs} \mathrm{is} \mathrm{Missing}$