Sistemi ML nel mondo reale: letteratura

In questa lezione imparerai a eseguire il debug di un problema ML reale* relativo alla letteratura del XVIII secolo.

Esempio di mondo reale: letteratura del XVIII secolo

  • Professore di letteratura del 18° secolo voleva prevedere l'affiliazione politica degli autori in base solo alle "metafore mentali"; autore utilizzato.
Libri antichi
  • Professore di letteratura del 18° secolo voleva prevedere l'affiliazione politica degli autori in base solo alle "metafore mentali"; autore utilizzato.
  • Un team di ricercatori ha creato un grande set di dati etichettato con molti autori, opere, frase per frase, e suddiviso in set di test/convalida/test.
Libri antichi
  • Professore di letteratura del 18° secolo voleva prevedere l'affiliazione politica degli autori in base solo alle "metafore mentali"; autore utilizzato.
  • Un team di ricercatori ha creato un grande set di dati etichettato con molti autori, opere, frase per frase, e suddiviso in set di test/convalida/test.
  • Il modello addestrato funzionava quasi perfettamente con i dati del test, ma i ricercatori ritenevano che i risultati fossero stranamente accurati. Cosa potrebbe essere andato storto?
Libri antichi

Perché ritieni che l'accuratezza del test sia stata stranamente elevata? Prova a capire il problema e fai clic sul pulsante Gioca ▶ di seguito per scoprire se hai risolto il problema.

  • Suddivisione dati A: i ricercatori inseriscono alcuni esempi nel set di addestramento, alcuni nel set di convalida, altri nel set di test.
Tutti gli esempi di Richardson potrebbero essere nel set di addestramento, mentre tutti gli esempi di Swift potrebbero essere nel set di convalida.
Diagramma che mostra la suddivisione di esempi di autori nei set di addestramento, convalida e test. In ogni set sono rappresentati esempi appartenenti a ciascuno dei tre autori.
  • Suddivisione dati B: i ricercatori inseriscono tutti gli esempi di ogni autore in un unico set.
Diagramma che mostra la suddivisione di esempi di autori nei set di addestramento, convalida e test. Il set di addestramento contiene solo esempi di Swift, il set di convalida contiene solo esempi di Blake, mentre il set di test contiene solo esempi di Defoe.
  • Suddivisione dati A: i ricercatori inseriscono alcuni esempi nel set di addestramento, alcuni nel set di convalida, altri nel set di test.
  • Suddivisione dati B: i ricercatori inseriscono tutti gli esempi di ogni autore in un unico set.
  • Risultati: il modello addestrato sulla suddivisione dati ha una precisione molto più elevata rispetto al modello addestrato sulla suddivisione dati B.

La morale: valuta attentamente come suddividere gli esempi.

Scopri cosa rappresentano i dati.

* Abbiamo basato questo modulo molto vagamente (apportando alcune modifiche lungo il percorso) a "Significato e estrazione: l'impatto delle ipotesi implicite nel mining di dati per le materie umanistiche" di Sculley e Pasanek.

Indietro
Previsione del cancro (5 min)
Avanti
Linee guida (2 min)