Acurácia
Confira as opções abaixo.
Em qual dos cenários a seguir um valor de alta precisão sugere que
o modelo de ML está fazendo um bom trabalho?
Uma condição médica mortal, mas que é curável, afeta 0,01% da
população. Um modelo de ML usa os sintomas como atributos e prevê
essa afinidade com uma precisão de 99,99%.
A precisão é uma métrica ruim aqui. Afinal, até mesmo um modelo "dumb" que sempre prevê "not sick" ainda seria 99,99% preciso.
Previsões desnecessária e "doente" para uma pessoa que realmente está doente
pode ser mortal.
Um frango robótico caro atravessa uma estrada muito ocupada mil vezes por dia. Um modelo de ML avalia os padrões de tráfego e
prevê quando esse frango pode atravessar a rua com segurança, com uma
precisão de 99,99%.
Um valor de precisão de 99,99% em uma via muito movimentada sugere que
o modelo de ML é muito melhor que o acaso. No entanto, em algumas configurações,
o custo de cometer um pequeno número de erros ainda é muito alto.
A precisão de 99, 99% significa que o frango caro precisará ser
substituído a cada 10 dias, em média. Ela também pode causar danos
significativos aos carros que atinge.
No jogo de roleta, uma bola é jogada em uma roda e depois cai em um dos 38 slots. Usando recursos visuais (o giro da bola, a posição da
roda quando ela é solta, a altura da bola sobre a
roda), um modelo de ML pode prever o local onde a bola vai pousar com
uma precisão de 4%.
Esse modelo de ML faz previsões muito melhores do que o acaso.Um palpite
aleatório é o correto 1/38 do tempo, resultando em uma precisão de 2,6%.
Embora a acurácia do modelo seja "apenas" 4%, os benefícios do sucesso superam muito as desvantagens da falha.
Precisão
Confira as opções abaixo.
Considere um modelo de classificação que separe os e-mails em duas categorias:
"spam" ou "não é spam." Se você aumentar o limite de classificação, o que
acontecerá com a precisão?
Com certeza aumentam.
O aumento do limite de classificação normalmente aumenta a precisão.
No entanto, não há garantia de que a precisão aumentará monotonicamente conforme
o aumento do limite.
Provavelmente aumentar.
Em geral, aumentar o limite de classificação reduz os falsos positivos, aumentando a precisão.
Provavelmente diminuir.
Em geral, aumentar o limite de classificação reduz os falsos positivos, aumentando a precisão.
Diminuir.
Em geral, aumentar o limite de classificação reduz os falsos positivos, aumentando a precisão.
Recall
Confira as opções abaixo.
Considere um modelo de classificação que separe os e-mails em duas categorias:
"spam" ou "não é spam." Se você aumentar o limite de classificação, do que
vai se lembrar?
Aumentar sempre.
O aumento do limite de classificação resultará nestes dois fatores:
- O número de verdadeiros positivos diminuirá ou permanecerá o mesmo.
- O número de falsos negativos aumentará ou permanecerá o mesmo.
Sempre diminua ou continue igual.
Aumentar o limite de classificação fará com que o número de
verdadeiros positivos diminua ou permaneça o mesmo e fará com que o
número de falsos negativos aumente ou permaneça o mesmo. Assim, o recall permanece constante ou diminui.
Mantenha a consistência.
Aumentar o limite de classificação fará com que o número de
verdadeiros positivos diminua ou permaneça o mesmo e fará com que o
número de falsos negativos aumente ou permaneça o mesmo. Assim, o recall permanece constante ou diminui.
Precisão e recall
Confira as opções abaixo.
Considere dois modelos, A e B, que avaliam o mesmo conjunto de dados.
Qual das seguintes afirmações é verdadeira?
Se o modelo A tiver uma precisão melhor do que o modelo B, o modelo A será melhor.
Ainda que a precisão seja melhor, isso pode ser o custo
de uma grande redução de recall. Em geral, precisamos observar
a precisão e o recall em conjunto ou métricas de resumo, como a AUC,
que vamos abordar a seguir.
Se o modelo A tem um recall melhor do que o B, então o modelo A é
melhor.
Embora um bom recall seja um bom recurso, ele pode prejudicar a
grande precisão. Em geral, precisamos
analisar a precisão e o recall em conjunto ou as métricas de resumo, como a AUC, que abordaremos a seguir.
Se o modelo A tiver uma precisão e recall melhores do que o modelo B, provavelmente o modelo A é melhor.
Em geral, um modelo que supera outro modelo em precisão e recall é provavelmente o melhor. Obviamente,
precisamos garantir que a comparação esteja sendo feita em um
ponto de precisão / recall que seja útil na prática para que
isso seja significativo. Por exemplo, suponha que nosso modelo de detecção de spam
tenha pelo menos 90% de precisão para ser útil e evitar
alarmes falsos desnecessários. Nesse caso, comparar
um modelo com {20% de precisão, 99% de recall} com outro com
{15% de precisão, 98% de recall} não é muito instrutivo, porque
nenhum dos modelos atende ao requisito de precisão de 90%. No entanto, essa ressalva é uma boa maneira de comparar modelos ao usar precisão e recall.