Equidad: Pon a prueba tus conocimientos

Verdadero o falso: El sesgo histórico ocurre cuando un modelo se entrena con datos antiguos.

Verdadero

Falso

Los ingenieros están entrenando un modelo de regresión para predecir el contenido calórico de las comidas en función de una variedad de datos de atributos que recopilaron de sitios web de recetas de todo el mundo, como el tamaño de la porción, los ingredientes y las técnicas de preparación. ¿Cuáles de los siguientes problemas de datos son posibles fuentes de sesgo que deben investigarse más a fondo?

Selecciona todas las respuestas que consideres correctas.

A aproximadamente 4,000 de los 40,000 ejemplos de entrenamiento les faltaba un valor para el atributo “tamaño de entrega”.

Aproximadamente 5,000 de los ejemplos de entrenamiento tenían medidas en unidades imperiales (onzas, libras, etc.), mientras que los otros 35,000 ejemplos tenían medidas en unidades métricas (gramos, litros, etc.).

Aproximadamente 100 de los 40,000 ejemplos de entrenamiento tenían valores de ingredientes que parecían ser incorrectos (p.ej., 100 barras de mantequilla).

Algunas comidas populares estuvieron subrepresentadas en los datos de entrenamiento en relación con otras comidas populares (p.ej., hubo 200 ejemplos de entrenamiento para la dosa, pero solo 10 para la pizza).

Se entrenó un modelo de detección de sarcasmo con 80,000 mensajes de texto: 40,000 mensajes enviados por adultos (mayores de 18 años) y 40,000 mensajes enviados por menores (menores de 18 años). Luego, el modelo se evaluó en un conjunto de prueba de 20,000 mensajes: 10,000 de adultos y 10,000 de menores. Las siguientes matrices de confusión muestran los resultados de cada grupo (una predicción positiva significa una clasificación de "sarcástico"; una predicción negativa significa una clasificación de "no sarcástico"):

Adultos

Verdaderos positivos (VP): 512	Falsos positivos (FP): 51
Falsos negativos (FN): 36	Verdaderos negativos (VN): 9401
Precisión = VP/(VP + FP) = 0.909
Recuperación = VP/(VP + FN) = 0.934

Menores

Verdaderos positivos (VP): 2,147	Falsos positivos (FP): 96
Falsos negativos (FN): 2,177	Verdaderos negativos (VN): 5,580
Precisión = VP/(VP + FP) = 0.957
Recuperación = VP/(VP + FN) = 0.497

¿Cuáles de las siguientes afirmaciones sobre el rendimiento del conjunto de prueba del modelo son verdaderas?

Selecciona todas las respuestas que consideres correctas.

El rendimiento del modelo es mejor con ejemplos de adultos que con ejemplos de menores.

Los 10,000 mensajes enviados por los adultos conforman un conjunto de datos desequilibrado.

Los 10,000 mensajes enviados por los menores conforman un conjunto de datos desequilibrado.

Aproximadamente el 50% de los mensajes que envían los menores se clasifican como "sarcástico" de manera incorrecta.

El modelo no clasifica aproximadamente el 50% de los mensajes sarcásticos de los menores como "sarcásticos".

¿Cuál de las siguientes hipótesis podrían explicar las discrepancias en el rendimiento de los subgrupos en el conjunto de prueba del modelo de detección de sarcasmo anterior?

Selecciona todas las respuestas que consideres correctas.

El modelo se equivoca mucho por predecir “sarcástico”. Como resultado, comete más errores al clasificar los menores mensajes de texto, ya que se incluyen más mensajes sarcásticos de menores en el conjunto de prueba.

El modelo se evaluó a partir de ejemplos más negativos (no sarcásticos) de menores que de adultos, lo que dio como resultado más errores en los menores.

El sarcasmo en los mensajes de texto de menores fue más sutil y, por lo tanto, es menos probable que el modelo lo marcara.

Los adultos reciben muchos menos mensajes sarcásticos que los menores. Si el modelo se evaluara con un conjunto de mensajes para adultos más equilibrado, es posible que su recuperación disminuya para ese subgrupo.

Los ingenieros están trabajando en volver a entrenar el modelo de sarcasmo anterior para abordar las incoherencias en la precisión de la detección del sarcasmo en todos los segmentos demográficos de edad, pero el modelo ya se lanzó en producción. ¿Cuál de las siguientes estrategias provisorias ayudará a mitigar errores en las predicciones del modelo?

Restringir el uso del modelo a mensajes de texto enviados por menores.

Ajusta la salida del modelo de modo que muestre “sarcástico” para todos los mensajes de texto enviados por menores, sin importar lo que el modelo haya predicho originalmente.

Cuando el modelo predice “no sarcástico” para mensajes de texto enviados por menores, ajusta el resultado para que el modelo devuelva un valor de “no lo sé” en su lugar.