Об’єктивність: перевірте свої знання

  1. Правда чи неправда: історична упередженість виникає, коли модель навчається на старих даних.

  2. Розробники навчають регресійну модель, щоб вона прогнозувала калорійність страв на основі різноманітних даних ознак, зібраних із сайтів із рецептами з усього світу. Це, наприклад, розмір порції, інгредієнти й способи приготування. Які з проблем із даними, наведених нижче, є потенційними джерелами упередженості, які слід дослідити ретельніше?

    Choose as many answers as you see fit.

  3. Модель виявлення сарказму навчалася на 80 000 текстових повідомлень: з них 40 000 надіслали дорослі (віком від 18 років), а інші 40 000 – неповнолітні (які не досягли 18 років). Потім модель оцінювалася на тестовому наборі з 20 000 повідомлень – 10 000 від дорослих і 10 000 від неповнолітніх. Матриці плутанини, наведені нижче, показують результати для кожної групи (позитивний прогноз означає класифікацію в групу "сарказм"; негативний прогноз – у групу "не сарказм").

    Дорослі

    Істиннопозитивні (TP): 512 Хибнопозитивні (FP): 51
    Хибнонегативні (FN): 36 Істиннонегативні (TN): 9401
    Влучність = TP/(TP + FP) = 0,909
    Повнота = TP/(TP + FN) = 0,934

    Неповнолітні

    Істиннопозитивні (TP): 2147 Хибнопозитивні (FP): 96
    Хибнонегативні (FN): 2177 Істиннонегативні (TN): 5580
    Влучність = TP/(TP + FP) = 0,957
    Повнота = TP/(TP + FN) = 0,497

    Які з наведених нижче тверджень щодо ефективності тестового набору моделі правильні?

    Choose as many answers as you see fit.

  4. Яка з гіпотез, указаних нижче, могла б пояснити розбіжності в результатах для підгруп, які виявила перевірка моделі виявлення сарказму, наведеної вище, на тестовому наборі?

    Choose as many answers as you see fit.

  5. Інженери працюють над повторним навчанням моделі сарказму, описаної вище, щоб усунути невідповідності в точності виявлення сарказму в повідомленнях від різних вікових категорій населення, проте модель уже використовується в робочому середовищі. Яка з наведених нижче стратегій тимчасових рішень допоможе зменшити помилки в прогнозах моделі?

Was this helpful?