ระบบ ML การผลิต: คำถามที่ควรถาม

บทเรียนนี้มุ่งเน้นที่คำถามที่คุณควรถามเกี่ยวกับข้อมูลและโมเดลในระบบเวอร์ชันที่ใช้งานจริง

ฟีเจอร์แต่ละอย่างมีประโยชน์ไหม

คุณควรตรวจสอบโมเดลอย่างต่อเนื่องเพื่อนำฟีเจอร์ที่มีส่วนช่วยน้อยหรือไม่ช่วยเลยต่อความสามารถในการคาดการณ์ของโมเดลออก หากข้อมูลอินพุตสำหรับฟีเจอร์นั้นเปลี่ยนแปลงอย่างฉับพลัน ลักษณะการทํางานของโมเดลก็อาจเปลี่ยนแปลงอย่างฉับพลันด้วยในลักษณะที่ไม่พึงประสงค์

และลองพิจารณาคำถามที่เกี่ยวข้องต่อไปนี้ด้วย

  • ประโยชน์ของฟีเจอร์นั้นคุ้มค่ากับค่าใช้จ่ายในการรวมหรือไม่

การเพิ่มฟีเจอร์อื่นๆ ลงในโมเดลเป็นสิ่งที่น่าดึงดูดใจเสมอ ตัวอย่างเช่น สมมติว่าคุณพบฟีเจอร์ใหม่ที่การใส่ฟีเจอร์นี้เข้าไปทําให้การคาดการณ์ของโมเดลดีขึ้นเล็กน้อย การคาดการณ์ที่ดีขึ้นเล็กน้อยดูดีกว่าการคาดการณ์ที่แย่ลงเล็กน้อยอย่างแน่นอน แต่ฟีเจอร์เพิ่มเติมก็เพิ่มภาระการดูแลรักษาด้วย

แหล่งข้อมูลของคุณเชื่อถือได้ไหม

คำถามที่ควรถามเกี่ยวกับความน่าเชื่อถือของข้อมูลที่คุณป้อน

  • สัญญาณจะพร้อมใช้งานเสมอหรือมาจากแหล่งที่มาที่ไม่เชื่อถือได้ เช่น
    • สัญญาณมาจากเซิร์ฟเวอร์ที่ขัดข้องเนื่องจากมีภาระงานมากหรือไม่
    • สัญญาณมาจากผู้ใช้ที่ลาพักร้อนทุกเดือนสิงหาคมใช่ไหม
  • ระบบที่คำนวณข้อมูลอินพุตของโมเดลมีการเปลี่ยนแปลงไหม หากใช่ ให้ทำดังนี้
    • บ่อยแค่ไหน
    • คุณจะทำอย่างไรเมื่อระบบดังกล่าวมีการเปลี่ยนแปลง

ลองสร้างสําเนาข้อมูลที่คุณได้รับจากกระบวนการต้นทางของคุณเอง จากนั้นให้เลื่อนข้อมูลต้นทางไปยังเวอร์ชันถัดไปก็ต่อเมื่อคุณแน่ใจว่าปลอดภัยแล้ว

โมเดลของคุณเป็นส่วนหนึ่งของลูปการตอบกลับหรือไม่

บางครั้งโมเดลอาจส่งผลต่อข้อมูลการฝึกของตนเอง ตัวอย่างเช่น ผลลัพธ์จากโมเดลบางรายการจะกลายเป็นฟีเจอร์อินพุต (โดยตรงหรือโดยอ้อม) ของโมเดลเดียวกันนั้น

บางครั้งโมเดลหนึ่งอาจส่งผลต่อโมเดลอื่น ตัวอย่างเช่น ลองพิจารณา 2 รูปแบบในการคาดการณ์ราคาหุ้น ดังนี้

  • โมเดล ก ซึ่งเป็นโมเดลการคาดการณ์ที่ไม่ดี
  • รูปแบบ ข.

เนื่องจากโมเดล ก มีข้อบกพร่อง จึงตัดสินใจซื้อหุ้นในหุ้น ข โดยไม่ได้ตั้งใจ การซื้อเหล่านั้นทำให้ราคาของหุ้น X เพิ่มขึ้น โมเดล ข. ใช้ราคาของหุ้น ก. เป็นฟีเจอร์อินพุต ดังนั้นโมเดล ข. จึงอาจสรุปค่าของหุ้น ก. ผิดพลาดได้ ดังนั้น โมเดล ข จึงสามารถซื้อหรือขายหุ้นของหุ้น X ตามลักษณะการทำงานที่ผิดพลาดของโมเดล ก ในทางกลับกัน ลักษณะการทํางานของโมเดล ข. อาจส่งผลต่อโมเดล ก. ซึ่งอาจทริกเกอร์ความคลั่งไคล้ดอกทิวลิปหรือราคาหุ้นของบริษัท ก. ลดลง

แบบฝึกหัด: ทดสอบความเข้าใจ

โมเดลใดต่อไปนี้ 3 รายการที่อาจมีลูปความคิดเห็น
โมเดลแอตทริบิวต์ใบหน้าที่ตรวจจับว่าบุคคลในรูปภาพยิ้มหรือไม่ ซึ่งได้รับการฝึกเป็นประจำในฐานข้อมูลภาพสต็อกที่อัปเดตโดยอัตโนมัติทุกเดือน
รูปแบบการแนะนำหนังสือซึ่งจะแนะนำนวนิยายที่ผู้ใช้อาจชอบโดยอิงจากความนิยม (เช่น จำนวนครั้งที่มีการซื้อหนังสือ)
โมเดลการคาดการณ์การเข้าชมที่คาดการณ์ความแออัดที่ทางออกของทางหลวงใกล้ชายหาดโดยใช้ขนาดฝูงชนที่ชายหาดเป็นหนึ่งในฟีเจอร์
รูปแบบการจัดอันดับมหาวิทยาลัยที่ประเมินโรงเรียนบางส่วนตามการคัดเลือก โดยพิจารณาจากเปอร์เซ็นต์ของนักเรียนที่สมัครและได้รับคัดเลือก
โมเดลมูลค่าที่อยู่อาศัยที่คาดการณ์ราคาบ้านโดยใช้ขนาด (พื้นที่เป็นตารางเมตร) จำนวนห้องนอน และสถานที่ตั้งทางภูมิศาสตร์เป็นฟีเจอร์
โมเดลผลการเลือกตั้งที่คาดการณ์ผู้ชนะในการเลือกตั้งนายกเทศมนตรีโดยการสํารวจผู้ลงคะแนนเสียง 2% หลังจากปิดการสำรวจแล้ว