ความเป็นไปได้

ในระหว่างขั้นตอนการคิดและวางแผน ให้ตรวจสอบองค์ประกอบของโซลูชัน ML ระหว่างงานการจัดเฟรมปัญหา คุณจะจัดเฟรมปัญหาในแง่ของโซลูชัน ML หลักสูตรการจัดกรอบปัญหาแมชชีนเลิร์นนิงเบื้องต้นครอบคลุมขั้นตอนเหล่านั้นโดยละเอียด ในงานวางแผน คุณจะประมาณความเป็นไปได้ของโซลูชัน วางแผนแนวทาง และตั้งค่าเมตริกความสำเร็จ

แม้ ML จะเป็นโซลูชันที่ดีในเชิงทฤษฎี แต่คุณก็ยังต้องประเมินความเป็นไปได้ในชีวิตจริง เช่น โซลูชันอาจใช้งานได้ในทางเทคนิค แต่ไม่สามารถดำเนินการได้หรือใช้ไม่ได้ ปัจจัยต่อไปนี้มีอิทธิพลต่อความเป็นไปได้ของโครงการ

  • ความพร้อมใช้งานของข้อมูล
  • ความยากของโจทย์
  • คุณภาพการคาดการณ์
  • ข้อกำหนดทางเทคนิค
  • ค่าใช้จ่าย

ความพร้อมใช้งานของข้อมูล

โมเดล ML จะดีเยี่ยมนั้นขึ้นอยู่กับข้อมูลที่ได้รับการฝึกเท่านั้น พวกเขาต้องการข้อมูลคุณภาพสูงจำนวนมาก เพื่อสร้างการคาดการณ์ที่มีคุณภาพสูง การแก้ปัญหาต่อไปนี้จะช่วยให้คุณตัดสินใจได้ว่าคุณมีข้อมูลที่จำเป็นในการฝึกโมเดลหรือไม่

  • จำนวน คุณจะได้รับข้อมูลคุณภาพสูงเพียงพอที่จะฝึกโมเดลไหม ตัวอย่างที่ติดป้ายกำกับแล้วมีน้อย หาได้ยาก หรือแพงเกินไปไหม เช่น การได้รับป้ายกำกับรูปภาพทางการแพทย์หรือคำแปลของภาษาหายาก เป็นที่รู้กันว่ายาก เพื่อให้คาดการณ์ได้เป็นอย่างดี โมเดลการจัดประเภทจะต้องมีตัวอย่างจำนวนมากสำหรับป้ายกำกับทุกป้าย หากชุดข้อมูลการฝึกมีตัวอย่างที่จำกัดสำหรับป้ายกำกับบางรายการ โมเดลจะไม่สามารถคาดการณ์ได้

  • ความพร้อมใช้งานของฟีเจอร์ ณ เวลาที่ให้บริการ ฟีเจอร์ทั้งหมดที่ใช้ในการฝึก จะพร้อมใช้งานในเวลาที่แสดงไหม ทีมต่างๆ ใช้เวลาจำนวนมากไปกับการฝึกโมเดล แต่กลับตระหนักว่าบางฟีเจอร์ยังไม่พร้อมใช้งานจนกว่าโมเดลจะกำหนดให้ต้องใช้

    ตัวอย่างเช่น สมมติว่าโมเดลคาดการณ์ว่าลูกค้าจะคลิก URL หรือไม่ และฟีเจอร์หนึ่งที่ใช้ในการฝึกมี user_age รวมอยู่ด้วย อย่างไรก็ตาม เมื่อโมเดลแสดงการคาดการณ์ user_age จะไม่พร้อมใช้งาน ซึ่งอาจเป็นเพราะผู้ใช้ยังไม่ได้สร้างบัญชี

  • กฎระเบียบ ข้อบังคับและข้อกำหนดทางกฎหมายใน การได้มาและการใช้ข้อมูลมีอะไรบ้าง ตัวอย่างเช่น ข้อกำหนดบางอย่างจะกำหนดขีดจำกัด ในการจัดเก็บและใช้ข้อมูลบางประเภท

Generative AI

โมเดล Generative AI ที่ฝึกล่วงหน้า มักจะต้องใช้ชุดข้อมูลที่มีการดูแลจัดการเพื่อให้ทำงานเฉพาะโดเมนได้อย่างดีเยี่ยม คุณอาจต้องใช้ชุดข้อมูลสำหรับกรณีการใช้งานต่อไปนี้

  • Prompt Engineering, การปรับแต่งพารามิเตอร์อย่างมีประสิทธิภาพ และ การปรับแต่ง คุณอาจต้องใช้ตัวอย่างคุณภาพสูง 10 ถึง 10,000 รายการเพื่อปรับแต่งเอาต์พุตของโมเดลเพิ่มเติม ทั้งนี้ขึ้นอยู่กับกรณีการใช้งาน ตัวอย่างเช่น หากต้องปรับแต่งโมเดลอย่างละเอียดเพื่อทำงานหนึ่งๆ ให้ดียิ่งขึ้น เช่น การตอบคำถามทางการแพทย์ คุณจะต้องมีชุดข้อมูลคุณภาพสูงซึ่งเป็นตัวแทนของคำถามประเภทต่างๆ ที่โมเดลจะต้องถามพร้อมกับประเภทคำตอบที่โมเดลควรตอบกลับ

    ตารางต่อไปนี้แสดงค่าประมาณของจำนวนตัวอย่างที่จำเป็นต่อการปรับแต่งเอาต์พุตของโมเดล Generative AI สำหรับเทคนิคที่ระบุ

    • เทคนิค จำนวนตัวอย่างที่จำเป็น
    ข้อความแจ้งการตั้งค่าอุปกรณ์พร้อมใช้แบบรวมกลุ่ม 0
    ข้อความแจ้งนิดหน่อย ประมาณ 10-100 วินาที
    การปรับแต่งประสิทธิภาพของพารามิเตอร์ 1 ประมาณ 100-10,000 วินาที
    การปรับแต่ง ประมาณ 1000-10,000 วินาที (หรือนานกว่านั้น)
    1 การปรับอันดับต่ำ (LoRA) และการปรับแต่งข้อความแจ้ง
  • ข้อมูลล่าสุด เมื่อโมเดล Generative AI ฝึกล่วงหน้าจะมีฐานความรู้ที่ตายตัว หากเนื้อหาในโดเมนของโมเดลมีการเปลี่ยนแปลงบ่อย คุณจะต้องมีกลยุทธ์เพื่อให้โมเดลเป็นปัจจุบันอยู่เสมอ เช่น

ความยากของโจทย์

ความยากของโจทย์อาจประเมินได้ยาก แนวทางที่ดูเหมือนว่าจะใช้ได้ผลจริงอาจกลายเป็นคำถามวิจัยแบบเปิด แต่สิ่งที่ดูเหมือนว่าใช้ได้จริงและทำได้จริงอาจกลายเป็นไม่สมจริงหรือใช้งานไม่ได้ การตอบคำถามต่อไปนี้จะช่วยวัดความยากของปัญหาได้:

  • ปัญหาที่คล้ายกันได้รับการแก้ไขแล้วหรือยัง ตัวอย่างเช่น มีทีมในองค์กรที่ใช้ข้อมูลที่คล้ายกัน (หรือที่เหมือนกัน) ในการสร้างโมเดลหรือไม่ เคยมีคนหรือทีมภายนอกองค์กรแก้ปัญหาที่คล้ายกันไหม เช่น ที่ Kaggle หรือ TensorFlow Hub ถ้าใช่ ก็เป็นไปได้ว่าคุณจะสามารถใช้ ส่วนต่างๆ ของโมเดลในการสร้างได้

  • ลักษณะของปัญหาเป็นเรื่องยากไหม การรู้ตัวเปรียบเทียบงานในคน สามารถบ่งบอกถึงระดับความยากของโจทย์ได้ เช่น

    • มนุษย์สามารถจำแนกประเภทของสัตว์ในรูปภาพได้โดยมีความแม่นยำประมาณ 95%
    • มนุษย์สามารถจำแนกตัวเลขที่เขียนด้วยลายมือได้อย่างแม่นยําประมาณ 99%

    ข้อมูลก่อนหน้านี้แสดงให้เห็นว่าการสร้างโมเดลเพื่อจำแนกสัตว์นั้นทำได้ยากกว่าการสร้างแบบจำลองเพื่อจำแนกตัวเลขที่เขียนด้วยลายมือ

  • อาจมีผู้ไม่ประสงค์ดีไหม ผู้คนจะพยายามแสวงหาประโยชน์จาก โมเดลของคุณหรือไม่ หากใช่ คุณจะต้องการแข่งขันอย่างต่อเนื่องเพื่ออัปเดตโมเดลก่อนที่จะถูกนำไปใช้ในทางที่ผิด ตัวอย่างเช่น ตัวกรองจดหมายขยะไม่สามารถตรวจจับสแปมประเภทใหม่ๆ เมื่อมีคนใช้ประโยชน์จากโมเดลเพื่อสร้างอีเมลที่ดูถูกกฎหมาย

Generative AI

โมเดล Generative AI มีช่องโหว่ที่อาจเกิดขึ้นซึ่งเพิ่มความยากของปัญหาได้ ดังนี้

  • แหล่งที่มาของอินพุต ข้อมูลนี้จะมาจากที่ใด ข้อความแจ้งที่เป็นอันตรายจะทำให้ข้อมูลการฝึก การเกริ่นนำ เนื้อหาในฐานข้อมูล หรือข้อมูลเครื่องมือรั่วไหลได้ไหม
  • การใช้งานเอาต์พุต จะมีการใช้เอาต์พุตอย่างไร โมเดลจะแสดงผลเนื้อหาดิบหรือจะมีขั้นตอนตัวกลางที่ทดสอบและยืนยันความถูกต้องไหม ตัวอย่างเช่น การให้เอาต์พุตดิบแก่ปลั๊กอินอาจก่อให้เกิดปัญหาด้านความปลอดภัยหลายประการ
  • การปรับแต่ง การปรับแต่งด้วยชุดข้อมูลที่เสียหายอาจส่งผลเสียต่อน้ำหนักของโมเดล ความเสียหายนี้อาจทำให้โมเดลแสดงเนื้อหาที่ไม่ถูกต้อง ไม่เป็นพิษ หรือมีความลำเอียง ตามที่ระบุไว้ก่อนหน้านี้ การปรับแต่งต้องใช้ชุดข้อมูลที่ได้รับการยืนยันแล้วว่ามีตัวอย่างคุณภาพสูง

คุณภาพการคาดการณ์

คุณต้องพิจารณาอย่างรอบคอบถึงผลกระทบที่การคาดการณ์ของโมเดลจะมีต่อผู้ใช้ และกำหนดคุณภาพการคาดการณ์ที่จำเป็นสำหรับโมเดลนั้น

คุณภาพการคาดการณ์ที่ต้องการจะขึ้นอยู่กับประเภทของการคาดการณ์ เช่น คุณภาพการคาดการณ์ที่จำเป็นสำหรับระบบการแนะนำจะไม่เท่ากันสำหรับโมเดลที่มีการละเมิดนโยบาย การแนะนำวิดีโอที่ไม่ถูกต้องอาจทำให้ผู้ใช้ได้รับประสบการณ์ที่ไม่ดี อย่างไรก็ตาม การแจ้งที่ไม่ถูกต้องว่าวิดีโอละเมิดนโยบายของแพลตฟอร์มอาจทำให้เกิดค่าใช้จ่ายในการสนับสนุน หรือที่แย่กว่านั้นคือต้องมีค่าธรรมเนียมทางกฎหมาย

โมเดลของคุณจะจำเป็นต้องมีคุณภาพการคาดการณ์สูงมากหรือไม่ เพราะการคาดการณ์ที่ผิด มีค่าใช้จ่ายสูงมากหรือไม่ โดยทั่วไปแล้ว ยิ่งคุณภาพสูงในการคาดการณ์ ที่จำเป็นมากเท่าไหร่ ปัญหาก็ยิ่งยากขึ้นเท่านั้น แต่โครงการต่างๆ มักจะได้รับผลตอบแทนลดลง เมื่อคุณพยายามปรับปรุงคุณภาพ เช่น การเพิ่มความแม่นยำของโมเดลจาก 99.9% เป็น 99.99% อาจหมายความว่าต้นทุนของโปรเจ็กต์เพิ่มขึ้น 10 เท่า (หรือมากกว่านั้น)

เมื่อคุณภาพการคาดการณ์เพิ่มขึ้น ต้นทุนโปรเจ็กต์ก็จะเพิ่มขึ้นด้วย

รูปที่ 2 โดยปกติแล้ว โปรเจ็กต์ ML ต้องใช้ทรัพยากรมากขึ้นเรื่อยๆ ในขณะที่คุณภาพการคาดการณ์ที่จำเป็นเพิ่มขึ้น

Generative AI

คุณควรพิจารณาสิ่งต่อไปนี้เมื่อวิเคราะห์เอาต์พุต Generative AI

  • ความถูกต้องของข้อเท็จจริง แม้ว่าโมเดล Generative AI จะผลิตเนื้อหาที่เข้าใจได้คล่องแคล่วและสอดคล้องกัน แต่ก็ไม่สามารถรับประกันได้ว่าเป็นข้อเท็จจริง ข้อความที่เป็นเท็จจากโมเดล Generative AI เรียกว่าการพูดคุย เช่น โมเดล Generative AI สามารถปรึกษาหารือและสร้างการสรุปข้อความที่ไม่ถูกต้อง คำตอบที่ผิดสำหรับคำถามทางคณิตศาสตร์ หรือข้อความเท็จเกี่ยวกับโลก Use Case จำนวนมากยังคงกำหนดให้มีการยืนยันเอาต์พุตของ Generative AI จากเจ้าหน้าที่ก่อนจะนำไปใช้ในสภาพแวดล้อมที่ใช้งานจริง เช่น โค้ดที่ LLM สร้างขึ้น

    ยิ่งข้อกำหนดเกี่ยวกับความถูกต้องของข้อเท็จจริงสูงเท่าใด ค่าใช้จ่ายในการพัฒนาและบำรุงรักษาก็จะยิ่งสูงขึ้นเท่านั้น เช่นเดียวกับ ML แบบดั้งเดิม

  • คุณภาพเอาต์พุต ผลกระทบทางกฎหมายและทางการเงิน (หรือนัยยะทางจริยธรรม) ของผลลัพธ์ที่ไม่ดี เช่น เนื้อหาที่มีอคติ การคัดลอกผลงาน หรือเป็นการหลอกลวงมีอะไรบ้าง

ข้อกำหนดทางเทคนิค

โมเดลมีข้อกำหนดทางเทคนิคหลายอย่างที่ส่งผลต่อความเป็นไปได้ ต่อไปนี้เป็นข้อกำหนดทางเทคนิคหลักที่คุณจะต้องแก้ไขเพื่อกำหนดความเป็นไปได้ของโปรเจ็กต์

  • เวลาในการตอบสนอง ข้อกำหนดด้านเวลาในการตอบสนองมีอะไรบ้าง ระบบแสดงการคาดการณ์ ได้เร็วแค่ไหน
  • จำนวนคำค้นหาต่อวินาที (QPS) ข้อกำหนดของ QPS มีอะไรบ้าง
  • การใช้งาน RAM ข้อกำหนดของ RAM สำหรับการฝึกและการให้บริการมีอะไรบ้าง
  • แพลตฟอร์ม โมเดลจะทำงานที่ใด เช่น ออนไลน์ (คำค้นหาที่ส่งไปยังเซิร์ฟเวอร์ RPC), WebML (ภายในเว็บเบราว์เซอร์), ODML (ในโทรศัพท์หรือแท็บเล็ต) หรือออฟไลน์ (การคาดการณ์บันทึกอยู่ในตาราง)

  • ความสามารถในการตีความ การคาดการณ์จะต้องตีความได้ไหม เช่น ผลิตภัณฑ์จะต้องตอบคำถามว่า "เหตุใดเนื้อหาบางอย่างจึงทำเครื่องหมายว่าเป็นสแปม" หรือ "เหตุใดวิดีโอจึงละเมิดนโยบายของแพลตฟอร์ม"

  • ความถี่ในการฝึกซ้ำ เมื่อข้อมูลพื้นฐานสำหรับโมเดลของคุณเปลี่ยนแปลงอย่างรวดเร็ว อาจจำเป็นต้องมีการฝึกซ้ำบ่อยๆ หรือต่อเนื่อง อย่างไรก็ตาม การฝึกซ้ำบ่อยๆ อาจทำให้เกิดค่าใช้จ่ายสูงจนอาจทำให้ประโยชน์มากกว่าผลของการอัปเดตการคาดการณ์ของโมเดล

ในกรณีส่วนใหญ่ คุณอาจต้องประเมินคุณภาพของโมเดลเพื่อปฏิบัติตามข้อกำหนดทางเทคนิคของโมเดล ในกรณีเหล่านั้น คุณจะต้องพิจารณาว่ายังสามารถผลิตโมเดลที่ดีพอที่จะผลิตต่อได้ไหม

Generative AI

พิจารณาข้อกำหนดทางเทคนิคต่อไปนี้เมื่อทำงานกับ Generative AI

  • แพลตฟอร์ม โมเดลก่อนการฝึกจำนวนมากมีขนาดที่หลากหลาย ซึ่งช่วยให้โมเดลทำงานได้บนแพลตฟอร์มที่หลากหลายซึ่งมีทรัพยากรการคำนวณที่ต่างกัน เช่น โมเดลก่อนการฝึกอาจมีตั้งแต่ขนาดศูนย์ข้อมูลไปจนถึงโทรศัพท์ คุณจะต้องพิจารณาข้อจำกัดด้านเวลาในการตอบสนอง ความเป็นส่วนตัว และคุณภาพของผลิตภัณฑ์หรือบริการเมื่อเลือกขนาดโมเดล ข้อจำกัดเหล่านี้มักขัดแย้งกัน ตัวอย่างเช่น ข้อจำกัดด้านความเป็นส่วนตัวอาจกำหนดให้การอนุมานทำงานในอุปกรณ์ของผู้ใช้ อย่างไรก็ตาม คุณภาพเอาต์พุตที่ได้อาจไม่ดีเนื่องจากอุปกรณ์ไม่มีทรัพยากรในการประมวลผลซึ่งจะให้ผลลัพธ์ที่ดี
  • เวลาในการตอบสนอง ขนาดอินพุตและเอาต์พุตโมเดลมีผลต่อเวลาในการตอบสนอง โดยเฉพาะอย่างยิ่ง ขนาดเอาต์พุตจะส่งผลต่อเวลาในการตอบสนองที่มากกว่าขนาดอินพุต แม้ว่าโมเดลจะโหลดอินพุตพร้อมกันได้ แต่โมเดลจะสร้างเอาต์พุตได้ตามลำดับเท่านั้น กล่าวคือ เวลาในการตอบสนองอาจเท่ากันกับการส่งผ่านข้อมูลที่มี 500 คำหรือ 10 คำ ขณะที่การสร้างสรุปที่มี 500 คำจะใช้เวลานานกว่าการสร้างข้อมูลสรุป 10 คำอย่างมาก
  • การใช้เครื่องมือและ API โมเดลจะต้องใช้เครื่องมือและ API เช่น ค้นหาในอินเทอร์เน็ต โดยใช้เครื่องคิดเลข หรือเข้าถึงโปรแกรมรับส่งอีเมลเพื่อทำงานให้สำเร็จไหม โดยปกติแล้ว ยิ่งต้องมีเครื่องมือมากเท่าไหร่เพื่อให้งานเสร็จสมบูรณ์ ยิ่งมีโอกาสในการเผยแพร่ข้อผิดพลาดและเพิ่มช่องโหว่ของโมเดลมากขึ้นเท่านั้น

ค่าใช้จ่าย

การใช้ ML จะมีความคุ้มค่าไหม โปรเจ็กต์ ML ส่วนใหญ่จะไม่ได้รับอนุมัติหากโซลูชัน ML มีค่าใช้จ่ายในการดำเนินการและบำรุงรักษาสูงกว่าเงินที่สร้างขึ้น (หรือประหยัดได้) โปรเจ็กต์ ML ทำให้เกิดต้นทุนทั้งในส่วนของมนุษย์และเครื่องจักร

  • ต้นทุนด้านมนุษย์ โครงการนี้ต้องมีบุคลากรกี่คน ในการพิสูจน์แนวคิดไปสู่การผลิต เมื่อโปรเจ็กต์ ML พัฒนาขึ้น ค่าใช้จ่ายก็มักจะเพิ่มขึ้น เช่น โปรเจ็กต์ ML ต้องใช้ผู้คนในการติดตั้งใช้งานและดูแลรักษาระบบที่พร้อมที่ใช้งานจริงมากกว่าการสร้างต้นแบบ พยายามประมาณจำนวนและประเภทของบทบาทที่โปรเจ็กต์ต้องการในแต่ละระยะ

  • ค่าเครื่อง การฝึก การทำให้ใช้งานได้ และการบำรุงรักษาโมเดลต้องใช้การประมวลผลและหน่วยความจำจำนวนมาก ตัวอย่างเช่น คุณอาจต้องการโควต้า TPU สำหรับโมเดลการฝึกและการคาดการณ์การแสดงผล รวมถึงโครงสร้างพื้นฐานที่จำเป็นสำหรับไปป์ไลน์ข้อมูลของคุณ คุณอาจต้องจ่ายเงินเพื่อรับการติดป้ายกำกับข้อมูลหรือชำระค่าธรรมเนียมการอนุญาตให้ใช้สิทธิข้อมูล ก่อนฝึกโมเดล ให้ลองประเมินค่าใช้จ่ายของเครื่องสำหรับการสร้างและดูแลรักษาฟีเจอร์ ML ในระยะยาว

  • ค่าใช้จ่ายในการอนุมาน โมเดลดังกล่าวจะต้องทำการอนุมานหลายร้อยหรือหลายพันรายการซึ่งมีค่าใช้จ่ายมากกว่ารายได้ที่เกิดขึ้นหรือไม่

โปรดทราบ

การเผชิญปัญหาที่เกี่ยวข้องกับหัวข้อก่อนหน้าอาจทำให้การใช้โซลูชัน ML เป็นเรื่องท้าทาย แต่กำหนดเวลาที่กระชั้นชิดอาจเพิ่มความท้าทายได้ พยายามวางแผนและตั้งงบประมาณให้เพียงพอกับความยากของปัญหา แล้วพยายามสงวนเวลาโสหุ้ยไว้มากกว่าที่คิดไว้สำหรับโปรเจ็กต์ที่ไม่ใช่ ML

ก่อนหน้า
การทำงานร่วมกับผู้มีส่วนเกี่ยวข้อง
ถัดไป
การวางแผน