อภิธานศัพท์แมชชีนเลิร์นนิง: ML พื้นฐาน

หน้านี้มีคําศัพท์ในอภิธานศัพท์ของ ML สําหรับอภิธานศัพท์ทั้งหมด คลิกที่นี่

A

ความแม่นยำ

#fundamentals

จํานวนการคาดการณ์การจัดประเภทที่ถูกต้องหารด้วยจํานวนการคาดการณ์ทั้งหมด โดยการ

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

เช่น โมเดลที่คาดการณ์ 40 คําอย่างถูกต้องและการคาดการณ์ที่ไม่ถูกต้อง 10 คําจะมีความแม่นยํา ดังนี้

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

การแยกประเภทไบนารีจะระบุชื่อที่เฉพาะเจาะจงสําหรับการคาดคะเนที่ถูกต้องในหมวดหมู่ต่างๆ และการคาดคะเนที่ไม่ถูกต้อง สูตรความถูกต้องของการจัดประเภทไบนารี มีดังนี้

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

ที่ไหน:

• TP คือจํานวนค่าบวกจริง (การคาดคะเนที่ถูกต้อง)
• TN คือจํานวนลบจริง (การคาดคะเนที่ถูกต้อง)
• FP คือจํานวนการตรวจสอบที่ผิดพลาด (การคาดคะเนที่ไม่ถูกต้อง)
• FN คือจํานวนค่าลบปลอม (การคาดคะเนที่ไม่ถูกต้อง)

เปรียบเทียบค่าคอนทราสต์ กับความแม่นยําและการเรียกคืน

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

ถึงแม้เมตริกที่ดีจะเหมาะสําหรับบางสถานการณ์ แต่ความแม่นยําก็อาจทําให้เกิดความเข้าใจผิด ที่สําคัญคือความแม่นยํามักเป็นเมตริกที่แย่ในการประเมินโมเดลการจัดประเภทที่ประมวลผลชุดข้อมูลที่ไม่สมดุลกัน

ตัวอย่างเช่น สมมติว่าหิมะตกเพียง 25 วันต่อศตวรรษในเมืองกึ่งเขตร้อน เนื่องจากหลายวันที่ไม่มีหิมะ (ชั้นเรียนเชิงลบ) มีจํานวน อย่างมากในวันที่มีหิมะ (ชั้นเรียนเชิงบวก) ชุดข้อมูลหิมะของเมืองนี้จึงไม่สมดุล ลองนึกถึงรูปแบบการแยกประเภทไบนารีที่ควรจะคาดการณ์หิมะหรือไม่มีหิมะตกในแต่ละวัน แต่เพียงคาดการณ์และหิมะตก ไม่หิมะตกเลย โมเดลนี้มีความแม่นยําสูงแต่ไม่มีประสิทธิภาพการคาดการณ์ ตารางต่อไปนี้เป็นการสรุปผลลัพธ์ของการคาดคะเนเป็นเวลา 1 ศตวรรษ

หมวดหมู่	ตัวเลข
TP	0
TN	36500
FP	25
FN	0

ความถูกต้องของโมเดลนี้คือ

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

แม้ว่าความแม่นยํา 99.93% จะเป็นเปอร์เซ็นต์ที่น่าทึ่ง แต่โมเดลดังกล่าวไม่มีประสิทธิภาพที่คาดการณ์ไว้เลย

ความแม่นยําและการเรียกคืนมักเป็นเมตริกที่มีประโยชน์มากกว่าความแม่นยําสําหรับการประเมินโมเดลที่ฝึกบนชุดข้อมูลที่ไม่สมดุล

---

ฟังก์ชันการเปิดใช้งาน

#fundamentals

ฟังก์ชันที่ช่วยให้เครือข่ายระบบประสาทเรียนรู้ความสัมพันธ์ที่ไม่ใช่แบบเชิงเส้น (ซับซ้อน) ระหว่างฟีเจอร์กับป้ายกํากับ

ฟังก์ชันการเปิดใช้งานที่ได้รับความนิยมมีดังนี้

• รียู
• Sigmoid

พล็อตของฟังก์ชันการเปิดใช้งานจะไม่มีเส้นตรงเป็นเส้นเดียว เช่น พล็อตของฟังก์ชันการเปิดใช้งาน ReLU ประกอบด้วย เส้นตรง 2 เส้น

พล็อตของฟังก์ชันการเปิดใช้งาน sigmoid มีลักษณะดังต่อไปนี้

คลิกไอคอนเพื่อดูตัวอย่าง

ในเครือข่ายระบบประสาท ฟังก์ชันการเปิดใช้งานจะจัดการกับผลรวมถ่วงน้ําหนักของอินพุตทั้งหมดไปยังเซลล์ประสาท ในการคํานวณผลบวกแบบถ่วงน้ําหนัก เซลล์ประสาทจะแสดงผลผลิตภัณฑ์ที่มีค่าและน้ําหนักที่เกี่ยวข้อง ตัวอย่างเช่น สมมติว่าอินพุตที่เกี่ยวข้องของเซลล์ประสาทประกอบด้วย

ค่าอินพุต	น้ําหนักของอินพุต
2	-1.3
-1	0.6
3	0.4

ผลรวมแบบถ่วงน้ําหนักจะเท่ากับ

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

สมมติว่านักออกแบบโครงข่ายระบบประสาทนี้เลือก ฟังก์ชัน Simomoid เป็นฟังก์ชันการเปิดใช้งาน ในกรณีดังกล่าว เซลล์ประสาทจะคํานวณค่าซิกโมดเป็น -2.0 ซึ่งเท่ากับประมาณ 0.12 ดังนั้น เซลล์ประสาทจะส่งผ่าน 0.12 (แทนที่จะเป็น -2.0) ไปยังเลเยอร์ถัดไปในโครงข่ายระบบประสาท รูปต่อไปนี้แสดงถึงส่วนที่เกี่ยวข้องของกระบวนการ

---

ปัญญาประดิษฐ์ (AI)

#fundamentals

โปรแกรมที่ไม่ใช่มนุษย์หรือโมเดลที่สามารถแก้ปัญหาที่ซับซ้อนได้ ตัวอย่างเช่น โปรแกรมหรือโมเดลที่แปลข้อความหรือโปรแกรมหรือโมเดลที่ระบุตัวตนของโรคจากภาพรังสี ภาพเหล่านี้แสดงปัญญาประดิษฐ์ (AI)

อย่างเป็นทางการแล้ว แมชชีนเลิร์นนิงคือช่องย่อยของปัญญาประดิษฐ์ (AI) แต่ในช่วงไม่กี่ปีที่ผ่านมา บางองค์กรได้เริ่มใช้คําว่าปัญญาประดิษฐ์และแมชชีนเลิร์นนิงสลับกันไป

AUC (พื้นที่ใต้เส้นโค้ง ROC)

#fundamentals

จํานวนระหว่าง 0.0 และ 1.0 แสดงถึงโมเดลการจัดประเภทไบนารีและความสามารถในการแยกชั้นเรียนเชิงบวกออกจากชั้นเรียนเชิงลบ ยิ่ง AUC ใกล้เคียงกับ 1.0 มากเท่าไร โมเดลก็จะแยกชั้นจากกันและกันได้ดีขึ้นเท่านั้น

ตัวอย่างเช่น ภาพประกอบต่อไปนี้แสดงโมเดลตัวแยกประเภทที่แยกคลาสเชิงบวก (วงรีสีเขียว) ออกจากคลาสเชิงลบ (สี่เหลี่ยมผืนผ้าสีม่วง) อย่างสมบูรณ์แบบ โมเดลที่สมจริงที่สุดนี้มี AUC เป็น 1.0 ดังนี้

ในทางกลับกัน ภาพประกอบต่อไปนี้จะแสดงผลลัพธ์ของโมเดลตัวแยกประเภทที่จะสร้างผลลัพธ์แบบสุ่ม โมเดลนี้มี AUC เท่ากับ 0.5:

ได้ รูปแบบก่อนหน้านี้มี AUC เป็น 0.5 ไม่ใช่ 0.0

โมเดลส่วนใหญ่จะอยู่ระหว่างปลายทั้งสองด้าน ตัวอย่างเช่น โมเดลต่อไปนี้แยกผลบวกออกจากค่าลบเพียงเล็กน้อย ดังนั้นจะมี AUC อยู่ระหว่าง 0.5 ถึง 1.0 ดังนี้

AUC จะไม่สนใจค่าที่คุณกําหนดสําหรับเกณฑ์การจัดประเภท แต่ AUC จะพิจารณาเกณฑ์การจัดประเภทที่เป็นไปได้ทั้งหมดแทน

คลิกไอคอนเพื่อดูข้อมูลเกี่ยวกับความสัมพันธ์ระหว่างเส้นโค้ง AUC และ ROC

AUC แสดงถึงพื้นที่ใต้เส้นโค้ง ROC เช่น เส้นโค้ง ROC สําหรับโมเดลที่แยกจํานวนบวกออกจากเชิงลบอย่างสมบูรณ์ มีดังนี้

AUC เป็นพื้นที่ของส่วนสีเทาในภาพประกอบก่อนหน้านี้ ในกรณีที่ไม่ปกตินี้ พื้นที่ดังกล่าวจะมีความยาวเท่ากับพื้นที่สีเทา (1.0) คูณด้วยความกว้างของพื้นที่สีเทา (1.0) ดังนั้นผลคูณของ 1.0 และ 1.0 จะให้ AUC เป็น 1.0 ซึ่งเป็นคะแนน AUC สูงสุดที่เป็นไปได้

ในทางตรงกันข้าม เส้นโค้ง ROC สําหรับตัวแยกประเภทที่แยกชั้นไม่ได้เลยมีดังนี้ พื้นที่ของภูมิภาคสีเทานี้คือ 0.5

เส้นโค้ง ROC ทั่วไปจะมีลักษณะคล้ายกับด้านล่างนี้

การคํานวณพื้นที่ใต้เส้นโค้งนี้ด้วยตนเองอาจเป็นเรื่องยุ่งยาก ดังนั้นโดยทั่วไปโปรแกรมจะคํานวณค่า AUC ส่วนใหญ่

---

คลิกไอคอนเพื่อดูคําจํากัดความอย่างเป็นทางการของ AUC

AUC คือความน่าจะเป็นที่ตัวแยกประเภทจะมั่นใจมากขึ้นว่าตัวอย่างเชิงบวกที่เลือกแบบสุ่มเป็นผลบวกมากกว่าตัวอย่างเชิงลบที่เลือกแบบสุ่ม

---

ข

การสืบพันธุ์

#fundamentals

อัลกอริทึมที่ใช้การไล่ระดับแบบไล่ระดับสีใน โครงข่ายระบบประสาท

การฝึกโครงข่ายประสาทเกี่ยวข้องกับการปรับปรุงหลายอย่างของรอบ 2 รอบต่อไปนี้

1. ในระหว่างการส่งต่อ ระบบจะประมวลผลกลุ่ม ตัวอย่างเพื่อให้ได้ผลตอบแทนตามการคาดการณ์ ระบบจะเปรียบเทียบการคาดการณ์แต่ละรายการกับค่าป้ายกํากับแต่ละค่า ความแตกต่างระหว่างการคาดการณ์และค่าป้ายกํากับคือการสูญเสียสําหรับตัวอย่างดังกล่าว ระบบจะรวบรวมความสูญเสียของตัวอย่างทั้งหมดในการคํานวณการสูญเสียทั้งหมดสําหรับกลุ่มปัจจุบัน
2. ระบบจะลดน้ําหนักของเซลล์ประสาททั้งหมดในทุกเลเยอร์ที่ซ่อนอยู่ในระหว่างการย้อนกลับ (การขยายกลับ)

โครงข่ายประสาทมักมีเซลล์ประสาทหลายเลเยอร์ที่ซ่อนอยู่ เซลล์ประสาทแต่ละเซลล์ย่อมก่อให้เกิดการสูญเสียโดยรวมแตกต่างกันไป การขยายน้ําหนักต่อเนื่องเป็นตัวกําหนดว่าจะเพิ่มหรือลดน้ําหนักที่ใช้กับเซลล์ประสาทใดหรือไม่

อัตราการเรียนรู้คือตัวคูณที่ควบคุมระดับความดังของการส่งต่อย้อนกลับแต่ละรายการที่เพิ่มหรือลดน้ําหนัก อัตราการเรียนรู้สูงจะเพิ่มหรือลดน้ําหนักแต่ละระดับได้มากกว่าอัตราการเรียนรู้ขนาดเล็ก

ในข้อกําหนดของแคลคูลัส การเผยแพร่ซ้ําจะใช้แคลคูลัส'กฎเชน กล่าวคือ การดําเนินการหลังคํานวณจะคํานวณอนุพันธ์บางส่วนของของข้อผิดพลาดตามพารามิเตอร์แต่ละรายการ ดูรายละเอียดเพิ่มเติมได้ที่บทแนะนําในหลักสูตรแมชชีนเลิร์นนิง

เมื่อหลายปีก่อน ผู้ฝึกวิชาชีพใน ML ต้องเขียนโค้ดเพื่อติดตั้งใช้งาน ปัจจุบัน ML API ที่ทันสมัย เช่น TensorFlow นําการนําไปใช้งานที่อยู่เบื้องหลังกลับมาใช้งานแล้ว ในที่สุด

กลุ่ม

#fundamentals

ชุดตัวอย่างที่ใช้ในการฝึกทําซ้ํา 1 รายการ ขนาดกลุ่มจะกําหนดจํานวนตัวอย่างเป็นกลุ่ม

อ่าน epoch เพื่อดูคําอธิบายเกี่ยวกับวิธีที่กลุ่มเกี่ยวข้องกับ Epoch

ขนาดกลุ่ม

#fundamentals

จํานวนตัวอย่างในกลุ่ม ตัวอย่างเช่น หากขนาดกลุ่มคือ 100 โมเดลจะประมวลผลตัวอย่าง 100 รายการตามการปรับปรุง

กลยุทธ์ขนาดกลุ่มยอดนิยมมีดังนี้

• Stochastic Gradient Descent (SGD) โดยมีขนาดกลุ่มเป็น 1
• แบตช์ทั้งหมดซึ่งขนาดของตัวอย่างคือจํานวนตัวอย่างในชุดการฝึกทั้งหมด เช่น ถ้าชุดการฝึกมีตัวอย่าง 1 ล้านตัวอย่าง ขนาดของกลุ่มก็จะเป็น 1 ล้านตัวอย่าง การดําเนินการแบบกลุ่มมักจะเป็นกลยุทธ์ที่ไม่มีประสิทธิภาพ
• กลุ่มขนาดเล็กที่ขนาดกลุ่มมักจะอยู่ระหว่าง 10 ถึง 1000 การดําเนินการแบบกลุ่มมักเป็นกลยุทธ์ที่มีประสิทธิภาพมากที่สุด

อคติ (จริยธรรม/ความเป็นธรรม)

#fairness

#fundamentals

1. การตีกรอบ อคติ หรือความชอบ บางอย่าง บุคคล หรือกลุ่มบุคคล การให้น้ําหนักเหล่านี้อาจส่งผลกระทบต่อการรวบรวมและตีความข้อมูล การออกแบบระบบ และวิธีที่ผู้ใช้โต้ตอบกับระบบ รูปแบบการให้น้ําหนักพิเศษประเภทนี้รวมถึง:

• การให้น้ําหนักพิเศษอัตโนมัติ
• การให้น้ําหนักพิเศษในการยืนยัน
• การให้น้ําหนักพิเศษของผู้ทดสอบ
• การให้น้ําหนักการระบุแหล่งที่มาของกลุ่ม
• การให้น้ําหนักพิเศษโดยนัย
• การให้น้ําหนักพิเศษในกลุ่ม
• อคติต่อกลุ่มนอกกลุ่ม

2. ข้อผิดพลาดที่เป็นระบบที่เกิดจากการสุ่มตัวอย่างหรือกระบวนการรายงาน รูปแบบการให้น้ําหนักพิเศษประเภทนี้รวมถึง:

• การครอบคลุมของการครอบคลุม
• การให้น้ําหนักพิเศษกับการตอบกลับ
• การให้น้ําหนักการเข้าร่วม
• การให้น้ําหนักพิเศษในการรายงาน
• การสุ่มตัวอย่างการให้น้ําหนักพิเศษ
• การให้น้ําหนักการเลือก

อย่าสับสนกับการให้น้ําหนักพิเศษในโมเดลแมชชีนเลิร์นนิงหรืออคติการคาดการณ์

อคติ (คณิตศาสตร์) หรือคําศัพท์เกี่ยวกับอคติ

#fundamentals

การสกัดกั้นหรือออฟเซ็ตจากต้นทาง การให้น้ําหนักพิเศษเป็นพารามิเตอร์ในโมเดลแมชชีนเลิร์นนิง ซึ่งมีลักษณะอย่างใดอย่างหนึ่งต่อไปนี้

• ข
• w₀

เช่น การให้น้ําหนักพิเศษคือ b ในสูตรต่อไปนี้

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

ใน 2 มิติเส้นตรง การให้น้ําหนักพิเศษคือความหมาย "y-intercept." เช่น ลําเอียงของเส้นในภาพประกอบต่อไปนี้คือ 2

การให้น้ําหนักพิเศษเนื่องจากบางโมเดลไม่ได้เริ่มต้นจากต้นทาง (0,0) เช่น สมมติว่าสวนสนุกราคา 2 ยูโรเข้าและ 0.5 ยูโรต่อ 1 ชั่วโมงที่ลูกค้าเข้าพัก ดังนั้น โมเดลที่แมปต้นทุนทั้งหมดจึงมีการให้น้ําหนักพิเศษ 2 เนื่องจากต้นทุนต่ําสุดคือ 2 ยูโร

การให้น้ําหนักพิเศษจะไม่สับสนกับการให้น้ําหนักพิเศษด้านจริยธรรมและความยุติธรรม หรืออคติในการคาดการณ์

การแยกประเภทไบนารี

#fundamentals

งานการจัดประเภทประเภทหนึ่งที่คาดการณ์คลาสพิเศษ 1 จาก 2 คลาสต่อไปนี้

• ชั้นเรียนเชิงบวก
• ชั้นเรียนเชิงลบ

เช่น โมเดลแมชชีนเลิร์นนิง 2 แบบต่อไปนี้แยกประเภทไบนารี

• แบบจําลองที่กําหนดว่าข้อความอีเมลเป็นสแปม (ชั้นเรียนในเชิงบวก) หรือไม่ใช่สแปม (ชั้นเรียนเชิงลบ)
• โมเดลที่ประเมินอาการทางการแพทย์เพื่อดูว่าบุคคลมีโรคเฉพาะ (คลาสในเชิงบวก) หรือไม่มีโรคดังกล่าว (ชั้นเรียนเชิงลบ)

ตรงข้ามกับการแยกประเภทในหลายคลาส

นอกจากนี้ โปรดดูการถดถอยแบบโลจิสติกและเกณฑ์การจัดประเภท

การฝากข้อมูล

#fundamentals

การแปลงฟีเจอร์ 1 รายการเป็นฟีเจอร์ไบนารีหลายรายการ เรียกว่าที่เก็บข้อมูลหรือถังขยะ ซึ่งโดยทั่วไปจะอิงตามช่วงค่า ฟีเจอร์สับมักเป็นฟีเจอร์ต่อเนื่อง

ตัวอย่างเช่น แทนที่จะปรับเปลี่ยนอุณหภูมิเป็นฟีเจอร์จุดลอยตัวจุดเดียวต่อเนื่อง คุณอาจสับเปลี่ยนช่วงอุณหภูมิให้เป็นที่เก็บข้อมูลที่แยกจากกัน เช่น

• <= 10 องศาเซลเซียสจะเป็นที่เก็บข้อมูล "cold"
• 11 - 24 องศาเซลเซียสจะเป็นที่เก็บข้อมูล "temperate"
• >= 25 องศาเซลเซียสจะเป็นที่เก็บข้อมูล "warm"

โมเดลนี้จะทํางานกับค่าทุกค่าในที่เก็บข้อมูลเดียวกัน เช่น ค่า 13 และ 22 จะอยู่ในที่เก็บข้อมูลชั่วคราว ดังนั้นโมเดลจึงจัดการทั้ง 2 ค่าให้เหมือนกัน

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

หากคุณแสดงถึงอุณหภูมิเป็นฟีเจอร์ต่อเนื่อง โมเดลก็จะถือว่าอุณหภูมิเป็นอุณหภูมิเดียว หากคุณแสดงอุณหภูมิเป็นที่เก็บข้อมูล 3 ถัง โมเดลจะถือว่าที่เก็บข้อมูลแต่ละรายการเป็นฟีเจอร์แยกต่างหาก กล่าวคือ โมเดลจะเรียนรู้ความสัมพันธ์แยกต่างหากของที่เก็บข้อมูลแต่ละรายการกับป้ายกํากับได้ ตัวอย่างเช่น โมเดลการถดถอยเชิงเส้นจะเรียนรู้น้ําหนักแยกต่างหากสําหรับแต่ละที่เก็บข้อมูลได้

การเพิ่มจํานวนที่เก็บข้อมูลจะทําให้โมเดลของคุณซับซ้อนมากขึ้นโดยการเพิ่มจํานวนความสัมพันธ์ที่โมเดลต้องเรียนรู้ ตัวอย่างเช่น ที่เก็บข้อมูลทั้งเย็น อากาศอบอุ่น และอบอุ่น เป็นฟีเจอร์แยก 3 อย่างที่ทําให้โมเดลฝึกใช้งาน หากคุณตัดสินใจเพิ่มที่เก็บข้อมูลอีก 2 ตัวอย่าง เช่น โมเดลค้าง และร้อน โมเดลของคุณจะต้องฝึกฟีเจอร์ 5 อย่างแยกกัน

คุณจะทราบจํานวนที่เก็บข้อมูลที่จะสร้างหรือช่วงของที่เก็บข้อมูลแต่ละรายการ คําตอบมักจะต้องอาศัยการทดสอบในระดับที่เหมาะสม

---

ค

ข้อมูลเชิงหมวดหมู่

#fundamentals

ฟีเจอร์ประกอบด้วยชุดค่าที่เป็นไปได้ชุดที่เจาะจง ตัวอย่างเช่น พิจารณาฟีเจอร์ตามหมวดหมู่ชื่อ traffic-light-state ซึ่งมีค่าที่เป็นไปได้เพียง 1 ค่าจาก 3 ค่าต่อไปนี้

• red
• yellow
• green

การนําเสนอ traffic-light-state ในรูปแบบการจัดหมวดหมู่จะคํานึงถึงผลกระทบที่มีต่อ red, green และ yellow ที่ส่งผลต่อพฤติกรรมของผู้ขับขี่

บางครั้งเราเรียกฟีเจอร์ตามหมวดหมู่ที่เรียกว่าฟีเจอร์แยกต่างหาก

ตรงข้ามกับข้อมูลตัวเลข

คลาส

#fundamentals

หมวดหมู่ของป้ายกํากับ เช่น

• ในโมเดลการแยกประเภทไบนารีที่ตรวจพบสแปม ทั้ง 2 ชั้นเรียนอาจเป็นสแปมและไม่ใช่สแปม
• ในโมเดลการจัดประเภทแบบหลายคลาสที่ระบุสายพันธุ์สุนัข คลาสอาจเป็น poodle, beagle, pug เป็นต้น

โมเดลการจัดประเภทจะคาดการณ์คลาส ในทางตรงกันข้าม โมเดลการเกิดปัญหาซ้ําจะคาดคะเนตัวเลขแทนคลาส

โมเดลการจัดประเภท

#fundamentals

โมเดลที่การคาดคะเนเป็นชั้นเรียน ตัวอย่างการจัดประเภททั้งหมดมีดังต่อไปนี้

• โมเดลที่คาดการณ์ข้อความอินพุตของภาษา (ฝรั่งเศส หากเป็นภาษาสเปน อิตาลี)
• โมเดลที่คาดการณ์ชนิดของต้นไม้ (เมเปิล? โอ๊ก Baobab ใช่ไหม)
• โมเดลที่คาดการณ์คลาสเชิงบวกหรือเชิงลบสําหรับภาวะทางการแพทย์หนึ่งๆ

ในทางตรงกันข้าม โมเดลการเกิดปัญหาซ้ําจะคาดคะเนตัวเลขแทนคลาส

รูปแบบการจัดประเภทมีด้วยกัน 2 ประเภทโดยทั่วไป ได้แก่

• การแยกประเภทไบนารี
• การแยกประเภทแบบหลายคลาส

เกณฑ์การจัดประเภท

#fundamentals

ในการแยกประเภทไบนารี จํานวนระหว่าง 0 และ 1 ที่แปลงเอาต์พุตดิบของโมเดลการถดถอยแบบโลจิสติกเป็นการคาดการณ์คลาสที่เป็นบวกหรือคลาสเชิงลบ โปรดทราบว่าเกณฑ์การจัดประเภทคือค่าที่มนุษย์เลือก ไม่ใช่ค่าที่การฝึกโมเดลเลือก

รูปแบบการถดถอยแบบโลจิสติกส์จะแสดงผลค่าดิบระหว่าง 0 ถึง 1 จากนั้นให้ทำดังนี้

• หากค่าดิบนี้มากกว่าเกณฑ์การจัดประเภท ระบบจะคาดการณ์คลาสเชิงบวก
• หากค่าดิบนี้น้อยกว่าเกณฑ์การจัดประเภท ระบบจะคาดคะเนคลาสเชิงลบ

เช่น สมมติว่าเกณฑ์การจัดประเภทคือ 0.8 หากค่าดิบเป็น 0.9 โมเดลจะคาดการณ์คลาสเชิงบวก หากค่าดิบเป็น 0.7 โมเดลจะคาดการณ์คลาสเชิงลบ

ตัวเลือกเกณฑ์การจัดประเภทมีผลต่อจํานวน การตรวจสอบที่ผิดพลาดและ การตรวจสอบที่ผิดพลาดเป็นอย่างมาก

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

เมื่อโมเดลหรือชุดข้อมูลพัฒนาไปเรื่อยๆ บางครั้งวิศวกรก็เปลี่ยนเกณฑ์การจัดประเภทด้วย เมื่อเกณฑ์การจัดประเภทเปลี่ยนแปลง การพยากรณ์คลาสเชิงบวกก็กลายเป็นชั้นเรียนเชิงลบไปในที่สุด

ตัวอย่างเช่น ใช้รูปแบบการคาดการณ์โรคการจัดประเภทไบนารี สมมติว่าระบบทํางานในปีแรก

• ปริมาณอาหารที่ผู้ป่วยแต่ละรายได้รับคือ 0.95
• เกณฑ์การจัดประเภทคือ 0.94

ดังนั้น ระบบจะวิเคราะห์คลาสเชิงบวก (เสียงอึดอัดของผู้ป่วย " อ๊ะ ไอ้โรคจิต!")

1 ปีต่อมา ค่าบางกรณีก็อาจมีลักษณะต่อไปนี้

• โดยค่ารักษาสําหรับผู้ป่วยรายเดิมจะยังคงเท่ากับ 0.95
• เกณฑ์การจัดประเภทจะเปลี่ยนเป็น 0.97

ดังนั้น ระบบจะจัดคลาสใหม่ให้ผู้ป่วยดังกล่าวเป็นคลาสเชิงลบ ("สวัสดี! 'ไม่เจ็บป่วย") คนไข้คนเดิม การวิเคราะห์ที่ต่างกัน

---

ชุดข้อมูลที่ไม่สมดุลกัน

#fundamentals

ชุดข้อมูลของปัญหาการจัดประเภทที่จํานวนป้ายกํากับทั้งหมดของแต่ละคลาสแตกต่างกันอย่างมาก เช่น ลองพิจารณาชุดข้อมูลการแยกประเภทไบนารีที่มีป้ายกํากับ 2 ป้าย ดังนี้

• ป้ายกํากับเชิงลบ 1,000,000 ป้าย
• ป้ายกํากับเชิงบวก 10 รายการ

อัตราส่วนของป้ายกํากับเชิงลบต่อบวกคือ 100,000 ต่อ 1 ดังนั้น ชุดข้อมูลนี้มีความไม่สมดุลกัน

ในทางตรงกันข้าม ชุดข้อมูลต่อไปนี้ไม่สมดุลกันเนื่องจากอัตราส่วนของป้ายกํากับเชิงลบต่อป้ายกํากับเชิงบวกค่อนข้างใกล้เคียง 1

• 517 ป้ายกํากับเชิงลบ
• ป้ายกํากับเชิงบวก 483 รายการ

นอกจากนี้ ชุดข้อมูลหลายคลาสยังทําให้ไม่สมดุลได้ด้วย ตัวอย่างเช่น ชุดข้อมูลการจัดประเภทแบบหลายคลาสต่อไปนี้ไม่สมดุลกันเนื่องจากป้ายกํากับหนึ่งมีตัวอย่างมากกว่าอีก 2 ป้ายกํากับ

• ป้ายกํากับ 1,000,000 รายการที่มีคลาส "สีเขียว"
• ป้ายกํากับ 200 ป้ายที่มีคลาส "สีม่วง"
• ป้ายกํากับ 350 รายการที่มีคลาส "orange"

นอกจากนี้ โปรดดูเอนโทรปี, ชั้นเรียนหลัก และชั้นเรียนย่อย

การตัดเก็บ

#fundamentals

เทคนิคในการจัดการค่าที่ผิดปกติโดยทําตามวิธีใดวิธีหนึ่งต่อไปนี้

• ค่า feature ที่มากกว่าค่าเกณฑ์ขั้นสูงสุดจะลดลงเป็นเกณฑ์สูงสุด
• การเพิ่มค่าฟีเจอร์ที่น้อยกว่าเกณฑ์ขั้นต่ําจนถึงเกณฑ์ขั้นต่ําดังกล่าว

ตัวอย่างเช่น สมมติว่าค่า 0.5% ของบางฟีเจอร์อยู่นอกช่วง 40–60 ในกรณีนี้ สิ่งที่คุณทําได้มีดังนี้

• ตัดค่าทั้งหมดที่เกิน 60 (เกณฑ์สูงสุด) ให้เหลือ 60 พอดี
• ตัดค่าทั้งหมดที่ต่ํากว่า 40 (เกณฑ์ขั้นต่ํา) ให้เหลือ 40 พอดี

ค่าที่ผิดปกติอาจทําให้โมเดลเสียหาย ซึ่งบางครั้งอาจทําให้ weights ทํางานล้นในระหว่างการฝึก ค่าที่ผิดปกติบางอย่างยังทําให้เมตริกเสียอย่างมาก เช่น ความแม่นยํา การสร้างคลิปเป็นเทคนิคที่ใช้กันทั่วไปในการจํากัดความเสียหาย

การตัดการไล่ระดับสีจะบังคับค่าการไล่ระดับสีภายในช่วงที่กําหนดไว้ระหว่างการฝึก

เมทริกซ์ความสับสน

#fundamentals

ตาราง NxN ที่สรุปจํานวนการคาดคะเนที่ถูกต้องและไม่ถูกต้องที่โมเดลการจัดประเภททํา ลองดูตัวอย่างเมทริกซ์ความสับสนต่อไปนี้สําหรับโมเดลการแยกประเภทไบนารี

	เนื้องอก (คาดการณ์แล้ว)	ไม่ใช่เนื้องอก (คาดการณ์ไว้)
เนื้องอก (ความจริง)	180 บาท (TP)	1 (FPS)
ไม่ใช่เนื้อแท้ (ความจริง)	6 (FN)	452 (รัฐเทนเนสซี)

เมทริกซ์ความสับสนก่อนหน้านี้จะแสดงข้อมูลต่อไปนี้

• จากการคาดการณ์ 19 รายการที่ข้อมูลจากการสังเกตการณ์คือ Tumor โมเดลนี้จัดประเภทเป็น 18 อย่างถูกต้อง และจัดประเภทผิด 1
• จากการคาดการณ์ 458 รายการที่ข้อเท็จจริงพื้นฐานไม่ใช่ Tumor โมเดลได้รับการจัดประเภท 452 อย่างถูกต้องและจัดประเภทไม่ถูกต้อง 6 รายการ

เมทริกซ์ความสับสนสําหรับปัญหาเกี่ยวกับการจัดประเภทแบบหลายคลาส จะช่วยให้คุณระบุรูปแบบข้อผิดพลาดได้ เช่น พิจารณาเมทริกซ์ความสับสนต่อไปนี้สําหรับโมเดลการจัดประเภทแบบหลายคลาส 3 คลาสที่จัดหมวดหมู่ม่านตาประเภทต่างๆ 3 ประเภท (Virginica, Versicolor และ Setosa) เมื่อความจริงของพื้นคือ Virginica เมทริกซ์การโยงก็แสดงให้เห็นว่าโมเดลนี้มีแนวโน้มที่จะคาดการณ์ Versicolor มากกว่า Setosa อย่างมาก

	Setosa (ที่คาดการณ์)	Versicolor (ที่คาดการณ์ไว้)	เวอร์จิเนีย (ที่คาดการณ์ไว้)
Setosa (ข้อมูลจากการสังเกตการณ์โดยตรง)	88	12	0
Versicolor (ข้อมูลจากการสังเกตการณ์โดยตรง)	6	141	7
เวอร์จิเนีย (ข้อมูลจากการสังเกตการณ์โดยตรง)	2	27	109

อีกตัวอย่างหนึ่งคือเมทริกซ์ความสับสนอาจเปิดเผยว่าโมเดลที่ได้รับการฝึกฝนให้จดจําตัวเลขที่เขียนด้วยลายมือมีแนวโน้มที่จะคาดการณ์ 9 ไม่ใช่ 4 หรือคาดการณ์ 1 แทนที่จะเป็น 7 โดยผิดพลาด

เมตริกความสับสนประกอบด้วยข้อมูลที่เพียงพอในการคํานวณเมตริกประสิทธิภาพต่างๆ เช่น ความแม่นยําและการจําได้

ฟีเจอร์ต่อเนื่อง

#fundamentals

ฟีเจอร์แบบลอยที่มีช่วงของค่าที่เป็นไปได้ไม่รู้จบ เช่น อุณหภูมิหรือน้ําหนัก

คอนทราสต์กับฟีเจอร์ที่ไม่ต่อเนื่อง

Convergence

#fundamentals

รัฐจะมีค่าเมื่อค่าแพ้มีการเปลี่ยนแปลงน้อยมากหรือไม่มีเลย เมื่อมีการทําซ้ําแต่ละรายการ ตัวอย่างเช่น เส้นโค้งการเสียต่อไปนี้แนะนําการบรรจบกันที่การทําซ้ําประมาณ 700 ครั้ง

โมเดลพิจารณาเมื่อการฝึกเพิ่มเติมไม่ช่วยปรับปรุงโมเดล

ในการเรียนรู้เชิงลึก บางครั้งค่าความสูญเสียอาจคงที่หรือเกือบจะเหมือนกันเรื่อยๆ สําหรับการทําซ้ําหลายๆ ครั้งก่อนจากมากไปน้อย ในช่วงเวลาที่ยาวนาน มูลค่าที่คงที่อาจลดลงเรื่อยๆ คุณอาจพบว่า Conversion มีความไม่สอดคล้องกันอยู่เรื่อยๆ

ดูการหยุดก่อนกําหนด

D

DataFrame

#fundamentals

ประเภทข้อมูลแพนด้ายอดนิยมสําหรับการแสดงชุดข้อมูลในหน่วยความจํา

DataFrame คล้ายกับตารางหรือสเปรดชีต แต่ละคอลัมน์ของ DataFrame มีชื่อ (ส่วนหัว) และแต่ละแถวจะระบุโดยตัวเลขที่ไม่ซ้ํากัน

แต่ละคอลัมน์ใน DataFrame มีโครงสร้างเหมือนกับอาร์เรย์ 2D ยกเว้นว่าแต่ละคอลัมน์จะได้รับการกําหนดประเภทข้อมูลของตัวเอง

รวมถึงดูหน้าการอ้างอิง pandas.DataFrame อย่างเป็นทางการด้วย

ชุดข้อมูลหรือชุดข้อมูล

#fundamentals

การรวบรวมข้อมูลดิบ ซึ่งโดยทั่วไป (แต่ไม่เฉพาะ) จัดในรูปแบบใดรูปแบบหนึ่งต่อไปนี้

• สเปรดชีต
• ไฟล์ในรูปแบบ CSV (ค่าที่คั่นด้วยคอมมา)

โมเดลเชิงลึก

#fundamentals

เครือข่ายระบบประสาทที่มีเลเยอร์ที่ซ่อนอยู่มากกว่า 1 ชั้น

โมเดลที่ลึกเรียกอีกอย่างว่าเครือข่ายโครงข่ายประสาทลึก

ขัดแย้งกับโมเดลแบบกว้าง

สถานที่หนาแน่น

#fundamentals

ฟีเจอร์ที่โดยส่วนใหญ่หรือค่าทั้งหมดไม่ใช่ 0 โดยปกติจะเป็น Tensor ของค่าทศนิยม ตัวอย่างเช่น Tensor องค์ประกอบ 10 ต่อไปนี้หนาแน่นเนื่องจาก 9 ค่าไม่ใช่ 0

8

3

7

5

2

4

0

4

9

6

คอนทราสต์กับฟีเจอร์กระจายข้อมูล

ความลึก

#fundamentals

ผลรวมของสิ่งต่อไปนี้ในโครงข่ายระบบประสาท

• จํานวนเลเยอร์ที่ซ่อนอยู่
• จํานวนเลเยอร์เอาต์พุต ซึ่งปกติคือ 1
• จํานวนเลเยอร์แบบฝัง

เช่น โครงข่ายระบบประสาทเทียมที่มีเลเยอร์ซ่อนอยู่ 5 ชั้นและชั้นเอาต์พุต 1 ชั้นที่มีความลึก 6 ระดับ

สังเกตว่าเลเยอร์อินพุตไม่มีอิทธิพลต่อความลึก

ไม่ต่อเนื่อง

#fundamentals

ฟีเจอร์ซึ่งมีชุดค่าที่เป็นไปได้แบบสัมบูรณ์ เช่น ฟีเจอร์ที่มีค่าเป็นสัตว์ ผัก หรือแร่เป็นฟีเจอร์ที่ยังไม่สมบูรณ์ (หรือเชิงหมวดหมู่) ก็ได้

คอนทราสต์กับฟีเจอร์ต่อเนื่อง

ไดนามิก

#fundamentals

มีการทํางานบ่อยครั้งหรือต่อเนื่อง คําว่าไดนามิกและออนไลน์คือคําพ้องความหมายในแมชชีนเลิร์นนิง การใช้งานไดนามิกและออนไลน์ทั่วไปในแมชชีนเลิร์นนิงมีดังนี้

• รูปแบบแบบไดนามิก (หรือรูปแบบออนไลน์) คือรูปแบบที่ได้รับการฝึกซ้ําบ่อยหรือต่อเนื่อง
• การฝึกอบรมแบบไดนามิก (หรือการฝึกอบรมออนไลน์) เป็นกระบวนการฝึกอบรมบ่อยๆ หรือต่อเนื่อง
• การอนุมานแบบไดนามิก (หรือการอนุมานออนไลน์) คือขั้นตอนการสร้างการคาดการณ์ตามคําขอ

โมเดลแบบไดนามิก

#fundamentals

รุ่นที่ใช้บ่อย (หรืออาจต่อเนื่องกัน) โมเดลแบบไดนามิกคือการเรียนรู้และ&อ้างอิงตลอดชีวิต ซึ่งปรับให้เข้ากับข้อมูลที่เปลี่ยนแปลงอยู่ตลอดเวลา โมเดลแบบไดนามิกเรียกอีกอย่างว่าโมเดลออนไลน์

คอนทราสต์กับรูปแบบคงที่

จ.

การหยุดก่อนกําหนด

#fundamentals

วิธีสําหรับการปรับให้สอดคล้องตามมาตรฐานที่เกี่ยวข้องกับการสิ้นสุดการฝึกก่อนที่การฝึกจะสิ้นสุดและลดลง ในช่วงต้นของการหยุด คุณจะหยุดการฝึกโมเดลโดยเจตนาเมื่อการสูญเสียชุดข้อมูลตรวจสอบเริ่มเพิ่มขึ้น กล่าวคือเมื่อประสิทธิภาพภาพรวมแย่ลง

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

การหยุดก่อนการกําหนดอาจดูไม่สมเหตุสมผล ท้ายที่สุด การบอกรุ่นว่าต้องหยุดการฝึก ในขณะที่การสูญเสียยังคงลดลงอาจดูเหมือนการบอกเชฟให้หยุดทําอาหารก่อนที่ของหวานจะอบอย่างสมบูรณ์ แต่การฝึกโมเดลนานเกินไป ก็อาจทําให้มีการใช้งานมากเกินไป นั่นก็คือ หากคุณฝึกโมเดลนานเกินไป โมเดลอาจเข้ากับข้อมูลการฝึกได้ใกล้เคียงกันมาก และโมเดลก็ไม่อาจคาดการณ์ตัวอย่างใหม่ๆ ได้ดีนัก

---

เลเยอร์แบบฝัง

#language

#fundamentals

เลเยอร์ที่ซ่อนอยู่แบบพิเศษที่ฝึกบนฟีเจอร์ตามหมวดหมู่ในระดับสูงเพื่อค่อยๆ เรียนรู้เวกเตอร์ที่ต่ําลงในการฝังเวกเตอร์ เลเยอร์แบบฝังช่วยให้โครงข่ายระบบประสาทเทียมสามารถฝึกงานได้อย่างมีประสิทธิภาพมากกว่าการฝึกเฉพาะที่ลักษณะตามหมวดหมู่ในระดับสูง

ตัวอย่างเช่น ปัจจุบัน Earth สนับสนุนต้นไม้ประมาณ 73,000 สายพันธุ์ สมมติว่าโครงสร้างแบบต้นไม้เป็นฟีเจอร์ในโมเดลของคุณ ดังนั้นเลเยอร์อินพุตของโมเดลมีองค์ประกอบฮอตฮิตความยาว 73,000 องค์ประกอบ ตัวอย่างเช่น อาจจะ baobab แทนดังนี้

อาร์เรย์ 73,000 องค์ประกอบยาวมาก หากไม่เพิ่มเลเยอร์แบบฝังไปยังโมเดล การฝึกจะใช้เวลาค่อนข้างมาก เนื่องจากมีการคูณเลข 72,999 บางทีคุณอาจเลือกเลเยอร์แบบฝัง ซึ่งประกอบด้วยมิติข้อมูล 12 รายการ ดังนั้น เลเยอร์ที่ฝังจะค่อยๆ เรียนรู้ เวกเตอร์การฝังใหม่สําหรับต้นไม้แต่ละสายพันธุ์

ในบางสถานการณ์ การแฮชเป็นทางเลือกที่สมเหตุสมผลสําหรับเลเยอร์แบบฝัง

Epoch

#fundamentals

การฝึกที่ผ่านชุดการฝึกทั้งหมด ซึ่งทําให้ตัวอย่างแต่ละรายการได้รับการดําเนินการเพียงครั้งเดียว

ค่า Epoch ดังกล่าวแสดงถึงการฝึกขนาด N/ขนาดกลุ่ม ซ้ํา โดยที่ N คือจํานวนตัวอย่างทั้งหมด

ตัวอย่างเช่น สมมติว่า

• โดยชุดข้อมูลจะประกอบด้วยตัวอย่าง 1,000 ตัวอย่าง
• ขนาดกลุ่มตัวอย่างคือ 50 ตัวอย่าง

ดังนั้น 1 Epoch จะต้องมีการทําซ้ํา 20 ครั้ง ดังนี้

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

example (ตัวอย่าง)

#fundamentals

ค่าของฟีเจอร์ 1 แถวและอาจมีป้ายกํากับ ตัวอย่างในการเรียนรู้ภายใต้การควบคุมดูแลแบ่งเป็น 2 หมวดหมู่ทั่วไป ดังนี้

• ตัวอย่างที่มีป้ายกํากับประกอบด้วยฟีเจอร์อย่างน้อย 1 รายการและป้ายกํากับ ตัวอย่างที่ติดป้ายกํากับจะใช้ในระหว่างการฝึก
• ตัวอย่างที่ไม่มีป้ายกํากับประกอบด้วยฟีเจอร์อย่างน้อย 1 รายการแต่ไม่มีป้ายกํากับ ระบบจะใช้ตัวอย่างที่ไม่มีป้ายกํากับระหว่างการอนุมาน

ตัวอย่างเช่น สมมติว่าคุณกําลังฝึกโมเดลเพื่อกําหนดอิทธิพลของสภาพอากาศที่มีต่อคะแนนสอบของนักเรียน ต่อไปนี้เป็นตัวอย่างป้ายกํากับ 3 แบบ

ฟีเจอร์			ป้ายกำกับ
อุณหภูมิ	ความชื้น	ความดัน	คะแนนสอบ
15	47	998	ดี
19	34	1020	ดีมาก
18	92	1012	ค่อนข้างแย่

ตัวอย่าง 3 รายการที่ไม่มีป้ายกํากับมีดังต่อไปนี้

อุณหภูมิ	ความชื้น	ความดัน
12	62	1014
21	47	1017
19	41	1021

แถวของชุดข้อมูลมักจะเป็นแหล่งที่มาดิบสําหรับตัวอย่าง ตัวอย่างโดยทั่วไปมักจะประกอบด้วยชุดย่อยของคอลัมน์ในชุดข้อมูล นอกจากนี้ ฟีเจอร์ในตัวอย่างยังอาจรวมถึงฟีเจอร์สังเคราะห์ เช่น กากบาทในฟีเจอร์

ศ

false negative (FN)

#fundamentals

ตัวอย่างที่โมเดลคาดการณ์ คลาสเชิงลบโดยไม่ได้ตั้งใจ ตัวอย่างเช่น โมเดลจะคาดการณ์ว่าข้อความอีเมลหนึ่งๆ จะไม่ใช่สแปม (ชั้นเชิงลบ) แต่ข้อความอีเมลจริงๆ แล้วเป็นจดหมายขยะ

ผลบวกลวง (FPS)

#fundamentals

ตัวอย่างที่โมเดลคาดการณ์คลาสเชิงบวกโดยไม่ได้ตั้งใจ ตัวอย่างเช่น โมเดลจะคาดการณ์ว่าข้อความอีเมลหนึ่งๆ จะเป็นสแปม (ชั้นเรียนในเชิงบวก) แต่ข้อความนั้นไม่ใช่สแปม

อัตราผลบวกลวง (FPR)

#fundamentals

สัดส่วนของตัวอย่างเชิงลบจริงที่โมเดลคาดการณ์คลาสเชิงบวกโดยไม่ได้ตั้งใจ สูตรต่อไปนี้จะคํานวณอัตราผลบวกลวง

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

อัตราผลบวกลวงคือแกน x ในเส้นโค้ง ROC

ฟีเจอร์

#fundamentals

ตัวแปรอินพุตของโมเดลแมชชีนเลิร์นนิง ตัวอย่าง ประกอบด้วยฟีเจอร์อย่างน้อย 1 รายการ ตัวอย่างเช่น สมมติว่าคุณกําลังฝึกโมเดลเพื่อกําหนดอิทธิพลของสภาพอากาศที่มีต่อคะแนนสอบของนักเรียน ตารางต่อไปนี้แสดงตัวอย่าง 3 ตัวอย่าง แต่ละรายการมีฟีเจอร์ 3 รายการและป้ายกํากับ 1 รายการ

ฟีเจอร์			ป้ายกำกับ
อุณหภูมิ	ความชื้น	ความดัน	คะแนนสอบ
15	47	998	92
19	34	1020	84
18	92	1012	87

ตรงข้ามกับป้ายกํากับ

ครอสฟีเจอร์

#fundamentals

ฟีเจอร์สังเคราะห์ที่เกิดจากฟีเจอร์ "การขีดฆ่า" ตามหมวดหมู่หรือที่เก็บข้อมูล

เช่น ลองพิจารณา "อารมณ์ที่คาดการณ์" โมเดลที่แสดงถึงอุณหภูมิในที่เก็บข้อมูล 1 ใน 4 รายการต่อไปนี้

• freezing
• chilly
• temperate
• warm

และแสดงถึงความเร็วลมในที่เก็บข้อมูล 1 ใน 3 รายการต่อไปนี้

• still
• light
• windy

หากไม่มีไม้กางเขนเกี่ยวกับฟีเจอร์ โมเดลเชิงเส้นจะฝึกแยกต่างหากในที่เก็บข้อมูลทั้ง 7 ส่วนก่อน ตัวอย่างเช่น โมเดลจะฝึกเกี่ยวกับ freezing แยกต่างหากจากการฝึก ตัวอย่างเช่น windy

หรือจะสร้างอีกฟีเจอร์หนึ่งที่ใช้อุณหภูมิและความเร็วลมได้ ฟีเจอร์สังเคราะห์นี้จะมีค่าที่เป็นไปได้ 12 ค่าต่อไปนี้

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

ฟีเจอร์ทําจากไม้กางเขน ทําให้โมเดลนี้สามารถเรียนรู้ความแตกต่างทางอารมณ์ระหว่าง freezing-windy วันกับอีก freezing-still วัน

หากคุณสร้างฟีเจอร์สังเคราะห์จากฟีเจอร์ 2 ฟีเจอร์ซึ่งแต่ละฟีเจอร์มีที่เก็บข้อมูลที่แตกต่างกันจํานวนมาก การข้ามของฟีเจอร์ผลลัพธ์จะมีชุดค่าผสมที่เป็นไปได้จํานวนมาก เช่น หากฟีเจอร์หนึ่งมีที่เก็บข้อมูล 1,000 รายการ และอีกหนึ่งฟีเจอร์มีที่เก็บข้อมูล 2,000 รายการ ครอสฟีเจอร์ที่ได้ก็จะมีที่เก็บข้อมูล 2,000,000 รายการ

เครื่องหมายกากบาท หรือคาร์ทีเซียนก็คือ

กากบาทในฟีเจอร์ส่วนใหญ่ใช้กับรูปแบบเชิงเส้นและไม่ค่อยใช้กับโครงข่ายระบบประสาทเทียม

Feature Engineering

#fundamentals

#TensorFlow

กระบวนการที่เกี่ยวข้องตามขั้นตอนต่อไปนี้

1. การพิจารณาว่าฟีเจอร์ใดจะเป็นประโยชน์ในการฝึกโมเดล
2. การแปลงข้อมูลดิบจากชุดข้อมูลให้เป็นฟีเจอร์ที่มีประสิทธิภาพเวอร์ชันเหล่านั้น

ตัวอย่างเช่น คุณอาจพิจารณาว่า temperature อาจเป็นฟีเจอร์ที่มีประโยชน์ จากนั้นอาจลองใช้ที่เก็บข้อมูลเพื่อเพิ่มประสิทธิภาพสิ่งที่โมเดลเรียนรู้ได้จาก temperature ช่วงต่างๆ

บางครั้งวิศวกรรมฟีเจอร์จะเรียกว่าการแยกฟีเจอร์

คลิกไอคอนเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับ TensorFlow

ใน TensorFlow วิศวกรรมฟีเจอร์มักหมายถึงการแปลงรายการไฟล์บันทึกข้อมูลดิบเป็นบัฟเฟอร์โปรโตคอล tf.Example ดู tf.Transform เพิ่มเติม

---

ชุดฟีเจอร์

#fundamentals

กลุ่มฟีเจอร์ที่แมชชีนเลิร์นนิงฝึกสอน ตัวอย่างเช่น รหัสไปรษณีย์ ขนาดพร็อพเพอร์ตี้ และสภาพพร็อพเพอร์ตี้ อาจประกอบขึ้นจากชุดฟีเจอร์ง่ายๆ สําหรับโมเดลที่คาดการณ์ราคาที่อยู่อาศัย

เวกเตอร์ฟีเจอร์

#fundamentals

อาร์เรย์ของค่า feature ที่ประกอบด้วยตัวอย่าง เวกเตอร์ฟีเจอร์เป็นอินพุตระหว่างการฝึกและระหว่างการอนุมาน ตัวอย่างเช่น เวกเตอร์ฟีเจอร์สําหรับโมเดลที่มี 2 องค์ประกอบต่อไปนี้

[0.92, 0.56]

ตัวอย่างแต่ละรายการแสดงค่าที่แตกต่างกันของเวกเตอร์ฟีเจอร์ ดังนั้น เวกเตอร์ของฟีเจอร์สําหรับตัวอย่างถัดไปอาจเป็นค่าดังนี้

[0.73, 0.49]

วิศวกรรมฟีเจอร์จะเป็นตัวกําหนดวิธีนําเสนอฟีเจอร์ในเวกเตอร์ฟีเจอร์ เช่น ฟีเจอร์ตามหมวดหมู่แบบไบนารีที่มีค่าที่เป็นไปได้ 5 ค่าอาจแสดงเป็นการเข้ารหัสแบบใช้ครั้งเดียว ในกรณีนี้ ส่วนของเวกเตอร์ฟีเจอร์สําหรับตัวอย่างจะประกอบด้วย 0 จํานวน 1 และ 1.0 รายการเดียวในตําแหน่งที่ 3 ดังนี้

[0.0, 0.0, 1.0, 0.0, 0.0]

อีกตัวอย่างหนึ่งคือ สมมติว่าโมเดลของคุณประกอบด้วย 3 ฟีเจอร์ต่อไปนี้

• ฟีเจอร์เชิงหมวดหมู่ไบนารีที่มีค่าที่เป็นไปได้ 5 ค่าซึ่งมาจากการเข้ารหัสแบบ 1 ค่า 5 ค่า เช่น [0.0, 1.0, 0.0, 0.0, 0.0]
• ฟีเจอร์เชิงหมวดหมู่ไบนารีอื่นที่มี 3 ค่าที่เป็นไปได้ซึ่งแสดงด้วยการเข้ารหัสแบบ 1 ครั้ง เช่น [0.0, 0.0, 1.0]
• ฟีเจอร์จุดลอยตัว เช่น 8.3

ในกรณีนี้ เวกเตอร์ฟีเจอร์สําหรับตัวอย่างแต่ละรายการจะแสดงด้วยค่า 9 ตามค่าตัวอย่างในรายการก่อนหน้านี้ เวกเตอร์ฟีเจอร์จะเป็น

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

รายงานความคิดเห็น

#fundamentals

ในแมชชีนเลิร์นนิง สถานการณ์ที่การคาดคะเนของโมเดลจะส่งผลต่อข้อมูลการฝึกของโมเดลเดียวกันหรือโมเดลอื่น เช่น โมเดลที่แนะนําภาพยนตร์จะส่งผลต่อภาพยนตร์ที่ผู้คนเห็น ซึ่งจะส่งผลต่อโมเดลภาพยนตร์ที่แนะนําในภายหลัง

G

ทั่วไป

#fundamentals

ความสามารถของ model's ในการคาดการณ์ข้อมูลใหม่ที่ยังไม่มีข้อมูลก่อนหน้านี้ โมเดลที่สามารถสร้างความแตกต่างได้จะตรงกันข้ามกับโมเดลที่กําลังปรับขนาด

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

คุณฝึกโมเดลได้จากตัวอย่างในชุดการฝึก โมเดลจะได้รู้ประโยชน์ของข้อมูลในชุดการฝึกอบรม การสรุปโดยทั่วไปจะถามว่าโมเดลของคุณสามารถคาดการณ์ได้ดีหรือไม่สําหรับตัวอย่างที่ไม่ได้อยู่ในชุดการฝึก

ในการกระตุ้นให้เกิดการปรับให้สอดคล้องตามมาตรฐาน การปรับให้สอดคล้องตามมาตรฐานจะช่วยให้โมเดลฝึกโมเดลของข้อมูลในชุดการฝึกได้น้อยมาก

---

เส้นโค้งทั่วไป

#fundamentals

พล็อตของทั้งการสูญเสียการฝึกและการสูญเสียการตรวจสอบเป็นฟังก์ชันของจํานวนการปรับปรุง

เส้นโค้งทั่วไปจะช่วยให้คุณตรวจพบการเพิ่มประสิทธิภาพที่อาจเกิดขึ้น เช่น เส้นโค้งทั่วไปต่อไปนี้แนะนําการเน้นมากเกินไปเนื่องจากสูญเสียการตรวจสอบความถูกต้องจะสูงกว่าการสูญเสียการฝึกอย่างมาก

การไล่ระดับแบบไล่ระดับสี

#fundamentals

เทคนิคทางคณิตศาสตร์เพื่อลดการสูญเสีย การไล่ระดับแบบไล่ระดับสีจะปรับน้ําหนักและการให้น้ําหนักพิเศษอย่างต่อเนื่อง โดยค่อยๆ หาชุดค่าผสมที่ดีที่สุดเพื่อลดการสูญหายให้เหลือน้อยที่สุด

ไล่ระดับสีเก่า คือ เก่ากว่ามากหรือมากกว่าแมชชีนเลิร์นนิง

ข้อมูลจากการสังเกตการณ์โดยตรง

#fundamentals

เรียลลิตี้

สิ่งที่เกิดขึ้นจริง

เช่น ลองพิจารณาใช้การจัดประเภทไบนารีที่คาดการณ์ว่านักศึกษาปี 1 มหาวิทยาลัยจะจบการศึกษาภายใน 6 ปีหรือไม่ ความจริงของรูปแบบนี้ก็คือว่านักเรียน จบการศึกษาจริงๆ ภายใน 6 ปีหรือไม่

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

เราจะประเมินคุณภาพของโมเดลเทียบกับความจริงจากการสังเกตการณ์ อย่างไรก็ตาม ข้อมูลจากการสังเกตการณ์โดยตรงไม่ได้สมบูรณ์แบบเสมอไป ลองดูตัวอย่างความบกพร่องที่อาจเกิดขึ้นในความจริงจากตัวอย่างต่อไปนี้

• ในตัวอย่างการสําเร็จการศึกษา เราแน่นอนว่าบันทึกการจบหลักสูตรของนักเรียนแต่ละคนถูกต้องหรือไม่ มหาวิทยาลัยจะเก็บข้อมูลแผ่นที่ไร้ที่ติไหม
• สมมติว่าป้ายกํากับคือค่าลอยตัวที่วัดโดยเครื่องมือ (เช่น บารอมิเตอร์) เราจะแน่ใจได้อย่างไรว่าเครื่องมือแต่ละอย่างได้รับการปรับเทียบให้เหมือนกันทุกประการหรือการอ่านแต่ละครั้งเกิดขึ้นในสถานการณ์เดียวกัน
• หากป้ายกํากับเป็นเรื่องของมนุษย์ เราจะมั่นใจได้อย่างไรว่าผู้ให้คะแนนแต่ละคนกําลังประเมินเหตุการณ์ในลักษณะเดียวกัน ในบางครั้งเจ้าหน้าที่ที่เป็นเจ้าหน้าที่ผู้เชี่ยวชาญจะให้ความช่วยเหลือเพื่อปรับปรุงความสอดคล้องได้

---

H

เลเยอร์ที่ซ่อนอยู่

#fundamentals

เลเยอร์ในเครือข่ายระบบประสาทระหว่างเลเยอร์อินพุต (ฟีเจอร์) กับเลเยอร์เอาต์พุต (การคาดคะเน) เลเยอร์ที่ซ่อนแต่ละเลเยอร์ประกอบด้วยเซลล์ประสาทอย่างน้อย 1 ชั้น ตัวอย่างเช่น โครงข่ายระบบประสาทต่อไปนี้มีเลเยอร์ที่ซ่อนอยู่ 2 ชั้น ส่วนแรกมีเซลล์ประสาท 3 เซลล์ และอีกเซลล์มีเซลล์ประสาท 2 เซลล์ ได้แก่

โครงข่ายประสาทแบบลึกมีเลเยอร์ที่ซ่อนอยู่มากกว่า 1 ชั้น เช่น ภาพประกอบก่อนหน้านี้เป็นโครงข่ายประสาทส่วนลึกเนื่องจากโมเดลมีเลเยอร์ที่ซ่อนอยู่ 2 ชั้น

ไฮเปอร์พารามิเตอร์

#fundamentals

ตัวแปรที่คุณหรือบริการปรับแต่งไฮเปอร์พารามิเตอร์ ปรับเปลี่ยนระหว่างการฝึกโมเดลติดต่อกัน เช่น อัตราการเรียนรู้คือไฮเปอร์พารามิเตอร์ คุณสามารถตั้งอัตราการเรียนรู้เป็น 0.01 ก่อนเซสชันการฝึกอบรมหนึ่งเซสชัน หากพิจารณาแล้วว่า 0.01 สูงเกินไป อาจกําหนดอัตราการเรียนรู้เป็น 0.003 สําหรับเซสชันการฝึกอบรมถัดไป

ในทางตรงกันข้าม พารามิเตอร์คือน้ําหนักและการให้น้ําหนักต่างๆ ที่โมเดล เรียนรู้ระหว่างการฝึก

I

เผยแพร่อย่างอิสระและเหมือนกันทั้งหมด (กล่าวคือ)

#fundamentals

ข้อมูลที่นํามาได้จากการกระจายที่ไม่เปลี่ยนแปลงและที่ที่แต่ละค่า ดึงมาไม่ได้ขึ้นอยู่กับค่าที่วาดไว้ก่อนหน้านี้ หรือก็คือ ก๊าซในอุดมคติของแมชชีนเลิร์นนิง ซึ่งเป็นแนวคิดทางคณิตศาสตร์ที่มีประโยชน์และแทบจะไม่เคยพบในโลกจริง ตัวอย่างเช่น การกระจายของผู้เข้าชมในหน้าเว็บอาจในช่วงระยะเวลาหนึ่งสั้นๆ กล่าวคือ การกระจายจะไม่เปลี่ยนแปลงในระหว่างกรอบเวลาสั้นๆ นั้น และการเข้าชมหนึ่งครั้งจะไม่ขึ้นอยู่กับการเข้าชมของอีกคนหนึ่ง แต่หากคุณขยายกรอบเวลานั้น ระยะเวลาที่ต่างกัน ของหน้าเว็บอาจทําให้ผู้เข้าชมเห็นความแตกต่าง

และดูการไม่ใช่สถานีเดียวกัน

การอนุมาน

#fundamentals

ในแมชชีนเลิร์นนิง กระบวนการทําการคาดคะเนโดยใช้โมเดลที่ฝึกแล้วกับตัวอย่างที่ไม่มีป้ายกํากับ

การอนุมานมีความหมายค่อนข้างต่างกันในสถิติ ดูรายละเอียดได้ที่บทความวิกิพีเดียเกี่ยวกับการอนุมานสถิติ

เลเยอร์อินพุต

#fundamentals

เลเยอร์ของเครือข่ายระบบประสาทที่เก็บเวกเตอร์ฟีเจอร์ นั่นก็คือ เลเยอร์อินพุตจะมีตัวอย่างสําหรับการฝึกหรือการอนุมาน ตัวอย่างเช่น เลเยอร์อินพุตในเครือข่ายระบบประสาท ประกอบด้วย 2 ฟีเจอร์ต่อไปนี้

การตีความ

#fundamentals

ความสามารถในการอธิบายหรือนําเสนอโมเดล ML ที่ให้เหตุผลได้ในคําที่เข้าใจได้ของมนุษย์

ตัวอย่างเช่น โมเดลการถดถอยเชิงเส้นส่วนใหญ่สามารถตีความได้สูง (คุณแค่ต้องดูน้ําหนักที่ผ่านการฝึกแล้วของแต่ละฟีเจอร์) ป่าแห่งการตัดสินใจก็ตีความได้เหมือนกัน แต่บางรุ่นก็ต้องใช้การแสดงภาพที่ซับซ้อนเพื่อให้ตีความได้

การทําซ้ํา

#fundamentals

การอัปเดตพารามิเตอร์ model's เพียงครั้งเดียว ได้แก่ โมเดล#weights และ bias ในระหว่างการฝึก ขนาดกลุ่ม จะกําหนดจํานวนตัวอย่างที่โมเดลประมวลผลในการทําซ้ํา 1 ครั้ง ตัวอย่างเช่น หากขนาดกลุ่มคือ 20 โมเดลจะประมวลผลตัวอย่าง 20 ตัวอย่างก่อนปรับพารามิเตอร์

เมื่อฝึกโครงข่ายระบบประสาท การดําเนินการซ้ําๆ เพียงครั้งเดียวจะเกิดขึ้นกับ 2 รายการต่อไปนี้

1. การส่งต่อการประเมินเพื่อประเมินการสูญเสียเป็นกลุ่ม
2. บัตรผ่านย้อนกลับ (backpropagation) ปรับพารามิเตอร์' ตามการสูญเสียและอัตราการเรียนรู้

L

การกําหนดมาตรฐาน L₀

#fundamentals

ประเภทของการปรับให้เป็นมาตรฐานซึ่งจะลงโทษจํานวนทั้งหมดของน้ําหนักที่ไม่ได้อยู่ในโมเดล ตัวอย่างเช่น โมเดลที่มีน้ําหนักที่ไม่ใช่ 11 จะถูกลงโทษมากกว่าโมเดลที่คล้ายกันที่มีน้ําหนักที่ไม่ใช่ 00 จํานวน 10

ตามปกติแล้ว L₀ จะไม่ค่อยมีการใช้งาน

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

การอัปเดตแบบ_L1 และแบบ 2 _{แบบทั่วไป}ใช้กันมาก เนื่องจาก #₁ และ L₂ เป็นการปรับให้เป็นมาตรฐาน ฟังก์ชัน Convx แต่การปรับรูปแบบ L₀ ไม่ใช่ฟังก์ชัน Conv.

---

แพ้ L₁

#fundamentals

ฟังก์ชันการสูญเสียจะคํานวณค่าสัมบูรณ์ของความแตกต่างระหว่างค่าป้ายกํากับจริงกับค่าที่รูปแบบคาดการณ์ ตัวอย่างเช่น ต่อไปนี้เป็นวิธีคํานวณการคํานวณ L₁ สําหรับ แบทช์ 5 จาก 5 ตัวอย่างตัวอย่าง

ค่าจริงของตัวอย่าง	ค่าที่คาดการณ์ไว้ของโมเดล	ค่าสัมบูรณ์ของเดลต้า
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = แพ้ 1 ครั้ง

การสูญเสีย₁มีความละเอียดอ่อนต่อค่าที่ผิดปกติ น้อยกว่าการสูญเสีย

ค่าเฉลี่ยความคลาดเคลื่อนสัมบูรณ์คือการสูญเสีย L₁ โดยเฉลี่ยต่อตัวอย่าง

คลิกไอคอนเพื่อดูคณิตศาสตร์อย่างเป็นทางการ

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

ตําแหน่งใด

• $n$ คือจํานวนตัวอย่าง
• $y$ คือมูลค่าจริงของป้ายกํากับ
• $\hat{y}$ คือค่าที่โมเดลคาดการณ์สําหรับ $y$

---

การกําหนดมาตรฐาน L₁

#fundamentals

ประเภทของการปรับให้เป็นมาตรฐานที่จะลงโทษน้ําหนักเมื่อเทียบกับสัดส่วนของค่าสัมบูรณ์ของน้ําหนัก การปรับเปลี่ยน ₁ อย่างสม่ําเสมอจะช่วยเพิ่มน้ําหนักของฟีเจอร์ที่ไม่เกี่ยวข้องหรือแทบจะไม่เกี่ยวข้องเลยเพื่อให้เท่ากับ 0 ระบบจะนําฟีเจอร์ที่มีน้ําหนักเป็น 0 ออกจากโมเดลอย่างมีประสิทธิภาพ

ขัดแย้งกับ L₂ การปรับเกณฑ์การค้นหา

แพ้ L₂

#fundamentals

ฟังก์ชันการสูญเสียจะคํานวณค่าส่วนต่างของ ค่า label จริงกับค่าที่ model คาดการณ์ ตัวอย่างเช่น ต่อไปนี้เป็นวิธีคํานวณการคํานวณ L₂ สําหรับ แบทช์ 5 จาก 5 ตัวอย่าง

ค่าจริงของตัวอย่าง	ค่าที่คาดการณ์ไว้ของโมเดล	เดลต้าสี่เหลี่ยมจัตุรัส
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = แพ้ 2 ครั้ง

เนื่องจากการยกกําลังสอง การสูญเสีย ₂ ช่วยขยายอิทธิพลของค่าที่ผิดปกติ กล่าวคือ การสูญเสีย L₂ จะตอบสนองต่อการคาดการณ์ที่ไม่ถูกต้องมากกว่าการสูญเสีย ₁ เช่น การสูญเสีย L₁ สําหรับกลุ่มก่อนหน้าจะเท่ากับ 8 ไม่ใช่ 16 โปรดสังเกตว่าค่าที่ผิดปกติ 1 จํานวน คิดเป็น 9 ใน 16

โมเดลการเกิดปัญหาซ้ํามักจะใช้การสูญเสีย ₂ เป็นฟังก์ชันการสูญเสีย

ข้อผิดพลาดกําลังสองเฉลี่ยคือการสูญเสีย L₂ โดยเฉลี่ยต่อตัวอย่าง การสูญเสียตั้งแต่ต้นคืออีกชื่อหนึ่งของการสูญเสีย L₂

คลิกไอคอนเพื่อดูคณิตศาสตร์อย่างเป็นทางการ

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

ตําแหน่งใด

• $n$ คือจํานวนตัวอย่าง
• $y$ คือมูลค่าจริงของป้ายกํากับ
• $\hat{y}$ คือค่าที่โมเดลคาดการณ์สําหรับ $y$

---

การกําหนดมาตรฐาน L₂

#fundamentals

ประเภทของการปรับให้เป็นมาตรฐานซึ่งจะลงโทษน้ําหนักตามสัดส่วนของผลรวมของสี่เหลี่ยมจัตุรัสของน้ําหนัก การปรับให้เป็นแบบ L₂ จะช่วยถ่วงน้ําหนักค่าที่ผิดปกติ (ซึ่งมีค่าเป็นบวกสูงหรือค่าลบสูง) ที่ใกล้ 0 แต่ไม่ได้ไม่ใช่ 0 ฟีเจอร์ที่มีค่าใกล้เคียงกับ 0 มากจะยังคงอยู่ในโมเดล แต่ไม่ส่งผลกระทบต่อการคาดการณ์โมเดลอย่างมาก

การปรับกฎ L₂ จะช่วยปรับปรุงการกําหนดค่าทั่วไปในรูปแบบเชิงเส้นอยู่เสมอ

ตรงข้ามกับการกําหนดมาตรฐานของ L₁

ป้ายกำกับ

#fundamentals

ในแมชชีนเลิร์นนิงที่มีการควบคุมดูแล "answer" หรือ "result" ส่วนหนึ่งของตัวอย่าง

ตัวอย่างที่มีป้ายกํากับแต่ละรายการประกอบด้วยฟีเจอร์อย่างน้อย 1 รายการและป้ายกํากับ เช่น ในชุดข้อมูลการตรวจจับสแปม ป้ายกํากับอาจเป็น "spam" หรือ "ไม่ใช่สแปม" ในชุดข้อมูลฝน ป้ายกํากับอาจเป็นปริมาณฝนลดลงในช่วงหนึ่ง

ตัวอย่างที่มีป้ายกํากับ

#fundamentals

ตัวอย่างที่มีฟีเจอร์อย่างน้อย 1 รายการและป้ายกํากับ ตารางต่อไปนี้แสดงตัวอย่าง 3 รายการที่ติดป้ายกํากับจากโมเดลการประเมินมูลค่าบ้าน โดยแต่ละฟีเจอร์มีฟีเจอร์ 3 อย่างและป้ายกํากับ 1 ป้าย

จำนวนห้องนอน	จํานวนห้องน้ํา	อายุของบ้าน	ราคาบ้าน (ป้ายกํากับ)
3	2	15	10,250,000 บาท
2	1	72	5,380,000 บาท
4	2	34	11,280,000 บาท

ในแมชชีนเลิร์นนิงที่มีการควบคุมดูแล โมเดลจะฝึกบนตัวอย่างที่มีป้ายกํากับและคาดการณ์ในตัวอย่างที่ไม่มีป้ายกํากับ

คอนทราสต์ตามตัวอย่างกับตัวอย่างที่ไม่มีป้ายกํากับ

แลมบ์ดา

#fundamentals

คําพ้องความหมายสําหรับอัตราการปรับให้สอดคล้องตามมาตรฐาน

Lambda เป็นคําที่ล้นมือ เราเน้นคํานิยามของคําจํากัดความดังกล่าวในการทําให้เป็นมาตรฐานที่นี่

ชั้น

#fundamentals

ชุดเซลล์ประสาทในเครือข่ายระบบประสาท มีเลเยอร์ทั่วไป 3 ประเภท ดังต่อไปนี้

• เลเยอร์อินพุต ซึ่งจะให้ค่าสําหรับฟีเจอร์ทั้งหมด
• เลเยอร์ที่ซ่อนไว้อย่างน้อย 1 ชั้น ซึ่งค้นหา ความสัมพันธ์ที่ไม่ใช่เชิงเส้นระหว่างฟีเจอร์กับป้ายกํากับ
• เลเยอร์เอาต์พุตที่จะให้การคาดการณ์

เช่น ภาพประกอบต่อไปนี้แสดงเครือข่ายระบบประสาทที่มีเลเยอร์อินพุต 1 ชั้น เลเยอร์ที่ซ่อนอยู่ 2 ชั้น และเลเยอร์เอาต์พุต 1 ชั้น

ใน TensorFlow เลเยอร์ยังเป็นฟังก์ชัน Python ที่ใช้ Tensors และตัวเลือกการกําหนดค่าเป็นอินพุตและกระตุ้นให้เกิด Tensor อื่นๆ เป็นเอาต์พุต

อัตราการเรียนรู้

#fundamentals

ตัวเลขทศนิยมซึ่งบอกอัลกอริทึมการไล่ระดับแบบไล่ระดับสี ว่าจะปรับน้ําหนักและการให้น้ําหนักพิเศษในแต่ละการทําซ้ําได้มากน้อยเพียงใด ตัวอย่างเช่น อัตราการเรียนรู้ของ 0.3 จะปรับน้ําหนักและการให้น้ําหนักพิเศษขึ้นเป็น 3 เท่าเมื่อเทียบกับอัตราการเรียนรู้ที่ 0.1

อัตราการเรียนรู้เป็นคีย์ไฮเปอร์พารามิเตอร์ แต่หากกําหนดอัตราการเรียนรู้ต่ําเกินไป การฝึกใช้เวลานานเกินไป หากคุณกําหนดอัตราการเรียนรู้สูงเกินไป การไล่ระดับแบบไล่ระดับมักจะประสบปัญหาในการเข้าถึงความเร่งด่วน

คลิกไอคอนเพื่อดูคําอธิบายทางคณิตศาสตร์เพิ่มเติม

ในระหว่างการทําซ้ําแต่ละครั้ง อัลกอริทึมทางลาดลงจะคูณอัตราการเรียนรู้ด้วยการไล่ระดับสี ผลลัพธ์ที่ได้จะเรียกว่าขั้นตอนการไล่ระดับสี

---

รูปแบบเชิงเส้น

#fundamentals

รูปแบบที่กําหนดน้ําหนัก 1 ชิ้นต่อฟีเจอร์เพื่อทําการคาดการณ์ (รูปแบบเชิงเส้นยังมีการให้น้ําหนัก) ในทางตรงกันข้าม ความสัมพันธ์ของฟีเจอร์กับการคาดการณ์ในโมเดลเชิงลึกโดยทั่วไปเป็นแบบไม่ใช่เชิงเส้น

โมเดลเชิงเส้นมักฝึกได้ง่ายกว่าและตีความได้มากกว่าโมเดลเชิงลึก อย่างไรก็ตาม โมเดลเชิงลึกจะเรียนรู้ความสัมพันธ์ที่ซับซ้อนระหว่างฟีเจอร์ได้

การถดถอยเชิงเส้นและ การถดถอยแบบโลจิสติกเป็นโมเดลสองประเภท

คลิกไอคอนเพื่อดูคณิตศาสตร์

รูปแบบเชิงเส้นเป็นไปตามสูตรนี้

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

สถานที่:

• y&#39 เป็นการคาดคะเนดิบ (ในโมเดลเชิงเส้นบางประเภท การคาดการณ์ ดิบนี้จะได้รับการแก้ไขเพิ่มเติม เช่น โปรดดู การถดถอยแบบโลจิสติก)
• b คือการให้น้ําหนัก
• w เป็น weight ดังนั้น w₁ คือน้ําหนักของจุดสนใจแรก w₂ คือน้ําหนักของคุณลักษณะที่ 2 และต่อไปเรื่อยๆ
• x เป็นฟีเจอร์ ดังนั้น x₁ เป็นค่าของฟีเจอร์แรก x₂ คือค่าของฟีเจอร์ที่ 2 เป็นต้น

เช่น สมมติว่ารูปแบบเชิงเส้นสําหรับฟีเจอร์ 3 รายการเรียนรู้การให้น้ําหนักพิเศษและน้ําหนักต่อไปนี้

• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

ดังนั้น เนื่องจากมีฟีเจอร์ 3 รายการ (x₁, x₂ และ x₃) โมเดลเชิงเส้นจะใช้สมการต่อไปนี้เพื่อสร้างการคาดการณ์แต่ละรายการ

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

สมมติว่าตัวอย่างมีค่าต่อไปนี้

• x₁ = 4
• x₂ = -10
• x₃ = 5

การใส่ค่าเหล่านั้นลงในสูตรจะทําให้เกิดการคาดคะเนสําหรับตัวอย่างนี้

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

โมเดลเชิงเส้นไม่ได้มีเพียงโมเดลที่ใช้สมการเชิงเส้นในการคาดการณ์เท่านั้น แต่ยังรวมถึงชุดโมเดลที่กว้างขึ้นซึ่งใช้สมการเชิงเส้นซึ่งเป็นองค์ประกอบเพียงส่วนหนึ่งของสูตรในการคาดคะเนด้วย เช่น การถดถอยแบบโลจิสติกส์จะประมวลผลการคาดการณ์ดิบ (y') โดยอัตโนมัติเพื่อสร้างค่าการคาดการณ์สุดท้ายที่มีค่าระหว่าง 0 ถึง 1

---

เชิงเส้น

#fundamentals

ความสัมพันธ์ระหว่างตัวแปร 2 ตัวขึ้นไปที่แทนได้ด้วยการเพิ่มและการคูณเท่านั้น

พล็อตของความสัมพันธ์เชิงเส้นเป็นเส้น

คอนทราสต์กับ nonLinear

การถดถอยเชิงเส้น

#fundamentals

ประเภทของโมเดลแมชชีนเลิร์นนิงที่มีเงื่อนไขทั้ง 2 ข้อต่อไปนี้เป็นจริง

• โมเดลคือรูปแบบเชิงเส้น
• การคาดการณ์เป็นค่าทศนิยม (นี่คือส่วนการถดถอยของการถดถอยเชิงเส้น)

คอนทราสต์การถดถอยเชิงเส้นกับ การถดถอยแบบโลจิสติก รวมทั้งดูการถดถอยคอนทราสต์กับการจัดประเภทด้วย

การถดถอยแบบโลจิสติก

#fundamentals

ประเภทของโมเดลการเกิดปัญหาซ้ําที่คาดการณ์ความน่าจะเป็น รูปแบบการถดถอยแบบโลจิสติกส์มีลักษณะดังต่อไปนี้

• ป้ายกํากับคือตามหมวดหมู่ โดยทั่วไปคําว่า "การถดถอยแบบโลจิสติกส์" หมายถึงการถดถอยแบบโลจิสติกส์ไบนารี กล่าวคือ เป็นโมเดลที่คํานวณความน่าจะเป็นสําหรับป้ายกํากับที่มีค่าที่เป็นไปได้ 2 ค่า รูปแบบที่พบบ่อยน้อยกว่าคือการถดถอยแบบโลจิสติกส์ที่มีหลายค่า จะคํานวณความน่าจะเป็นสําหรับป้ายกํากับที่มีค่าที่เป็นไปได้มากกว่า 2 ค่า
• ฟังก์ชันการสูญเสียในระหว่างการฝึกคือ Log Loss (ป้ายกํากับอาจหายไปได้หลายป้ายสําหรับป้ายกํากับที่มีค่าที่เป็นไปได้มากกว่า 2 ค่า)
• โมเดลนี้มีสถาปัตยกรรมเชิงเส้น ไม่ใช่เครือข่ายโครงข่ายประสาทแบบลึก อย่างไรก็ตาม ส่วนที่เหลือของคําจํากัดความนี้ยังใช้กับโมเดลเชิงลึกที่คาดการณ์แนวโน้มของป้ายกํากับเชิงหมวดหมู่ด้วย

เช่น พิจารณารูปแบบการถดถอยแบบโลจิสติกส์ซึ่งจะคํานวณความน่าจะเป็นของอีเมลอินพุตว่าเป็นจดหมายขยะหรือไม่ใช่สแปม ระหว่างการอนุมาน สมมติว่าโมเดลคาดการณ์ 0.72 ดังนั้น โมเดลจึงกําลังประเมินดังนี้

• โอกาส 72% สําหรับอีเมลที่เป็นจดหมายขยะ
• โอกาส 28% ที่อีเมลจะไม่ถูกสแปม

โมเดลการถดถอยแบบโลจิสติกส์ใช้สถาปัตยกรรม 2 ขั้นตอนดังต่อไปนี้

1. โมเดลนี้สร้างการคาดการณ์แบบ Raw (y') โดยใช้ฟังก์ชันเชิงเส้นของฟีเจอร์อินพุต
2. โมเดลนี้ใช้การคาดคะเนแบบ Raw เป็นอินพุตของฟังก์ชัน Sigmoid ซึ่งจะแปลงการคาดการณ์ดิบเป็นค่าระหว่าง 0 ถึง 1 เท่านั้น

เช่นเดียวกับรูปแบบการเกิดปัญหาซ้ํา รูปแบบการถดถอยแบบโลจิสติกส์จะคาดการณ์ตัวเลข อย่างไรก็ตาม ตัวเลขนี้มักจะเป็นส่วนหนึ่งของโมเดลการจัดประเภทแบบไบนารีดังต่อไปนี้

• หากจํานวนที่คาดการณ์มากกว่ากว่าเกณฑ์การจัดประเภท โมเดลการจัดประเภทแบบไบนารีจะคาดการณ์คลาสเชิงบวก
• หากจํานวนที่คาดการณ์น้อยกว่าเกณฑ์การจัดประเภท โมเดลการจัดประเภทแบบไบนารีจะคาดการณ์คลาสเชิงลบ

บันทึกหายไป

#fundamentals

ฟังก์ชันการสูญเสียที่ใช้ในการถดถอยแบบโลจิสติกส์แบบไบนารี

คลิกไอคอนเพื่อดูคณิตศาสตร์

สูตรต่อไปนี้จะคํานวณการสูญเสียบันทึก

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

ตําแหน่งใด

• \((x,y)\in D\) คือชุดข้อมูลที่มีตัวอย่างป้ายกํากับจํานวนมาก ซึ่งเป็น \((x,y)\) การจับคู่
• \(y\) คือป้ายกํากับในตัวอย่างที่มีป้ายกํากับ เนื่องจากเป็นการถดถอยแบบโลจิสติกส์ ค่าทั้งหมดของ \(y\) จึงต้องเป็น 0 หรือ 1
• \(y'\) คือค่าที่คาดการณ์ไว้ (ระหว่าง 0 ถึง 1 เท่านั้น) โดยพิจารณาจากชุดของฟีเจอร์ใน \(x\)

---

โอกาสในการบันทึก

#fundamentals

ลอการิทึมของโอกาสเกิดเหตุการณ์บางอย่าง

คลิกไอคอนเพื่อดูคณิตศาสตร์

หากเหตุการณ์เป็นความน่าจะเป็นแบบไบนารี odds จะหมายถึงอัตราส่วนของความน่าจะเป็นของความสําเร็จ (p) กับความน่าจะเป็นของความล้มเหลว (1-p) ตัวอย่างเช่น สมมติว่าเหตุการณ์นั้นๆ มีโอกาสประสบความสําเร็จ 90% และมีความเป็นไปได้ 10% ที่จะล้มเหลว ในกรณีนี้ ความน่าจะเป็นจะคํานวณดังนี้

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

บันทึกอัตราต่อรองเป็นลอการิทึมของความน่าจะเป็น ตามรูปแบบ "logarithm" หมายถึง ลอการิทึมธรรมชาติ แต่ลอการิทึมสามารถเป็นฐานใดก็ได้ที่มากกว่า 1 จากหลักการทั่วไป บันทึกของตัวอย่างของเราก็มีลักษณะดังต่อไปนี้

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

ฟังก์ชันบันทึกอัตราต่อรองคือค่าผกผันของฟังก์ชัน Sigmoid

---

แพ้

#fundamentals

ในระหว่างการฝึกของโมเดลที่มีการควบคุมดูแล การวัดว่าการคาดการณ์ของโมเดลอยู่ห่างจากป้ายกํากับมากเพียงใด

ฟังก์ชันการสูญเสียจะคํานวณการสูญเสีย

เส้นโค้งที่สูญเสียข้อมูล

#fundamentals

พล็อตการสูญเสียเป็นฟังก์ชันของจํานวนการฝึก พล็อตต่อไปนี้แสดงเส้นโค้งที่สูญเสียไปโดยทั่วไป

เส้นโค้งที่สูญหายช่วยให้คุณระบุได้ว่าโมเดลของคุณกําลังกําลังพูดคุยกันหรือมากเกินไป

เส้นโค้งที่สูญเสียข้อมูลสามารถแสดงกราฟการสูญเสียทุกประเภทต่อไปนี้

• สูญเสียการฝึกอบรม
• การสูญเสียจากการตรวจสอบ
• แพ้การทดสอบ

นอกจากนี้ โปรดดูเส้นโค้งการปรับเปลี่ยน

ฟังก์ชันการสูญเสีย

#fundamentals

ระหว่างการฝึกหรือการทดสอบ ฟังก์ชันทางคณิตศาสตร์ที่คํานวณการสูญเสียกลุ่มตัวอย่าง ฟังก์ชันการสูญเสียจะแสดงตัวเลขที่ต่ํากว่าสําหรับโมเดลที่คาดการณ์ได้แม่นยํากว่าโมเดลที่คาดการณ์ไม่ถูกต้อง

โดยทั่วไปเป้าหมายของการฝึกอบรมคือการลดการสูญเสียฟังก์ชันฟังก์ชันการสูญเสีย

ฟังก์ชันการสูญเสียมีอยู่หลายประเภท เลือกฟังก์ชันการสูญเสียที่เหมาะกับประเภทของโมเดลที่คุณกําลังสร้าง เช่น

• การสูญเสีย ₂ (หรือข้อผิดพลาดกําลังสองเฉลี่ย) เป็นฟังก์ชันการสูญเสียสําหรับการถดถอยเชิงเส้น
• Log Loss เป็นฟังก์ชันการสูญเสียสําหรับการถดถอยแบบโลจิสติก

M

แมชชีนเลิร์นนิง

#fundamentals

โปรแกรมหรือระบบที่ฝึกโมเดลจากข้อมูลอินพุต โมเดลที่ฝึกแล้วจะสามารถคาดการณ์ที่มีประโยชน์จากข้อมูลใหม่ (ที่ไม่เคยเห็นมาก่อน) มาจากการกระจายเดียวกันกับที่ใช้ฝึกโมเดล

แมชชีนเลิร์นนิงยังหมายถึงสาขา การเรียนรู้ที่เกี่ยวข้องกับโปรแกรมหรือระบบเหล่านี้

ชั้นเรียนส่วนใหญ่

#fundamentals

ป้ายกํากับที่ใช้กันโดยทั่วไปในชุดข้อมูลที่ไม่สมดุล ตัวอย่างเช่น หากชุดข้อมูลที่มีป้ายกํากับเชิงลบ 99% และป้ายกํากับเชิงบวก 1% ป้ายกํากับเชิงลบจะเป็นคลาสส่วนใหญ่

ขัดแย้งกับชนกลุ่มน้อย

มินิแบตช์

#fundamentals

ชุดย่อยแบบสุ่มของกลุ่มแบบสุ่มที่ประมวลผลในการทําซ้ํารายการเดียว ขนาดกลุ่มของกลุ่มขนาดเล็กมักจะอยู่ระหว่างตัวอย่าง 10 ถึง 1,000 ตัวอย่าง

ตัวอย่างเช่น สมมติว่าชุดการฝึกทั้งหมด (ทั้งชุด) ประกอบด้วยตัวอย่าง 1,000 รายการ และสมมติว่าคุณกําหนดขนาดกลุ่มของแต่ละมินิแบตช์ไว้ที่ 20 ดังนั้น การปรับปรุงแต่ละรายการจะระบุการสูญเสียจากการสุ่มตัวอย่าง 20 จาก 1,000 รายการ แล้วปรับน้ําหนักและการให้น้ําหนักพิเศษตามความเหมาะสม

การคํานวณการสูญเสียเป็นกลุ่มขนาดเล็กจะมีประสิทธิภาพมากกว่าการสูญเสียตัวอย่างทั้งหมดในกลุ่ม

ชนกลุ่มน้อย

#fundamentals

ป้ายกํากับที่พบไม่บ่อยในชุดข้อมูลที่ไม่สมดุล ตัวอย่างเช่น หากชุดข้อมูลมีป้ายกํากับเชิงลบ 99% และป้ายกํากับเชิงบวก 1% ป้ายกํากับเชิงบวกจะเป็นชนกลุ่มน้อย

คอนทราสต์กับคลาสส่วนใหญ่

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

ชุดการฝึกที่มีตัวอย่างนับล้านจะให้ผลลัพธ์ที่น่าประทับใจ แต่หากชนกลุ่มน้อยเป็นตัวแทนที่ไม่ดี แม้แต่ชุดการฝึกอบรมที่ใหญ่มากๆ ก็อาจยังไม่เพียงพอ เน้นจํานวนตัวอย่างในชุดข้อมูลให้น้อยลง และเน้นจํานวนตัวอย่างในกลุ่มย่อยน้อยลง

หากชุดข้อมูลมีตัวอย่างชนกลุ่มน้อยไม่เพียงพอ ให้ลองใช้การสุ่มตัวอย่าง (คํานิยามในหัวข้อย่อยที่ 2) เพื่อเสริมกลุ่มผู้เยาว์

---

รุ่น

#fundamentals

โดยทั่วไปแล้ว โครงสร้างทางคณิตศาสตร์ที่ประมวลผลข้อมูลอินพุตและแสดงผล กล่าวคือ โมเดลคือชุดพารามิเตอร์และโครงสร้างที่จําเป็นสําหรับระบบเพื่อทําการคาดการณ์ ในแมชชีนเลิร์นนิงที่มีการควบคุมดูแล โมเดลจะใช้ตัวอย่างเป็นข้อมูลอินพุต และอนุมานการคาดการณ์เป็นเอาต์พุต ในแมชชีนเลิร์นนิงที่มีการควบคุมดูแล โมเดลจะค่อนข้างแตกต่างกัน เช่น

• โมเดลการถดถอยเชิงเส้นประกอบด้วยชุด weights และ bias
• โมเดลโครงข่ายระบบประสาทประกอบด้วยสิ่งต่อไปนี้
  • ชุดเลเยอร์ที่ซ่อนไว้ แต่ละเลเยอร์มีเซลล์ประสาทอย่างน้อย 1 เซลล์
  • น้ําหนักและการให้น้ําหนักพิเศษที่เกี่ยวข้องกับเซลล์ประสาทแต่ละเซลล์
• โมเดลแผนผังการตัดสินใจประกอบด้วย
  • รูปร่างของต้นไม้ ซึ่งก็คือรูปแบบที่มีการเชื่อมโยงเงื่อนไขและใบ
  • สภาพและใบไม้

คุณจะบันทึก กู้คืน หรือทําสําเนาโมเดลได้

แมชชีนเลิร์นนิงที่ไม่มีการควบคุมดูแลยังสร้างโมเดล ซึ่งโดยทั่วไปแล้วเป็นฟังก์ชันที่สามารถแมปตัวอย่างอินพุตกับคลัสเตอร์ที่เหมาะสมที่สุด

คลิกไอคอนเพื่อเปรียบเทียบฟังก์ชันพีชคณิตและการเขียนโปรแกรมกับโมเดล ML

ฟังก์ชันพีชคณิต เช่น โมเดล มีดังต่อไปนี้

  f(x, y) = 3x -5xy + y2 + 17

ฟังก์ชันก่อนหน้านี้จะแมปค่าอินพุต (x และ y) กับเอาต์พุต

ในทํานองเดียวกัน ฟังก์ชันการจัดโปรแกรมในรูปแบบต่อไปนี้ก็เช่นเดียวกัน

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

ผู้โทรจะส่งอาร์กิวเมนต์ไปยังฟังก์ชัน Python ก่อนหน้านี้ และฟังก์ชัน Python จะสร้างเอาต์พุต (ผ่านคําสั่ง return)

แม้ว่าโครงข่ายประสาทแบบลึกจะมีโครงสร้างทางคณิตศาสตร์ที่แตกต่างออกไปมากจากฟังก์ชันพีชคณิตหรือการเขียนโปรแกรม แต่โครงข่ายประสาทแบบลึกก็ยังรับอินพุต (ตัวอย่าง) และแสดงเอาต์พุต (การคาดการณ์)

โปรแกรมเมอร์ที่มนุษย์เขียนโปรแกรมฟังก์ชันด้วยตนเอง ในทางตรงกันข้าม โมเดลแมชชีนเลิร์นนิงจะค่อยๆ เรียนรู้พารามิเตอร์ที่ดีที่สุดระหว่างการฝึกอัตโนมัติ

---

การแยกประเภทแบบหลายคลาส

#fundamentals

ในการเรียนรู้ภายใต้การควบคุมดูแล ปัญหาการแยกประเภท ที่ชุดข้อมูลมีป้ายกํากับมากกว่า 2 คลาส เช่น ป้ายกํากับในชุดข้อมูล Iris ต้องเป็น 1 ใน 3 คลาสต่อไปนี้

• ไอริส เซโตซา
• ไอริส เวอร์จินิกา
• ม่านตาไอริส

โมเดลที่ฝึกบนชุดข้อมูล Iris ที่คาดการณ์ประเภท Iris ในตัวอย่างใหม่จะทําการจัดประเภทแบบหลายคลาส

ในทางตรงกันข้าม ปัญหาการแยกประเภทระหว่าง 2 ชั้นเรียนคือโมเดลการจัดประเภทแบบไบนารี เช่น รูปแบบอีเมลที่คาดคะเนสแปมหรือไม่ใช่สแปมคือรูปแบบการแยกประเภทไบนารี

ในปัญหาการจัดกลุ่ม การจัดจําแนกแบบหลายคลาสหมายถึงมากกว่า 2 คลัสเตอร์

ไม่ใช่

คลาสเชิงลบ

#fundamentals

ในการแยกประเภทไบนารี คลาสหนึ่งเรียกว่าค่าบวก และคลาสอีกรายการเรียกว่าค่าลบ คลาสเชิงบวกคือ หรือเหตุการณ์ที่โมเดลกําลังทดสอบ และคลาสเชิงลบก็มีความเป็นไปได้อื่นๆ เช่น

• คลาสเชิงลบในการทดสอบทางการแพทย์อาจเป็น " ไม่ใช่เนื้องอก"
• ชั้นเรียนเชิงลบในตัวแยกประเภทอีเมลอาจเป็น "ไม่ใช่จดหมายขยะ"

ตรงข้ามกับชั้นเรียนในเชิงบวก

โครงข่ายระบบประสาทเทียม

#fundamentals

โมเดลที่มีเลเยอร์ที่ซ่อนอย่างน้อย 1 เลเยอร์ โครงข่ายประสาทแบบลึกคือเครือข่ายที่เป็นโครงข่ายประสาทประเภทหนึ่งที่มีชั้นที่ซ่อนอยู่มากกว่า 1 ชั้น เช่น แผนภาพต่อไปนี้แสดงโครงข่ายประสาทแบบลึกที่มีเลเยอร์ซ่อนอยู่ 2 ชั้น

เซลล์ประสาทแต่ละเซลล์ในโครงข่ายประสาทจะเชื่อมต่อกับโหนดทั้งหมดในเลเยอร์ถัดไป เช่น ในแผนภาพก่อนหน้า จะเห็นว่าเซลล์ประสาททั้ง 3 ชั้นในเลเยอร์แรกที่ซ่อนอยู่เชื่อมโยงอยู่กับเซลล์ประสาททั้ง 2 ชั้นในเลเยอร์ที่ซ่อนอยู่ชั้นที่ 2

บางครั้งโครงข่ายประสาทที่ใช้ในคอมพิวเตอร์อาจเรียกว่าโครงข่ายประสาทเทียม เพื่อแยกความแตกต่างจากเครือข่ายโครงข่ายประสาทที่พบในสมองและระบบประสาทอื่นๆ

โครงข่ายระบบประสาทเทียมบางแห่งอาจเลียนแบบความสัมพันธ์ที่ไม่ใช่แบบเชิงเส้นที่ซับซ้อนมากระหว่างฟีเจอร์และป้ายกํากับต่างๆ

รวมถึงดูโครงข่ายระบบประสาทเทียมเชิงรับและโครงข่ายระบบประสาทเทียมแบบเกิดซ้ํา

เซลล์ประสาท

#fundamentals

ในแมชชีนเลิร์นนิง หน่วยที่แตกต่างกันภายในเลเยอร์ที่ซ่อนอยู่ของเครือข่ายระบบประสาท เซลล์ประสาทแต่ละเซลล์จะทํางาน 2 แบบต่อไปนี้

1. คํานวณผลรวมถ่วงน้ําหนักของค่าอินพุตคูณด้วยน้ําหนักที่เกี่ยวข้อง
2. ผ่านผลรวมถ่วงน้ําหนักของอินพุตไปยังฟังก์ชันการเปิดใช้งาน

เซลล์ประสาทในเลเยอร์ที่ซ่อนอยู่ชั้นแรกจะยอมรับอินพุตจากค่าของฟีเจอร์ในเลเยอร์อินพุต เซลล์ประสาทในเลเยอร์ที่ซ่อนอยู่ซึ่งอยู่เหนือ ชั้นแรกจะรับอินพุตของเซลล์ประสาทในเลเยอร์ที่ซ่อนอยู่ก่อนหน้านี้ เช่น เซลล์ประสาทในเลเยอร์ที่ 2 ที่ซ่อนไว้จะยอมรับอินพุตจากเซลล์ประสาทในเลเยอร์ที่ซ่อนอยู่ชั้นแรก

ภาพประกอบต่อไปนี้ไฮไลต์เซลล์ประสาท 2 เซลล์และข้อมูลอินพุต

เซลล์ประสาทในโครงข่ายประสาทจะเลียนแบบการทํางานของเซลล์ประสาทในสมองและส่วนอื่นๆ ของระบบประสาท

โหนด (โครงข่ายระบบประสาทเทียม)

#fundamentals

เซลล์ประสาทในเลเยอร์ที่ซ่อนอยู่

ไม่เป็นเชิงเส้น

#fundamentals

ความสัมพันธ์ระหว่างตัวแปร 2 ตัวขึ้นไปซึ่งแสดงไม่ได้แต่ผ่านการบวกและคูณเท่านั้น ความสัมพันธ์แบบเชิงเส้นอาจแทนเส้นได้ ความสัมพันธ์ที่ไม่ใช่แบบเชิงเส้นจะแสดงเป็นเส้น ##39 ไม่ได้ เช่น ลองพิจารณา 2 โมเดลที่แต่ละโมเดลเชื่อมโยง ฟีเจอร์เดียวกับป้ายกํากับเดียว รูปแบบทางด้านซ้ายเป็นแบบเชิงเส้น และรูปแบบทางด้านขวาไม่ใช่แบบเชิงเส้น

ความไม่แบ่งแยก

#fundamentals

ฟีเจอร์ที่ค่ามีการเปลี่ยนแปลงในมิติข้อมูลอย่างน้อย 1 รายการ โดยทั่วไปจะเป็นเวลา ลองดูตัวอย่างการไม่แบ่งแยกต่อไปนี้

• จํานวนชุดว่ายน้ําที่ขายในร้านค้าบางแห่งจะแตกต่างกันไปตามฤดูกาล
• ปริมาณการเก็บเกี่ยวผลไม้หนึ่งๆ ในภูมิภาคหนึ่งๆ เป็น 0 ตลอดทั้งปี แต่มีจํานวนมหาศาลในช่วงเวลาสั้นๆ
• เนื่องจากการเปลี่ยนแปลงของสภาพภูมิอากาศ อุณหภูมิเฉลี่ยต่อปีกําลังเปลี่ยนแปลง

คอนทราสต์กับสถานีเพลง

การปรับให้เป็นมาตรฐาน

#fundamentals

กล่าวกว้างๆ คือ กระบวนการแปลงช่วงค่าจริงของตัวแปรให้เป็นช่วงค่ามาตรฐาน เช่น

• -1 ถึง +1
• 0 ถึง 1
• การกระจายปกติ

เช่น สมมติว่าช่วงจริงของฟีเจอร์บางอย่าง คือ 800 ถึง 2,400 ในกรณีของวิศวกรรมฟีเจอร์ คุณปรับค่าจริงให้อยู่ในช่วงมาตรฐานได้ เช่น -1 ถึง +1

การปรับให้เป็นมาตรฐานคืองานทั่วไปในวิศวกรรมฟีเจอร์ โมเดลมักจะฝึกได้เร็วขึ้น (และสร้างการคาดการณ์ได้ดีกว่า) เมื่อฟีเจอร์ตัวเลขทุกแอปใน เวกเตอร์ฟีเจอร์มีช่วงเดียวกันโดยประมาณ

ข้อมูลตัวเลข

#fundamentals

ฟีเจอร์จะแสดงเป็นจํานวนเต็มหรือค่าจริง เช่น โมเดลการประเมินบ้านอาจระบุขนาดของบ้าน (เป็นตารางฟุตหรือตารางเมตร) เป็นข้อมูลตัวเลข การแสดงฟีเจอร์เป็นข้อมูลตัวเลขหมายความว่าค่าของฟีเจอร์มีความสัมพันธ์ทางคณิตศาสตร์กับป้ายกํากับ กล่าวคือ จํานวนตารางเมตรภายในบ้านอาจมีความสัมพันธ์เชิงคณิตศาสตร์กับคุณค่าของบ้าน เป็นต้น

ข้อมูลที่เป็นจํานวนเต็มทั้งหมดไม่ควรแสดงเป็นตัวเลข ตัวอย่างเช่น รหัสไปรษณีย์ในบางพื้นที่ของโลกเป็นจํานวนเต็ม แต่ไม่ควรระบุรหัสไปรษณีย์เป็นจํานวนเต็มเป็นข้อมูลตัวเลขในโมเดล นั่นเป็นเพราะรหัสไปรษณีย์ของ 20000 ไม่เท่ากับ 2 เท่า (หรือครึ่งหนึ่ง) ของรหัสไปรษณีย์ 10,000 รหัส นอกจากนี้ แม้ว่ารหัสไปรษณีย์ต่างๆ จะเชื่อมโยงกับค่าอสังหาริมทรัพย์ที่แตกต่างกัน แต่เราก็ไม่สามารถสรุปได้ว่าค่าอสังหาริมทรัพย์ในรหัสไปรษณีย์ 20000 มีมูลค่ามากกว่าค่าอสังหาริมทรัพย์ 10000 มากถึง 2 เท่า รหัสไปรษณีย์ควรแสดงเป็นข้อมูลเชิงหมวดหมู่ แทน

บางครั้งฟีเจอร์ตัวเลขเรียกว่าฟีเจอร์ต่อเนื่อง

O

ออฟไลน์

#fundamentals

คําพ้องความหมายสําหรับ static

การอนุมานแบบออฟไลน์

#fundamentals

กระบวนการของโมเดลที่สร้างชุดการคาดการณ์ จากนั้นแคช (บันทึก) การคาดการณ์เหล่านั้น จากนั้นแอปจะเข้าถึงการคาดคะเนที่ต้องการจากแคชได้ แทนที่จะเรียกใช้โมเดลอีกครั้ง

ตัวอย่างเช่น ลองพิจารณาโมเดลที่สร้างพยากรณ์อากาศท้องถิ่น (การคาดการณ์) 1 ครั้งทุก 4 ชั่วโมง หลังจากที่แต่ละโมเดลทํางานแล้ว ระบบจะแคชการพยากรณ์อากาศในท้องถิ่นทั้งหมดไว้ แอปสภาพอากาศจะเรียกดู การคาดการณ์จากแคช

การอนุมานแบบออฟไลน์เรียกอีกอย่างว่าการอนุมานแบบคงที่

ขัดแย้งกับการอนุมานออนไลน์

การเข้ารหัสแบบ Hot-Hot

#fundamentals

แทนข้อมูลเชิงหมวดหมู่เป็นเวกเตอร์ที่

• องค์ประกอบหนึ่งตั้งค่าไว้ที่ 1
• องค์ประกอบอื่นๆ ทั้งหมดตั้งค่าเป็น 0

โดยทั่วไปการเข้ารหัสแบบ 1 ชั้นจะใช้เพื่อแสดงสตริงหรือตัวระบุที่มีค่าที่ตั้งไว้ได้ไม่จํากัด เช่น สมมติว่าฟีเจอร์การจัดหมวดหมู่ชื่อ Scandinavia มีค่าที่เป็นไปได้ 5 ค่า ดังนี้

• "เดนมาร์ก"
• "สวีเดน"
• "นอร์เวย์"
• "ฟินแลนด์"
• "ไอซ์แลนด์"

การเข้ารหัสแบบ 1 ร้อนอาจแทนค่าแต่ละค่า 5 ค่าดังนี้

country	เวกเตอร์
"เดนมาร์ก"	1	0	0	0	0
"สวีเดน"	0	1	0	0	0
"นอร์เวย์"	0	0	1	0	0
"ฟินแลนด์"	0	0	0	1	0
"ไอซ์แลนด์"	0	0	0	0	1

การเข้ารหัสแบบ 1 ครั้งช่วยให้โมเดลเรียนรู้การเชื่อมต่อที่แตกต่างกันไปตามแต่ละประเทศ

การแทนฟีเจอร์เป็นข้อมูลตัวเลขนั้นต่างจากการเข้ารหัสแบบ 1 ครั้งที่ได้รับความนิยม ขออภัย การเป็นตัวแทนประเทศของสแกนดิเนเวียในเชิงตัวเลขไม่ใช่ทางเลือกที่ดี เช่น ลองพิจารณาการนําเสนอตัวเลขต่อไปนี้

• "เดนมาร์ก" คือ 0
• "สวีเดน" คือ 1
• "นอร์เวย์" คือ 2
• "ฟินแลนด์" 3
• "ไอซ์แลนด์" คือ 4

การเข้ารหัสที่เป็นตัวเลขจะทําให้โมเดลตีความตัวเลขดิบได้ และจะพยายามฝึกตัวเลขเหล่านั้น อย่างไรก็ตาม ไอซ์แลนด์มีสิ่งที่เกี่ยวกับนอร์เวย์มากกว่า (หรือครึ่งหนึ่ง) มากเป็น 2 เท่า ดังนั้นโมเดลจะได้ข้อสรุปที่แปลกออกไป

1 เทียบกับทั้งหมด

#fundamentals

เมื่อพิจารณาถึงปัญหาการแยกประเภทกับคลาส N โซลูชันจึงประกอบด้วยตัวแยก N ตัวแยกประเภทไบนารี ซึ่งเป็นตัวแยกประเภทไบนารี 1 ตัวสําหรับผลลัพธ์ที่เป็นไปได้แต่ละรายการ เช่น สําหรับโมเดลที่จําแนกตัวอย่างเป็นสัตว์ ผัก หรือแร่ โซลูชันหนึ่งเทียบกับทั้งหมดจะให้ตัวระบุตัวแยกประเภทไบนารี 3 รายการต่อไปนี้

• สัตว์กับไม่ใช่สัตว์
• ผักกับไม่เป็นผัก
• แร่กับ ไม่ใช่แร่

ออนไลน์

#fundamentals

คําพ้องความหมายสําหรับไดนามิก

การอนุมานออนไลน์

#fundamentals

การสร้างการคาดการณ์ออนดีมานด์ เช่น สมมติว่าแอปส่งอินพุตไปยังโมเดลและส่งคําขอรับการคาดการณ์ ระบบที่ใช้การอนุมานทางออนไลน์จะตอบกลับคําขอด้วยการเรียกใช้โมเดล (และส่งการคาดการณ์กลับไปยังแอป)

ขัดแย้งกับการอนุมานแบบออฟไลน์

เลเยอร์เอาต์พุต

#fundamentals

&เลเยอร์&; " โครงข่ายเครือข่ายระบบประสาท เลเยอร์เอาต์พุตมีการคาดคะเน

ภาพประกอบต่อไปนี้แสดงโครงข่ายประสาทแบบลึกขนาดเล็กที่มีเลเยอร์อินพุต เลเยอร์ที่ซ่อนอยู่ 2 ชั้น และเลเยอร์เอาต์พุต

Overfitting

#fundamentals

การสร้างโมเดลที่ตรงกับข้อมูลการฝึกอย่างเคร่งครัดเพื่อให้โมเดลคาดการณ์ข้อมูลใหม่ได้อย่างถูกต้อง

การปรับให้สอดคล้องตามมาตรฐานช่วยลดการเน้นที่มากเกินไป การฝึกโดยใช้ชุดการฝึกอบรมที่มีขนาดใหญ่และหลากหลายจะช่วยลดเรื่องที่มากเกินไปได้

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

การดูแลมากเกินไปเป็นเหมือนการทําตามคําแนะนําจากครูที่คุณชื่นชอบเท่านั้น คุณอาจประสบความสําเร็จในชั้นเรียนของครูคนดังกล่าว แต่คุณอาจจะ ยกไปวางในออฟฟิศ " ต่อไอเดียของครูคนนั้นและประสบความสําเร็จในแต่ละชั้นเรียนไม่ได้ การทําตามคําแนะนําของครูทั้ง 2 แบบจะช่วยให้คุณปรับตัวเข้ากับสถานการณ์ใหม่ๆ ได้ดีขึ้น

---

P

แพนด้า

#fundamentals

API การวิเคราะห์ข้อมูลตามคอลัมน์ที่สร้างขึ้นจาก numpy เฟรมเวิร์กแมชชีนเลิร์นนิงจํานวนมาก ซึ่งรวมถึง TensorFlow รองรับโครงสร้างข้อมูลแพนด้าเป็นอินพุต ดูรายละเอียดได้ในเอกสารประกอบเกี่ยวกับแพนด้า

พารามิเตอร์

#fundamentals

น้ําหนักและความลําเอียงที่โมเดลเรียนรู้ระหว่างการฝึก เช่น ในรูปแบบการถดถอยเชิงเส้น พารามิเตอร์จะประกอบด้วยการให้น้ําหนักพิเศษ (b) และน้ําหนักทั้งหมด (w₁, w₂ และอื่นๆ) ในสูตรต่อไปนี้

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

ในทางตรงกันข้าม hyperparameter คือค่าที่คุณ (หรือบริการเปลี่ยนไฮเปอร์พารามิเตอร์) ใช้กับโมเดล เช่น อัตราการเรียนรู้คือไฮเปอร์พารามิเตอร์

คลาสเชิงบวก

#fundamentals

ชั้นเรียนที่คุณกําลังทดสอบ

เช่น คลาสเชิงบวกในรูปแบบมะเร็งอาจเป็น "tumor." คลาสเชิงบวกในเครื่องมือจําแนกอีเมลอาจเป็น "spam."

ตรงข้ามกับชั้นเรียนเชิงลบ

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

คําว่าคลาสที่เป็นบวกอาจทําให้สับสนได้ เนื่องจาก "เชิงบวก" ผลการทดสอบจํานวนมากมักเป็นผลลัพธ์ที่ไม่พึงประสงค์ ตัวอย่างเช่น คลาสเชิงบวกในการทดสอบทางการแพทย์จํานวนมากสอดคล้องกับเนื้องอกหรือโรค โดยทั่วไปแล้ว คุณอยากให้แพทย์เล่าให้ฟัง "ขอแสดงความยินดี ผลการทดสอบของคุณเป็นลบ" อย่างไรก็ตาม คลาสเชิงบวกคือเหตุการณ์ที่การทดสอบต้องการค้นหา

ใช่เลย คุณกําลังทดสอบทั้งในแง่บวกและแง่ลบไปพร้อมกัน

---

หลังการประมวลผล

#fairness

#fundamentals

การปรับเอาต์พุตของโมเดลหลังจากที่เรียกใช้โมเดลแล้ว หลังการประมวลผล คุณจะบังคับใช้ข้อจํากัดด้านความเป็นธรรมได้โดยไม่ต้องแก้ไขโมเดลด้วยตัวเอง

เช่น อาจใช้การประมวลผลหลังการประมวลผลกับตัวแยกประเภทไบนารีโดยการตั้งค่าเกณฑ์การแยกประเภทเพื่อให้ความเท่าเทียมของโอกาสได้รับการรักษาสําหรับบางแอตทริบิวต์ โดยตรวจสอบว่า อัตราผลบวกจริง มีค่าเท่ากันทั้งหมดสําหรับแอตทริบิวต์นั้น

การคาดการณ์

#fundamentals

เอาต์พุตของโมเดล เช่น

• การคาดการณ์ของโมเดลการแยกประเภทไบนารีจะเป็นคลาสเชิงบวกหรือคลาสเชิงลบก็ได้
• การคาดคะเนของโมเดลการจัดประเภทแบบหลายคลาสคือ 1 ชั้นเรียน
• การคาดการณ์ของรูปแบบการถดถอยเชิงเส้นจะเป็นตัวเลข

ป้ายกํากับพร็อกซี

#fundamentals

ข้อมูลที่ใช้ในการประมาณป้ายกํากับที่ไม่พร้อมใช้งานโดยตรงในชุดข้อมูล

ตัวอย่างเช่น สมมติว่าคุณต้องฝึกโมเดลให้คาดการณ์ระดับความเครียดของพนักงาน ชุดข้อมูลมีฟีเจอร์การคาดคะเนจํานวนมาก แต่ไม่มีป้ายกํากับชื่อระดับความเครียด ไม่เลือกด้วยตนเอง คุณจะเลือก{0}คําพูดจากอุบัติเหตุในสถานที่ทํางาน" เป็นป้ายกํากับพร็อกซีสําหรับระดับความเครียด ท้ายที่สุดแล้ว พนักงานที่มีความเครียดสูงได้รับความบังเอิญมากกว่าพนักงานที่ใจเย็น หรือไม่ อุบัติเหตุในที่ทํางานก็อาจเพิ่มขึ้นหรือลดลงอย่างมาก

ตัวอย่างที่ 2 สมมติว่าคุณต้องการให้ฝนตกเป็นป้ายกํากับบูลีนสําหรับชุดข้อมูลหรือไม่ แต่ชุดข้อมูลไม่มีข้อมูลฝนตก หากมีภาพถ่าย คุณอาจสร้างภาพร่ม เช่น รูปร่มของใบไม้ว่าฝนโปรยปราย ป้ายกํากับนี้เป็นพร็อกซีที่ดีใช่ไหม บางทีผู้คนในวัฒนธรรมบางอย่างอาจแบกร่มไว้เพื่อป้องกันไม่ให้โดนแดดมากกว่าฝน

ป้ายกํากับของพร็อกซีมักจะไม่สมบูรณ์แบบ หากเป็นไปได้ ให้เลือกป้ายกํากับจริงแทนป้ายกํากับพร็อกซี กล่าวคือ หากไม่มีป้ายกํากับจริง ให้เลือกป้ายกํากับพร็อกซีอย่างระมัดระวัง โดยเลือกป้ายกํากับพร็อกซีที่ไม่เหมาะสมน้อยที่สุด

R

ผู้ประเมิน

#fundamentals

มนุษย์ที่มีป้ายกํากับสําหรับตัวอย่าง "Annotator" เป็นอีกชื่อหนึ่งของผู้ประเมิน

หน่วยเชิงเส้นแบบคงที่ (RELU)

#fundamentals

ฟังก์ชันเปิดใช้งานซึ่งมีลักษณะการทํางานดังต่อไปนี้

• หากอินพุตเป็นลบหรือ 0 เอาต์พุตจะเป็น 0
• หากอินพุตเป็นบวก เอาต์พุตจะเท่ากับอินพุต

เช่น

• หากอินพุตเป็น -3 เอาต์พุตจะเป็น 0
• หากอินพุตเป็น +3 เอาต์พุตจะเป็น 3.0

นี่คือพล็อตของ ReLU

ReLU เป็นฟังก์ชันการเปิดใช้งานที่ได้รับความนิยมมาก แม้จะมีพฤติกรรมที่เรียบง่าย แต่ ReLU ยังคงเปิดใช้เครือข่ายระบบประสาทเพื่อเรียนรู้ความสัมพันธ์แบบเชิงเส้น ระหว่างฟีเจอร์และป้ายกํากับ

รูปแบบการเกิดปัญหาซ้ํา

#fundamentals

แบบไม่เป็นทางการ สร้างรูปแบบตัวเลขขึ้น (ในทางกลับกัน โมเดลการจัดประเภทจะสร้างการคาดการณ์คลาส) ตัวอย่างเช่น โมเดลการเกิดปัญหาซ้ําทั้งหมดมีดังต่อไปนี้

• โมเดลที่คาดคะเนค่าบ้านบางค่า เช่น 423,000 ยูโร
• โมเดลที่คาดการณ์ถึงสิ่งมีชีวิตบางอย่าง เช่น 23.2 ปี
• โมเดลที่คาดการณ์ว่าฝนจะตกในเมืองหนึ่งๆ ในช่วง 6 ชั่วโมงข้างหน้า เช่น 0.18 นิ้ว

โมเดลการเกิดปัญหาซ้ําที่พบบ่อยมี 2 ประเภท ดังนี้

• การถดถอยเชิงเส้น ซึ่งจะหาบรรทัดที่เหมาะกับค่าของป้ายกํากับมากที่สุดสําหรับฟีเจอร์
• การถดถอยแบบโลจิสติก ซึ่งจะทําให้เกิดความน่าจะเป็นระหว่าง 0.0 ถึง 1.0 ซึ่งโดยปกติแล้วระบบจะเชื่อมโยงกับการคาดการณ์คลาส

โมเดลที่แสดงตัวเลขเป็นตัวเลขบางโมเดลไม่ใช่รูปแบบการถดถอย ในบางกรณี การคาดคะเนตัวเลขเป็นเพียงโมเดลการแยกประเภทที่มีชื่อคลาสที่เป็นตัวเลขเท่านั้น ตัวอย่างเช่น โมเดลที่คาดการณ์รหัสไปรษณีย์ที่เป็นตัวเลขคือโมเดลการจัดประเภท ไม่ใช่โมเดลการเกิดปัญหาซ้ํา

Regularization

#fundamentals

กลไกที่ช่วยลดการเพิ่มประสิทธิภาพ ประเภทของการปรับตามกฎที่ได้รับความนิยมมีดังนี้

• กฎมาตรฐาน₁
• กฎมาตรฐาน₂
• การปรับตั้งค่าเป็นประจําของเมนูแบบเลื่อนลง
• การหยุดก่อนเวลา (ไม่ใช่วิธีการปรับให้เป็นมาตรฐานอย่างเป็นทางการ แต่จะจํากัดการใช้งานมากเกินไป)

นอกจากนี้ การปรับสม่ําเสมอยังถือเป็นบทลงโทษของความซับซ้อนของโมเดลได้ด้วย

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

กฎเกณฑ์จะมีความซับซ้อน โดยทั่วไปการเพิ่มแบบฝึกหัดมักจะเพิ่มการสูญเสียการฝึก ซึ่งก่อให้เกิดความสับสน เนื่องจากไม่ใช่เป้าหมายที่จะลดการสูญเสียการฝึกใช่ไหม

อันที่จริง เป้าหมายไม่ได้คือการลดการสูญเสียการฝึกอบรม เป้าหมายคือการคาดการณ์ตัวอย่างที่ดีในโลกแห่งความเป็นจริง พูดง่ายๆ ก็คือ แม้ว่าการเพิ่ม แบบฝึกหัดบ่อยๆ จะยิ่งทําให้สูญเสียการฝึกน้อยลง แต่ก็มักจะทําให้โมเดลสามารถคาดการณ์ ตัวอย่างของตัวอย่างในชีวิตจริงได้

---

อัตรามาตรฐาน

#fundamentals

ตัวเลขที่ระบุความสําคัญของการปรับให้สอดคล้องตามมาตรฐานระหว่างการฝึก การเพิ่มอัตราการปรับให้สอดคล้องตามมาตรฐานจะลดการเพิ่มประสิทธิภาพมากเกินไปแต่อาจลดศักยภาพในการคาดการณ์ของโมเดลลงได้ ในทางกลับกัน การลดหรือละเว้นอัตราการทําให้เป็นมาตรฐานจะเพิ่มปริมาณของผลลัพธ์มากเกินไป

คลิกไอคอนเพื่อดูคณิตศาสตร์

อัตราการขึ้นบรรทัดใหม่จะแสดงเป็น lambda ของชาวกรีก สมการ loss แบบง่ายต่อไปนี้แสดงอิทธิพลของ lambda'

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

การปรับให้สอดคล้องตามมาตรฐานคือกลไกที่ใช้การปรับให้เป็นมาตรฐาน ซึ่งรวมถึงสิ่งต่อไปนี้

• กฎมาตรฐาน₁
• กฎมาตรฐาน₂

---

รีเลิฟ

#fundamentals

ตัวย่อของหน่วยเชิงเส้นที่ได้รับการแปลง

เส้นโค้ง ROC (คุณสมบัติรับสัญญาณ)

#fundamentals

กราฟของอัตราผลบวกจริงเทียบกับ อัตราผลบวกลวงสําหรับเกณฑ์การจัดประเภทที่แตกต่างกันในการแยกประเภทไบนารี

รูปร่างของเส้นโค้ง ROC แสดงถึงความสามารถในการแยกประเภทไบนารี และความสามารถในการแยกคลาสที่เป็นบวกออกจากคลาสเชิงลบ สมมติว่าโมเดลการแยกประเภทไบนารีแยกคลาสเชิงลบออกจากคลาสเชิงบวกทั้งหมด

เส้นโค้ง ROC สําหรับโมเดลก่อนหน้ามีลักษณะดังต่อไปนี้

ในทางตรงกันข้าม ภาพประกอบต่อไปนี้แสดงค่าการถดถอยแบบโลจิสติกส์ดิบสําหรับโมเดลที่แย่มากซึ่งไม่สามารถแยกคลาสเชิงลบออกจากคลาสที่เป็นบวกได้เลย

เส้นโค้ง ROC สําหรับโมเดลนี้มีลักษณะดังนี้

ส่วนในโลกความเป็นจริง โมเดลการแยกประเภทไบนารีส่วนใหญ่จะแยกคลาสที่เป็นบวกและลบออกจากแต่ละระดับ แต่มักจะไม่สมบูรณ์แบบ เส้นโค้ง ROC ทั่วไปจะอยู่ระหว่าง 2 จุด ดังนี้

จุดบนเส้นโค้ง ROC ที่ใกล้กับ (0.0,1.0) ในทางทฤษฎีจะระบุเกณฑ์การจัดประเภทที่ดีที่สุด อย่างไรก็ตาม ปัญหาอื่นๆ ที่เกิดขึ้นจริงมีอิทธิพลต่อการเลือกเกณฑ์การจัดประเภทที่เหมาะสม เช่น อาจเป็นผลลบลวงซึ่งทําให้เกิดความเสียหายมากกว่าผลบวกลวง

เมตริกตัวเลขที่ชื่อ AUC จะสรุปเส้นโค้ง ROC เป็นค่าจุดลอยตัวจุดเดียว

ค่าเฉลี่ยความคลาดเคลื่อนกําลังสอง (RMSE)

#fundamentals

รากที่สองของข้อผิดพลาดกําลังสองเฉลี่ย

ส

ฟังก์ชัน sigmoid

#fundamentals

ฟังก์ชันทางคณิตศาสตร์ที่{0}สลัก ตัวอย่างเช่น ค่าที่ป้อนเป็นช่วงที่จํากัด ซึ่งมักจะเป็น 0 ถึง 1 หรือ -1 ถึง +1 กล่าวคือ คุณสามารถส่งหมายเลขใดๆ (2, ล้าน, ลบ, พันล้าน) ไปยัง sigmoid และเอาต์พุตจะอยู่ในช่วงที่จํากัด พล็อตของฟังก์ชันการเปิดใช้งาน sigmoid มีลักษณะดังต่อไปนี้

ฟังก์ชัน sigmoid มีหลายการใช้งานในแมชชีนเลิร์นนิง ได้แก่

• การแปลงเอาต์พุตของการถดถอยแบบโลจิสติก หรือการถดถอยแบบพหุนามเป็นความน่าจะเป็น
• ทําหน้าที่เป็นฟังก์ชันการเปิดใช้งานในบางโครงข่ายระบบประสาทเทียม

คลิกไอคอนเพื่อดูคณิตศาสตร์

ฟังก์ชัน sigmoid ที่อยู่เหนืออินพุต x มีสูตรต่อไปนี้

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

โดยทั่วไปแล้ว x ในแมชชีนเลิร์นนิงจะเป็นผลรวมถ่วงน้ําหนัก

---

Softmax

#fundamentals

ฟังก์ชันที่กําหนดความน่าจะเป็นสําหรับคลาสที่เป็นไปได้แต่ละรายการในโมเดลการจัดประเภทแบบหลายคลาส ความน่าจะเป็นรวมกัน ได้ 1.0 พอดี ตัวอย่างในตารางต่อไปนี้แสดงวิธีที่ Softmax เผยแพร่ความน่าจะเป็นแบบต่างๆ

รูปภาพคือ...	ความน่าจะเป็น
หมา	.85
cat	0.13
ม้า	.02

Softmax เรียกอีกอย่างว่า Softmax เต็มรูปแบบ

ตรงข้ามกับการสุ่มตัวอย่างผู้สมัคร

คลิกไอคอนเพื่อดูคณิตศาสตร์

สมการ Softmax มีดังนี้

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

ตําแหน่งใด

• $\sigma_i$ คือเวกเตอร์เอาต์พุต องค์ประกอบแต่ละอย่างของเวกเตอร์เอาต์พุต จะระบุความน่าจะเป็นขององค์ประกอบนี้ ผลรวมขององค์ประกอบทั้งหมดในเวกเตอร์เอาต์พุตคือ 1.0 เวกเตอร์เอาต์พุตจะมีจํานวนองค์ประกอบเท่ากับเวกเตอร์อินพุต $z$
• $z$ คือเวกเตอร์อินพุต เอลิเมนต์ของเวกเตอร์อินพุตแต่ละรายการจะมีค่าจุดลอยตัว
• $K$ คือจํานวนองค์ประกอบในเวกเตอร์อินพุต (และเวกเตอร์เอาต์พุต)

ตัวอย่างเช่น สมมติว่าเวกเตอร์อินพุตคือ

[1.2, 2.5, 1.8]

ดังนั้น softmax จะคํานวณตัวส่วน ดังนี้

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

ความน่าจะเป็นของ Softmax ของแต่ละองค์ประกอบคือ

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

ดังนั้น เวกเตอร์เอาต์พุตจึงได้แก่

$$\sigma = [0.154, 0.565, 0.281]$$

ผลรวมขององค์ประกอบ 3 อย่างใน $\sigma$ คือ 1.0 ในที่สุด

---

ฟีเจอร์แบบกระจัดกระจาย

#language

#fundamentals

ฟีเจอร์ที่มีค่าเป็น 0 หรือว่างเปล่าเป็นส่วนใหญ่ เช่น ฟีเจอร์ที่มีค่า 1 และค่า 0 ล้านเพียงรายการเดียวมีค่าน้อยมาก ในทางตรงกันข้าม ฟีเจอร์หนาแน่นมีค่าที่ยังไม่ได้เป็น 0 หรือว่างเปล่า

ในแมชชีนเลิร์นนิง มีจํานวนฟีเจอร์มากมายที่น่าประหลาดใจ ฟีเจอร์ตามหมวดหมู่มักจะเป็นฟีเจอร์ที่มีอยู่น้อยนิด เช่น ต้นไม้ 300 สายพันธุ์ในป่า ตัวอย่างหนึ่งอาจระบุเพียงต้นเมเปิล หรือตัวอย่างวิดีโอที่เป็นไปได้หลายล้านรายการในคลังวิดีโอ ตัวอย่างหนึ่งอาจระบุแค่ "Casablanca."

ในรูปแบบข้างต้น ปกติแล้วคุณจะแสดงฟีเจอร์ที่ไม่กระจัดกระจายด้วยการเข้ารหัสแบบใช้ครั้งเดียว หากการเข้ารหัสแบบ 1 ชั้นมีขนาดใหญ่ คุณอาจใส่เลเยอร์แบบฝังไว้ที่ด้านบนของการเข้ารหัสแบบ 1 ชั้นเพื่อให้มีประสิทธิภาพมากขึ้น

การนําเสนอแบบกระจัดกระจาย

#language

#fundamentals

การจัดเก็บเฉพาะตําแหน่งขององค์ประกอบที่ไม่ใช่ 0 ในฟีเจอร์การกระจัดกระจาย

เช่น สมมติว่าฟีเจอร์การจัดหมวดหมู่ชื่อ species ระบุต้นไม้ 36 สายพันธุ์ในป่าแห่งใดแห่งหนึ่ง สมมติว่าตัวอย่างแต่ละรายการระบุสายพันธุ์เพียงประเภทเดียว

คุณสามารถใช้เวกเตอร์แบบหัวเดียวเพื่อแสดงสายพันธุ์ต้นไม้ในแต่ละตัวอย่าง เวกเตอร์ที่ได้รับความนิยมแบบหนึ่งจะมี 1 เพียงรายการเดียว (เพื่อแสดงชนิดต้นไม้ที่เจาะจงในตัวอย่างนั้น) และ 0 จํานวน 35 ชนิด (เพื่อแสดงแทนต้นไม้ 35 ชนิดไม่ใช่ในตัวอย่างดังกล่าว) การนําเสนอแบบหนึ่งของ maple ที่อาจเป็นไปได้จะมีลักษณะดังต่อไปนี้

แต่การนําเสนอที่ไม่สมบูรณ์จะเพียงแค่ระบุตําแหน่งของสายพันธุ์เหล่านั้น หาก maple อยู่ที่อันดับ 24 การกระจัดกระจายของ maple จะเพียงแค่:

24

โปรดสังเกตว่าการนําเสนอที่กระจัดกระจายมีขนาดกะทัดรัดน้อยกว่าการนําเสนอแบบหน้าเดียว

หมายเหตุ: คุณไม่ควรส่งการนําเสนอแบบกระจัดกระจายเป็นอินพุตของฟีเจอร์โดยตรงไปยังโมเดล แต่คุณควรเปลี่ยนการนําเสนอแบบกระจัดกระจายเป็นการนําเสนอแบบ 1 ครั้ง ก่อนการฝึก

คลิกที่ไอคอนเพื่อดูตัวอย่างที่ซับซ้อนมากขึ้นเล็กน้อย

สมมติว่าแต่ละตัวอย่างในโมเดลต้องแทนคําต่างๆ แต่ไม่ใช่ลําดับของคําเหล่านั้นในประโยคภาษาอังกฤษ ภาษาอังกฤษประกอบด้วยคําประมาณ 170,000 คํา ดังนั้นภาษาอังกฤษเป็นฟีเจอร์ที่ช่วยจัดหมวดหมู่ ซึ่งมีองค์ประกอบประมาณ 170,000 องค์ประกอบ ประโยคส่วนใหญ่ในภาษาอังกฤษใช้เพียงส่วนเล็กๆ จากคําจํานวน 170,000 คํานี้ ดังนั้นชุดคําในตัวอย่างเดียวนั้นแทบจะเป็นข้อมูลที่มีอยู่น้อยนิด

พิจารณาประโยคต่อไปนี้

My dog is a great dog

คุณสามารถใช้ตัวแปรของเวกเตอร์ที่ได้รับความนิยม 1 รายการเพื่อแทนคําในประโยคนี้ ในตัวแปรนี้ หลายเซลล์ในเวกเตอร์สามารถมีค่าที่ไม่ใช่ 0 นอกจากนี้ ในตัวแปรนี้ เซลล์อาจมีจํานวนเต็มอื่นได้ด้วย แม้ว่าคําว่า "my", "is", "a" และ "great" จะปรากฏแค่ครั้งเดียวในประโยค แต่คําว่า "dog" จะปรากฏขึ้น 2 ครั้ง การใช้เวกเตอร์เวกเตอร์ฮ็อตหนึ่งที่แตกต่างกันกับคําในประโยคนี้จะให้เวกเตอร์เวกเตอร์ 170,000 องค์ประกอบต่อไปนี้

การนําเสนอแทนข้อความเดิมเพียงเล็กน้อยมีดังนี้

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

คลิกไอคอนนี้หากสับสน

คําว่า "quot;การกระจัดกระจายบางส่วน" ทําให้ผู้คนจํานวนมากสับสน เพราะการกระจัดกระจายนั้นไม่ใช่เวกเตอร์ที่กระจัดกระจาย แต่เป็นการนําเสนอแบบกระจัดกระจายอย่างแท้จริงในการนําเสนอเวกเตอร์แบบกระจัดกระจายที่มีความหนาแน่น การแสดงดัชนีคําพ้องความหมายจะชัดเจนกว่า "กระจัดกระจายตัวแทน"

---

เวกเตอร์แบบกระจัดกระจาย

#fundamentals

เวกเตอร์ที่มีค่าส่วนใหญ่เป็น 0 นอกจากนี้ โปรดดูฟีเจอร์แบบกระจายและความกระจัดกระจาย

การสูญเสียยกกําลังสอง

#fundamentals

คําพ้องความหมายสําหรับการสูญเสีย L₂

คงที่

#fundamentals

มีการทํางานเพียงครั้งเดียว ไม่ใช่การดําเนินการอย่างต่อเนื่อง คําว่าคงที่และออฟไลน์คือคําพ้องความหมาย การใช้งานแบบคงที่และออฟไลน์ที่พบบ่อยในแมชชีนเลิร์นนิงมีดังนี้

• รูปแบบคงที่ (หรือรูปแบบออฟไลน์) คือโมเดลที่ฝึกแล้ว 1 ครั้งแล้วจึงใช้ไปสักระยะหนึ่ง
• การฝึกอบรมแบบคงที่ (หรือการฝึกอบรมออฟไลน์) เป็นกระบวนการฝึกโมเดลแบบคงที่
• การอนุมานแบบคงที่ (หรือการอนุมานออฟไลน์) คือกระบวนการที่โมเดลสร้างการคาดการณ์แบบกลุ่มในแต่ละครั้ง

คอนทราสต์กับไดนามิก

อนุมานแบบคงที่

#fundamentals

คําพ้องความหมายสําหรับการอนุมานแบบออฟไลน์

เครื่องเขียน

#fundamentals

ฟีเจอร์ที่ค่าจะไม่เปลี่ยนแปลงในมิติข้อมูลอย่างน้อย 1 รายการ โดยทั่วไปจะเป็นเวลา เช่น ฟีเจอร์ที่ค่าเหมือนกันในปี 2020 และ 2022 จัดแสดงนิทรรศการ

จริงๆ แล้วมีจุดสนใจอยู่เพียงไม่กี่อย่างที่แสดงให้เห็นชัดเจน แม้แต่ฟีเจอร์คําพ้องความหมายของระบบความเสถียร (เช่น ระดับน้ําทะเล) ก็จะเปลี่ยนไปเมื่อเวลาผ่านไป

ตรงข้ามกับ nonstationarity

ไล่ระดับแบบไล่ระดับ (SGD)

#fundamentals

อัลกอริทึมทางลาดไล่ระดับสีที่ขนาดกลุ่มเป็นอัลกอริทึมเดียว พูดง่ายๆ ก็คือ SGD จะฝึกโดยใช้เพียงตัวอย่างเดียวที่เลือกให้เป็นแบบสุ่มแบบสุ่มจากชุดการฝึก

แมชชีนเลิร์นนิงที่มีการควบคุมดูแล

#fundamentals

การฝึกอบรมรุ่นจากฟีเจอร์และป้ายกํากับที่เกี่ยวข้อง แมชชีนเลิร์นนิงที่มีการควบคุมดูแลนั้นคล้ายกับการเรียนรู้ในวิชาหนึ่งด้วยการศึกษาชุดคําถามและคําตอบที่เกี่ยวข้อง หลังจากทําความเข้าใจการจับคู่ระหว่างคําถามและคําตอบแล้ว นักเรียนจะได้คําตอบสําหรับคําถามใหม่ (ที่ไม่เคยเห็นมาก่อน) ในหัวข้อเดียวกัน

เปรียบเทียบกับแมชชีนเลิร์นนิงที่ไม่มีการควบคุมดูแล

ฟีเจอร์สังเคราะห์

#fundamentals

ฟีเจอร์ไม่ได้มีอยู่ในฟีเจอร์การป้อนข้อมูล แต่รวบรวมจากฟีเจอร์อย่างน้อย 1 รายการ วิธีสร้างฟีเจอร์สังเคราะห์มีดังนี้

• การฝากฟีเจอร์ต่อเนื่องกันในช่องถัง
• การสร้างฟีเจอร์ครอส
• การคูณ (หรือหาร) ค่าฟีเจอร์ 1 ค่าด้วยค่าฟีเจอร์อื่นๆ หรือค่าอื่นๆ ตัวอย่างเช่น หาก a และ b เป็นฟีเจอร์อินพุต ตัวอย่างต่อไปนี้คือตัวอย่างฟีเจอร์สังเคราะห์:
  • ก
  • ก²
• การใช้ฟังก์ชันการจัดระดับกับค่าฟีเจอร์ ตัวอย่างเช่น หาก c เป็นฟีเจอร์อินพุต ต่อไปนี้เป็นตัวอย่างของฟีเจอร์สังเคราะห์:
  • sin(c)
  • ln(c)

ฟีเจอร์ที่สร้างขึ้นโดยการปรับให้สอดคล้องตามมาตรฐานหรือการปรับขนาดเพียงอย่างเดียวจะไม่ถือว่าเป็นฟีเจอร์สังเคราะห์

อ

การสูญเสียการทดสอบ

#fundamentals

เมตริกที่แสดงถึงการสูญเสียโมเดลเทียบกับชุดการทดสอบ เมื่อสร้างโมเดล คุณมักพยายามลดการสูญเสียการทดสอบ นั่นเป็นเพราะการสูญเสียการทดสอบต่ําเป็นสัญญาณที่มีคุณภาพสูงกว่าการสูญเสียการฝึกหรือการสูญเสียจากการตรวจสอบที่ต่ํา

บางครั้งช่องว่างระหว่างการสูญเสียการทดสอบกับการสูญเสียการฝึกอบรมหรือการสูญเสียการตรวจสอบบ่งชี้ว่าคุณต้องเพิ่มอัตราการทําให้เป็นมาตรฐาน

การฝึก

#fundamentals

ขั้นตอนการกําหนดพารามิเตอร์ (น้ําหนักและการให้น้ําหนักพิเศษ) ที่เหมาะสมนั้นประกอบด้วยรูปแบบ ในระหว่างการฝึก ระบบจะอ่านตัวอย่างและค่อยๆ ปรับพารามิเตอร์ การฝึกใช้ตัวอย่างแต่ละรายการได้ทุกที่ ตั้งแต่ 2-3 ครั้ง ไปจนถึงหลายพันล้านครั้ง

การลดลงของการฝึก

#fundamentals

เมตริกที่แสดงถึงความสูญเสียของโมเดลในระหว่างการฝึกซ้ําครั้งหนึ่ง เช่น สมมติว่าฟังก์ชันการสูญเสีย เป็นข้อผิดพลาดกําลังสองเฉลี่ย บางทีการสูญเสียการฝึก (ค่าเฉลี่ยที่ยกกําลังสอง) สําหรับการทําซ้ําครั้งที่ 10 คือ 2.2 และการสูญเสียการฝึกอบรมสําหรับการทําซ้ําครั้งที่ 100 คือ 1.9

เส้นโค้งการสูญเสียพล็อตของการฝึกที่สูญหายเทียบกับจํานวนการฝึกซ้ํา เส้นโค้งการสูญเสียจะให้คําแนะนําต่อไปนี้เกี่ยวกับการฝึกอบรม

• ความลาดชันด้านล่างชี้ว่าโมเดลมีการปรับปรุง
• ความชันที่ชันขึ้นหมายความว่าโมเดลกําลังแย่ลง
• ความลาดชันแบบโดยนัยหมายความว่าโมเดลมีความพร้อมให้บริการแล้ว

เช่น เส้นโค้งการสูญเสียที่ควรมีลักษณะดีที่สุดซึ่งแสดงให้เห็นถึงสิ่งต่อไปนี้

• การลาดชันลาดชันระหว่างการปรับปรุงครั้งแรก ซึ่งบ่งบอกถึงการปรับปรุงโมเดลอย่างรวดเร็ว
• การลาดชันแบบค่อยเป็นค่อยไป (แต่ยังคงลดลง) จนกว่าจะใกล้สิ้นสุดการฝึก หมายความว่าการปรับปรุงรูปแบบยังคงดําเนินต่อไปในระดับที่ค่อนข้างช้าหลังจากการทําซ้ําครั้งแรก
• ทางลาดชันไปยังตอนท้ายของการฝึก ซึ่งชี้ให้เห็นถึงการบรรจบกัน

แม้ว่าการสูญเสียการฝึกอบรมจะมีความสําคัญ โปรดดูหัวข้อภาพรวมเพิ่มเติมด้วย

ความคลาดเคลื่อนระหว่างการฝึกและการให้บริการ

#fundamentals

ความแตกต่างระหว่างประสิทธิภาพของโมเดลระหว่างการฝึกกับประสิทธิภาพของโมเดลเดียวกันในระหว่างการแสดงโฆษณา

ชุดการฝึก

#fundamentals

ชุดย่อยของชุดข้อมูลที่ใช้เพื่อฝึกโมเดล

โดยปกติแล้ว ตัวอย่างในชุดข้อมูลจะแบ่งออกเป็น 3 ส่วนย่อยต่อไปนี้

• ชุดการฝึก
• ชุดการตรวจสอบ
• ชุดการทดสอบ

ตามหลักการแล้ว ตัวอย่างแต่ละรายการในชุดข้อมูลควรเป็นส่วนหนึ่งของชุดย่อยก่อนหน้าเพียงชุดเดียว ตัวอย่างเช่น ตัวอย่างที่ 1 ไม่ควรเป็นของทั้งชุดการฝึกอบรมและชุดการตรวจสอบ

true เชิงลบ (TN)

#fundamentals

ตัวอย่างที่โมเดลถูกต้องคาดการณ์คลาสเชิงลบ ตัวอย่างเช่น โมเดลได้อนุมานว่าข้อความอีเมลหนึ่งๆ ไม่ใช่สแปม และข้อความอีเมลนั้นไม่ใช่สแปมอย่างแท้จริง

true true (TP)

#fundamentals

ตัวอย่างที่โมเดลถูกต้องคาดการณ์คลาสเชิงบวก ตัวอย่างเช่น โมเดลอนุมานว่า ข้อความอีเมลหนึ่งๆ เป็นจดหมายขยะ และข้อความอีเมลนั้นเป็นสแปมจริงๆ

อัตราผลบวกจริง (TPR)

#fundamentals

คําพ้องความหมายสําหรับ recall โดยการ

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

อัตราบวกจริงคือแกน Y ในเส้นโค้ง ROC

U

การสวมกางเกง

#fundamentals

การสร้างโมเดลที่มีความสามารถในการคาดการณ์ที่ไม่ดี เนื่องจากโมเดลไม่ได้บันทึกความซับซ้อนของข้อมูลการฝึกอย่างสมบูรณ์ หลายๆ ปัญหาอาจทําให้ ขาดโอกาสได้ ซึ่งได้แก่

• การฝึกชุดฟีเจอร์ที่ไม่ถูกต้อง
• การฝึกสําหรับ Epoch น้อยเกินไปหรืออัตราการเรียนรู้ต่ําเกินไป
• การฝึกที่มีอัตราการปรับให้สอดคล้องตามมาตรฐานสูงเกินไป
• การใส่เลเยอร์ที่ซ่อนอยู่น้อยเกินไปในโครงข่ายประสาทแบบลึก

ตัวอย่างที่ไม่มีป้ายกํากับ

#fundamentals

ตัวอย่างที่มีฟีเจอร์แต่ไม่มีป้ายกํากับ ตารางต่อไปนี้แสดงตัวอย่าง 3 รายการที่ไม่มีป้ายกํากับจากโมเดลการประเมินบ้าน โดยแต่ละฟีเจอร์มีฟีเจอร์ 3 รายการแต่ไม่มีค่าบ้าน

จำนวนห้องนอน	จํานวนห้องน้ํา	อายุของบ้าน
3	2	15
2	1	72
4	2	34

ในแมชชีนเลิร์นนิงที่มีการควบคุมดูแล โมเดลจะฝึกบนตัวอย่างที่มีป้ายกํากับและคาดการณ์ในตัวอย่างที่ไม่มีป้ายกํากับ

ระบบจะนําตัวอย่างที่ไม่มีป้ายกํากับมาใช้ระหว่างการฝึกในการเรียนรู้มีการควบคุมดูแลบางส่วนและ ไม่มีการควบคุมดูแล

เปรียบเทียบตัวอย่างที่ไม่มีป้ายกํากับกับตัวอย่างที่มีป้ายกํากับ

แมชชีนเลิร์นนิงที่ไม่มีการควบคุมดูแล

#clustering

#fundamentals

การฝึกโมเดลเพื่อค้นหารูปแบบในชุดข้อมูล ซึ่งโดยปกติแล้วจะเป็นชุดข้อมูลที่ไม่มีป้ายกํากับ

การใช้แมชชีนเลิร์นนิงที่ไม่มีการควบคุมดูแลโดยทั่วไปคือการจัดกลุ่มข้อมูลไปยังกลุ่มตัวอย่างที่คล้ายกัน ตัวอย่างเช่น อัลกอริทึมแมชชีนเลิร์นนิงที่ไม่มีการควบคุมดูแลจะจัดกลุ่มเพลงตามพร็อพเพอร์ตี้ต่างๆ ของเพลงได้ คลัสเตอร์ที่ได้จะกลายเป็นอินพุตสําหรับอัลกอริทึมแมชชีนเลิร์นนิงอื่นๆ (เช่น บริการแนะนําเพลง) การคลัสเตอร์อาจช่วยได้ในกรณีที่ป้ายกํากับที่มีประโยชน์ไม่มีข้อมูลน้อยมากหรือขาดหายไป ตัวอย่างเช่น ในโดเมนอย่างเช่น การป้องกันการละเมิดและการประพฤติมิชอบ คลัสเตอร์จะช่วยให้ผู้คนเข้าใจข้อมูลได้ดีขึ้น

ขัดแย้งกับแมชชีนเลิร์นนิงที่มีการควบคุมดูแล

คลิกไอคอนเพื่อดูโน้ตเพิ่มเติม

อีกตัวอย่างหนึ่งของแมชชีนเลิร์นนิงที่ไม่มีการควบคุมดูแลคือการวิเคราะห์คอมโพเนนต์หลัก (PCA) ตัวอย่างเช่น การใช้ PCA กับชุดข้อมูลที่มีเนื้อหาของรถเข็นช็อปปิ้งหลายล้านรายการอาจแสดงให้เห็นว่ารถเข็นช็อปปิ้งที่มีมะนาวมียาลดกรดบ่อยๆ

---

V

การตรวจสอบความถูกต้อง

#fundamentals

การประเมินคุณภาพของโมเดลในตอนแรก การตรวจสอบคุณภาพของการคาดการณ์กับชุดการตรวจสอบ

เนื่องจากชุดการตรวจสอบแตกต่างจากชุดการฝึก การตรวจสอบจึงช่วยป้องกันการเพิ่มประสิทธิภาพ

คุณอาจลองประเมินรูปแบบเทียบกับการตรวจสอบความถูกต้องชุดแรก ของการทดสอบ และประเมินรูปแบบเทียบกับชุดการทดสอบเป็นการทดสอบรอบที่ 2

การสูญเสียการตรวจสอบ

#fundamentals

เมตริกที่แสดงถึงการสูญเสียโมเดลในชุดการตรวจสอบในระหว่างการฝึกทําซ้ําหนึ่งๆ

นอกจากนี้ โปรดดูเส้นโค้งการปรับเปลี่ยน

ชุดการตรวจสอบความถูกต้อง

#fundamentals

ชุดย่อยของชุดข้อมูลที่ดําเนินการประเมินเบื้องต้นเทียบกับโมเดลที่ผ่านการฝึกแล้ว โดยทั่วไป คุณจะต้องประเมินโมเดลที่ฝึกโดยเทียบกับชุดการตรวจสอบหลายๆ ครั้งก่อนที่จะประเมินโมเดลเทียบกับชุดการทดสอบ

โดยปกติแล้วคุณจะแบ่งตัวอย่างในชุดข้อมูลออกเป็นชุดย่อยที่แตกต่างกัน 3 ชุดต่อไปนี้

• ชุดการฝึกอบรม
• ชุดการตรวจสอบ
• ชุดการทดสอบ

ตามหลักการแล้ว ตัวอย่างแต่ละรายการในชุดข้อมูลควรเป็นส่วนหนึ่งของชุดย่อยก่อนหน้าเพียงชุดเดียว ตัวอย่างเช่น ตัวอย่างที่ 1 ไม่ควรเป็นของทั้งชุดการฝึกอบรมและชุดการตรวจสอบ

W

น้ําหนัก

#fundamentals

ค่าที่โมเดลคูณด้วยค่าอื่น การฝึกเป็นกระบวนการระบุน้ําหนักที่เหมาะสมของโมเดล #การอนุมานคือกระบวนการใช้น้ําหนักที่เรียนรู้เหล่านั้นเพื่อคาดการณ์

คลิกไอคอนเพื่อดูตัวอย่างน้ําหนักในรูปแบบเชิงเส้น

สมมติว่ามีรูปแบบเชิงเส้นที่มี 2 ฟีเจอร์ สมมติว่าการฝึกกําหนดน้ําหนักต่อไปนี้ (และการให้น้ําหนัก:

• การให้น้ําหนักพิเศษ ข มีค่าเป็น 2.2
• น้ําหนักเท่ากับ w₁ ที่เชื่อมโยงกับฟีเจอร์หนึ่งคือ 1.5
• น้ําหนักเท่ากับ w₂ ที่เชื่อมโยงกับฟีเจอร์อื่นๆ คือ 0.4

ทีนี้สมมติว่ามีตัวอย่างที่มีค่าฟีเจอร์ต่อไปนี้

• ค่าของฟีเจอร์ x₁ คือ 6
• ค่าของอีกฟีเจอร์หนึ่งคือ x₂ คือ 10

รูปแบบเชิงเส้นนี้ใช้สูตรต่อไปนี้เพื่อสร้างการคาดการณ์ เช่น y'

$$y' = b + w_1x_1 + w_2x_2$$

ดังนั้น การคาดการณ์จะเป็นดังนี้

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

หากน้ําหนักเป็น 0 แสดงว่าฟีเจอร์ที่เกี่ยวข้องไม่ได้มีส่วนทําให้เกิดโมเดลนี้ เช่น หาก w₁ คือ 0 ค่าของ x₁ จะไม่เกี่ยวข้อง

---

ผลรวมที่ถ่วงน้ําหนัก

#fundamentals

ผลรวมของค่าอินพุตที่เกี่ยวข้องทั้งหมดคูณด้วยน้ําหนักที่เกี่ยวข้อง ตัวอย่างเช่น สมมติว่าอินพุตที่เกี่ยวข้องประกอบด้วยข้อมูลต่อไปนี้

ค่าอินพุต	น้ําหนักของอินพุต
2	-1.3
-1	0.6
3	0.4

ดังนั้น ผลรวมถ่วงน้ําหนักจะเป็นดังนี้

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

ผลรวมที่ถ่วงน้ําหนักคืออาร์กิวเมนต์อินพุตของฟังก์ชันการเปิดใช้งาน

Z

การปรับค่ามาตรฐานแบบ Z-score

#fundamentals

เทคนิคการปรับขนาดซึ่งแทนที่ค่าฟีเจอร์ดิบด้วยค่าจุดลอยตัวที่แสดงถึงจํานวนส่วนเบี่ยงเบนมาตรฐานจากฟีเจอร์ดังกล่าว เช่น ลองนึกถึงฟีเจอร์หนึ่งที่มีค่าเฉลี่ยเท่ากับ 800 และมีค่าเบี่ยงเบนมาตรฐานเป็น 100 ตารางต่อไปนี้แสดงการปรับค่ามาตรฐาน Z-score จะจับคู่ค่าดิบกับคะแนน Z

ค่าดิบ	ฮ
800	0
950	+1.5
575	-2.25

จากนั้นโมเดลแมชชีนเลิร์นนิงจะฝึกคะแนน Z สําหรับฟีเจอร์ดังกล่าวแทนค่าดิบ