อภิธานศัพท์ของแมชชีนเลิร์นนิง: โมเดลลำดับ

หน้านี้มีคำศัพท์ในอภิธานศัพท์ของโมเดลลำดับ หากต้องการดูคำศัพท์ในอภิธานศัพท์ทั้งหมด คลิกที่นี่

B

Bigram

#seq

#language

N-gram ซึ่งมี N=2

จ.

ปัญหาการไล่ระดับสีแบบระเบิด

#seq

แนวโน้มของการไล่ระดับสีในโครงข่ายประสาทระดับลึก (โดยเฉพาะโครงข่ายประสาทแบบเกิดซ้ำ) สูงชันขึ้นอย่างไม่น่าเชื่อ (สูง) การไล่ระดับสีที่ชันมักทำให้เกิดการอัปเดตน้ำหนักของโหนดแต่ละรายการในโครงข่ายประสาทระดับลึก

โมเดลที่ได้รับผลกระทบจากปัญหาการไล่ระดับสีที่ระเบิดจะฝึกได้ยากหรือไม่ได้เลย การคลิปการไล่ระดับสี จะช่วยลดปัญหานี้ได้

เปรียบเทียบกับปัญหาการไล่ระดับสีที่หายไป

F

เลิกจำประตู

#seq

ส่วนของเซลล์หน่วยความจำระยะสั้นที่ควบคุมการรับส่งข้อมูลผ่านเซลล์ การลืมเกตจะคงบริบทไว้ด้วยการตัดสินใจว่าจะละทิ้งข้อมูลใดจากสถานะเซลล์

G

การตัดแบบไล่ระดับสี

#seq

กลไกที่ใช้กันโดยทั่วไปเพื่อลดปัญหาการไล่ระดับสีแบบระเบิดโดยการจำกัด (การตัด) ค่าสูงสุดของการไล่ระดับสีโดยใช้วิธีการไล่ระดับสีลงเพื่อฝึกโมเดล

L

หน่วยความจำระยะสั้น (LSTM)

#seq

เซลล์ประเภทหนึ่งในโครงข่ายประสาทแบบเกิดซ้ำซึ่งใช้ในการประมวลผลลำดับของข้อมูลในแอปพลิเคชัน เช่น การจดจำลายมือ การแปลด้วยคอมพิวเตอร์ และคำบรรยายรูปภาพ LSTM จะจัดการกับปัญหาการไล่ระดับสีที่หายไปเมื่อฝึก RNN เนื่องจากลำดับข้อมูลยาวๆ โดยการเก็บประวัติไว้ในสถานะหน่วยความจำภายในตามอินพุตและบริบทใหม่จากเซลล์ก่อนหน้าใน RNN

แบบ LSTM

#seq

ตัวย่อของความจำระยะสั้น

N

N-แกรม

#seq

#language

ลำดับคำตามลำดับ N คำ ตัวอย่างเช่น บ้าจริงๆ คือ 2 กรัม ลำดับมีความเกี่ยวข้อง อย่างบ้าคลั่ง จึงไม่ต่างจาก 2 กรัมบ้าสุดๆ

N	ชื่อสำหรับ N-gram ประเภทนี้	ตัวอย่าง
2	Bigram หรือ 2 กรัม	จะไป ไป กินข้าวเที่ยง กินข้าวเย็น
3	Trigram หรือ 3-gram	กินมากเกินไป หนูตาบอด 3 ตัว และค่าผ่านทาง
4	4 กรัม	เดินในสวนสาธารณะ ฝุ่นปลิวไปตามสายลม เด็กชายกินถั่วเลนทิล

โมเดลการทำความเข้าใจภาษาที่เป็นธรรมชาติหลายโมเดลจะอาศัย N-gram เพื่อคาดเดาคำถัดไปที่ผู้ใช้จะพิมพ์หรือพูด ตัวอย่างเช่น สมมติว่าผู้ใช้พิมพ์ตาบอด 3 อัน โมเดล NLU ที่อิงตาม Trigrams น่าจะคาดการณ์ว่าผู้ใช้จะพิมพ์ เมาส์ เป็นลำดับถัดไป

คอนทราสต์ N กรัมกับถุงคำ ซึ่งเป็นชุดคำที่ไม่เรียงลำดับ

R

โครงข่ายระบบประสาทเทียมแบบเกิดซ้ำ

#seq

โครงข่ายระบบประสาทเทียมที่จะเรียกใช้หลายครั้งโดยเจตนา โดยที่แต่ละส่วนจะเรียกใช้ฟีดในการเรียกใช้ครั้งถัดไป กล่าวอย่างเจาะจงคือ เลเยอร์ที่ซ่อนจากการเรียกใช้ก่อนหน้าเป็นการระบุส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนเดียวกันนี้ในการเรียกใช้ครั้งถัดไป โครงข่ายประสาทแบบเกิดซ้ำมีประโยชน์มากในการประเมินลำดับ เพื่อให้เลเยอร์ที่ซ่อนอยู่เรียนรู้จากการเรียกใช้เครือข่ายประสาทเทียมก่อนหน้านี้ในส่วนก่อนหน้าของลำดับ

ตัวอย่างเช่น ภาพต่อไปนี้แสดงเครือข่ายประสาทเทียมที่ทำงาน 4 ครั้ง โปรดสังเกตว่าค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนอยู่จากการเรียกใช้ครั้งแรกกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันในการเรียกใช้ครั้งที่ 2 ในทำนองเดียวกัน ค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนอยู่ในการเรียกใช้ครั้งที่ 2 จะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันในการเรียกใช้ครั้งที่ 3 ด้วยวิธีนี้ โครงข่ายประสาทแบบเกิดซ้ำจะค่อยๆ ฝึกฝนและคาดการณ์ความหมายของลำดับทั้งหมด แทนที่จะจำกัดเพียงความหมายของคำแต่ละคำ

RNN

#seq

ตัวย่อของโครงข่ายประสาทแบบเกิดซ้ำ

S

รูปแบบลำดับ

#seq

โมเดลที่มีอินพุตมีการขึ้นต่อกันตามลำดับ เช่น การคาดการณ์วิดีโอถัดไปที่รับชมจากลำดับของวิดีโอที่ดูก่อนหน้านี้

T

Timestep

#seq

เซลล์ "ที่ไม่ได้ม้วน" 1 เซลล์ภายในโครงข่ายระบบประสาทเทียมแบบเกิดซ้ำ ตัวอย่างเช่น ภาพต่อไปนี้แสดงขั้นเวลา 3 ขั้น (ติดป้ายกำกับด้วยตัวห้อย t-1, t และ t+1)

Trigram

#seq

#language

N-gram ซึ่งมี N=3

V

ปัญหาการไล่ระดับสีที่หายไป

#seq

แนวโน้มของการไล่ระดับสีของเลเยอร์ที่ซ่อนอยู่ช่วงแรกของโครงข่ายประสาทแบบลึกบางส่วนจะกลายเป็นแบนอย่างไม่น่าเชื่อ (ต่ำ) การไล่ระดับสีที่ต่ำมากขึ้นเรื่อยๆ ส่งผลให้น้ำหนักของโหนดในโครงข่ายประสาทแบบลึกเปลี่ยนแปลงน้อยลงเรื่อยๆ ซึ่งส่งผลให้มีการเรียนรู้น้อยหรือไม่เรียนรู้เลย โมเดลที่ประสบปัญหาการไล่ระดับสีที่หายไปจะทำได้ยากหรือจะไม่สามารถฝึกได้ เซลล์หน่วยความจำระยะสั้นจะช่วยแก้ปัญหานี้

เปรียบเทียบกับปัญหาการไล่ระดับสีแบบระเบิด