อภิธานศัพท์เกี่ยวกับแมชชีนเลิร์นนิง: โมเดลลําดับ

หน้านี้มีคําในอภิธานศัพท์เกี่ยวกับรูปแบบลําดับ สําหรับอภิธานศัพท์ทั้งหมด คลิกที่นี่

ข

Bigram

#seq

#language

N-gram ที่ N=2

จ.

ปัญหาการไล่ระดับสีแบบระเบิด

#seq

แนวโน้มที่การไล่ระดับสีในโครงข่ายประสาทแบบลึก (โดยเฉพาะโครงข่ายประสาทแบบเกิดซ้ํา) จะสูงขึ้นอย่างสูงจนคาดไม่ถึง (สูง) การไล่ระดับสีแบบสูงชันมักอัปเดตน้ําหนักของแต่ละโหนดที่มีขนาดใหญ่มากในโครงข่ายประสาทส่วนลึก

โมเดลที่ได้รับผลกระทบจากปัญหาการระเบิดที่พุ่งสูงขึ้นจะยากหรือฝึกไม่ได้ การตัดคลิปไล่ระดับสี ช่วยลดปัญหานี้

เปรียบเทียบกับปัญหาการไล่ระดับสีที่สูญหาย

ศ

ลืมประตู

#seq

ส่วนของเซลล์หน่วยความจําระยะสั้นแบบยาวที่ควบคุมการไหลของข้อมูลผ่านเซลล์ ไม่ลืมประตูที่เข้าประตูเองเพื่อรักษาบริบทโดยเลือกว่าจะทิ้งข้อมูลใดออกจากสถานะเซลล์

G

การตัดการไล่ระดับสี

#seq

กลไกที่ใช้กันทั่วไปเพื่อลดปัญหาการไล่ระดับสีระเบิดโดยการจํากัด (การตัดคลิป) ค่าสูงสุดของการไล่ระดับสีเมื่อใช้ลงทางลาดเพื่อฝึกโมเดล

L

หน่วยความจําระยะสั้น (LSTM)

#seq

เซลล์ประเภทหนึ่งในโครงข่ายประสาทแบบเกิดซ้ําที่ใช้ในการประมวลผลลําดับของข้อมูลในแอปพลิเคชัน เช่น การจดจําลายมือ การแปลด้วยคอมพิวเตอร์ และคําอธิบายภาพ LSTM จะจัดการปัญหาการไล่ระดับสีที่สูญหายซึ่งเกิดขึ้นเมื่อฝึก RNN ด้วยลําดับข้อมูลที่ยาว โดยเก็บรักษาประวัติในสถานะหน่วยความจําภายในตามอินพุตและบริบทใหม่จากเซลล์ก่อนหน้าใน RNN

LSTM

#seq

ตัวย่อของหน่วยความจําระยะสั้นระยะยาว

ไม่ใช่

N-gram

#seq

#language

ลําดับของคําตามลําดับ N เช่น โกรธมากคือ 2 กรัม เนื่องจากลําดับมีความเกี่ยวข้องกันอย่างมากจริงๆ เป็น 2 กรัมที่แตกต่างจากโกรธสุดๆ

ไม่ใช่	ชื่อสําหรับ N-gram ประเภทนี้	ตัวอย่าง
2	Bigram หรือ 2 กรัม	จะไป ไปกินข้าวเที่ยง กินข้าวเย็น
3	รูปสามเหลี่ยมหรือ 3 กรัม	มีเมาส์ตาบอด 3 ตัวมากเกินไป ไม่มีที่เก็บค่าผ่านทาง
4	4 กรัม	เดินในสวน ฝุ่นละอองในลม เด็กชายรับประทานถั่วเลนทิล

โมเดลการทําความเข้าใจภาษาธรรมชาติจํานวนมากจะใช้ N-grams เพื่อคาดคะเนคําถัดไปที่ผู้ใช้จะพิมพ์หรือพูด เช่น สมมติว่าผู้ใช้พิมพ์ม่าน 3 ใบ โมเดล NLU ที่ยึดตามรูปสามเหลี่ยมมีแนวโน้มที่จะคาดการณ์ได้ว่าผู้ใช้จะพิมพ์เมาส์ในครั้งถัดไป

คอนทราสต์ N-grams กับ bag of words ซึ่งก็คือชุดคําที่ไม่เรียงลําดับ

R

เครือข่ายระบบประสาทแบบเกิดซ้ํา

#seq

โครงข่ายระบบประสาทที่ทํางานโดยเจตนาหลายครั้ง โดยที่บางส่วนของฟีดที่ทํางานอยู่แต่ละฟีดจะทํางานครั้งถัดไป โดยเฉพาะอย่างยิ่ง เลเยอร์ที่ซ่อนไว้จากการเรียกใช้ก่อนหน้าจะมีอินพุตบางส่วนในเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้ครั้งถัดไป โครงข่ายประสาทแบบเกิดซ้ํามีประโยชน์อย่างยิ่งสําหรับการประเมินลําดับ เพื่อให้เลเยอร์ที่ซ่อนอยู่เรียนรู้จากการเรียกใช้โครงข่ายประสาทก่อนหน้านี้ในตอนต้นของลําดับได้

เช่น รูปต่อไปนี้แสดงโครงข่ายระบบประสาทเทียมที่เกิดซ้ํา 4 ครั้ง โปรดสังเกตว่าค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนไว้จากการเรียกใช้ครั้งแรกจะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้ครั้งที่ 2 ในทํานองเดียวกัน ค่าที่เรียนรู้ในเลเยอร์ที่ซ่อนอยู่ในการเรียกใช้ครั้งที่ 2 จะกลายเป็นส่วนหนึ่งของอินพุตไปยังเลเยอร์ที่ซ่อนอยู่เดียวกันนี้ในการเรียกใช้งานครั้งที่ 3 ด้วยวิธีนี้ โครงข่ายประสาทที่เกิดขึ้นซ้ําๆ จะค่อยๆ ฝึกและคาดการณ์ความหมายของลําดับทั้งหมด ไม่ใช่เฉพาะความหมายของคําแต่ละคํา

RNN

#seq

ตัวย่อของโครงข่ายประสาทแบบเกิดซ้ํา

ส

รูปแบบลําดับ

#seq

โมเดลที่มีอินพุตมีการขึ้นต่อกันตามลําดับ เช่น การคาดคะเนวิดีโอถัดไปที่ดูจากลําดับวิดีโอที่ดูก่อนหน้า

อ

ขั้นเวลา

#seq

เซลล์ "unroll&" ภายในโครงข่ายระบบประสาทเทียมที่เกิดซ้ํา เช่น รูปต่อไปนี้แสดงขั้นตอน 3 ขั้นตอน (เขียนด้วยตัวห้อย t-1, t และ t+1)

ไทรแกรม

#seq

#language

N-gram ที่ N=3

V

ปัญหาการไล่ระดับสีหายไป

#seq

แนวโน้มที่การไล่ระดับสีของเลเยอร์ที่ซ่อนอยู่ในช่วงต้นของโครงข่ายประสาทส่วนลึกบางส่วนจะคงที่จนน่าแปลกใจ (ต่ํา) การไล่ระดับสีที่ลดลงเรื่อยๆ ทําให้น้ําหนักต่อโหนดในเครือข่ายประสาทเทียมที่ลึกขึ้นลดลงเล็กน้อย ส่งผลให้เกิดการเรียนรู้เพียงเล็กน้อยหรือไม่มีเลย โมเดลที่ต้องเผชิญกับปัญหาการไล่ระดับสีที่ไม่เท่ากัน นั้นฝึกได้ยากหรือฝึกไม่ได้ เซลล์หน่วยความจําระยะสั้นแบบยาวจะแก้ไขปัญหานี้ได้

เปรียบเทียบกับปัญหาการระเบิดที่เพิ่มขึ้น