واژه نامه یادگیری ماشین، واژه نامه یادگیری ماشین

این واژه نامه، اصطلاحات کلی یادگیری ماشین، به اضافه اصطلاحات خاص TensorFlow را تعریف می کند.

الف

فرسایش

تکنیکی برای ارزیابی اهمیت یک ویژگی یا جزء با حذف موقت آن از یک مدل . سپس مدل را بدون آن ویژگی یا مؤلفه مجدداً آموزش می دهید، و اگر مدل بازآموزی شده به طور قابل توجهی بدتر عمل می کند، احتمالاً ویژگی یا مؤلفه حذف شده مهم است.

به عنوان مثال، فرض کنید یک مدل طبقه بندی را بر روی 10 ویژگی آموزش می دهید و به دقت 88 درصد در مجموعه آزمایشی دست می یابید. برای بررسی اهمیت ویژگی اول، می توانید مدل را تنها با استفاده از 9 ویژگی دیگر دوباره آموزش دهید. اگر مدل بازآموزی شده به طور قابل توجهی بدتر عمل کند (به عنوان مثال، دقت 55 درصد)، احتمالاً ویژگی حذف شده مهم است. برعکس، اگر مدل بازآموزی شده به همان اندازه خوب عمل کند، احتمالاً آن ویژگی چندان مهم نبوده است.

فرسایش همچنین می تواند به تعیین اهمیت موارد زیر کمک کند:

  • اجزای بزرگتر، مانند کل زیرسیستم یک سیستم ML بزرگتر
  • فرآیندها یا تکنیک ها، مانند مرحله پیش پردازش داده ها

در هر دو مورد، مشاهده خواهید کرد که چگونه عملکرد سیستم پس از حذف مؤلفه تغییر می کند (یا تغییر نمی کند).

تست A/B

روشی آماری برای مقایسه دو (یا بیشتر) تکنیک - A و B. به طور معمول، A یک تکنیک موجود است و B یک تکنیک جدید است. تست A/B نه تنها تعیین می‌کند که کدام تکنیک بهتر عمل می‌کند، بلکه مشخص می‌کند که آیا تفاوت از نظر آماری معنی‌دار است یا خیر.

تست A/B معمولاً یک معیار واحد را در دو تکنیک مقایسه می‌کند. به عنوان مثال، چگونه دقت مدل برای دو تکنیک مقایسه می شود؟ با این حال، آزمایش A/B می‌تواند هر تعداد محدودی از معیارها را با هم مقایسه کند.

تراشه شتاب دهنده

‎#GoogleCloud

دسته ای از اجزای سخت افزاری تخصصی که برای انجام محاسبات کلیدی مورد نیاز برای الگوریتم های یادگیری عمیق طراحی شده اند.

تراشه های شتاب دهنده (یا فقط شتاب دهنده ها ، به طور خلاصه) می توانند سرعت و کارایی وظایف آموزش و استنتاج را در مقایسه با یک CPU همه منظوره به میزان قابل توجهی افزایش دهند. آنها برای آموزش شبکه های عصبی و کارهای مشابه محاسباتی بسیار ایده آل هستند.

نمونه هایی از تراشه های شتاب دهنده عبارتند از:

  • واحدهای پردازش تنسور Google ( TPU ) با سخت افزار اختصاصی برای یادگیری عمیق.
  • پردازنده‌های گرافیکی NVIDIA که اگرچه در ابتدا برای پردازش گرافیکی طراحی شده‌اند، برای فعال کردن پردازش موازی طراحی شده‌اند که می‌تواند سرعت پردازش را به میزان قابل توجهی افزایش دهد.

دقت

#مبانی

تعداد پیش‌بینی‌های طبقه‌بندی صحیح تقسیم بر تعداد کل پیش‌بینی‌ها. یعنی:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

به عنوان مثال، مدلی که 40 پیش‌بینی درست و 10 پیش‌بینی نادرست داشته باشد، دقتی برابر با:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

طبقه بندی باینری نام های خاصی را برای دسته های مختلف پیش بینی های صحیح و پیش بینی های نادرست ارائه می دهد. بنابراین، فرمول دقت برای طبقه بندی باینری به شرح زیر است:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

کجا:

مقایسه و مقایسه دقت با دقت و یادآوری .

برای اطلاعات بیشتر به طبقه بندی: دقت، یادآوری، دقت و معیارهای مرتبط در دوره تصادف یادگیری ماشین مراجعه کنید.

اقدام

#rl

در یادگیری تقویتی ، مکانیزمی است که توسط آن عامل بین حالات محیط تغییر می کند. عامل با استفاده از یک خط مشی اقدام را انتخاب می کند.

عملکرد فعال سازی

#مبانی

تابعی که شبکه های عصبی را قادر می سازد تا روابط غیرخطی (پیچیده) بین ویژگی ها و برچسب را بیاموزند.

توابع فعال سازی محبوب عبارتند از:

نمودار توابع فعال سازی هرگز خطوط مستقیم منفرد نیستند. به عنوان مثال، نمودار تابع فعال سازی ReLU از دو خط مستقیم تشکیل شده است:

طرح دکارتی از دو خط. خط اول دارای یک مقدار ثابت y برابر با 0 است که در امتداد محور x از -infinity,0 تا 0,-0 قرار دارد.           خط دوم از 0.0 شروع می شود. این خط دارای شیب 1+ است، بنابراین از 0،0 تا + بی نهایت، + بی نهایت است.

نمودار تابع فعال سازی سیگموئید به صورت زیر است:

یک نمودار منحنی دو بعدی با مقادیر x که دامنه -بی نهایت تا + مثبت را در بر می گیرد، در حالی که مقادیر y محدوده تقریباً 0 تا تقریبا 1 را در بر می گیرد. وقتی x 0 باشد، y 0.5 است. شیب منحنی همیشه مثبت است، با بیشترین شیب 0.5 و به تدریج با افزایش مقدار مطلق x شیب ها کاهش می یابد.

برای اطلاعات بیشتر ، شبکه‌های عصبی: توابع فعال‌سازی را در دوره آموزشی تصادفی یادگیری ماشین ببینید.

یادگیری فعال

یک رویکرد آموزشی که در آن الگوریتم برخی از داده هایی را که از آنها می آموزد انتخاب می کند . یادگیری فعال به ویژه زمانی ارزشمند است که نمونه‌های برچسب‌گذاری شده کمیاب یا گران هستند. به جای جستجوی کورکورانه طیف متنوعی از مثال‌های برچسب‌گذاری شده، یک الگوریتم یادگیری فعال به طور انتخابی به دنبال طیف خاصی از مثال‌هایی است که برای یادگیری نیاز دارد.

آداگراد

یک الگوریتم نزولی شیب پیچیده که گرادیان های هر پارامتر را مجدداً مقیاس می دهد و به طور مؤثر به هر پارامتر یک نرخ یادگیری مستقل می دهد. برای توضیح کامل، این مقاله آداگراد را ببینید.

عامل

#rl

در یادگیری تقویتی ، نهادی که از سیاستی برای به حداکثر رساندن بازده مورد انتظار حاصل از انتقال بین حالت های محیط استفاده می کند.

به طور کلی تر، یک عامل نرم افزاری است که به طور مستقل مجموعه ای از اقدامات را در تعقیب یک هدف، با توانایی سازگاری با تغییرات محیط خود، برنامه ریزی و اجرا می کند. به عنوان مثال، یک عامل مبتنی بر LLM ممکن است به جای اعمال سیاست یادگیری تقویتی، از LLM برای تولید یک طرح استفاده کند.

خوشه بندی تجمعی

#خوشه بندی

به خوشه بندی سلسله مراتبی مراجعه کنید.

تشخیص ناهنجاری

فرآیند شناسایی نقاط پرت . به عنوان مثال، اگر میانگین برای یک ویژگی خاص 100 با انحراف استاندارد 10 باشد، تشخیص ناهنجاری باید مقدار 200 را به عنوان مشکوک علامت گذاری کند.

AR

مخفف واقعیت افزوده .

ناحیه زیر منحنی PR

به PR AUC (منطقه زیر منحنی PR) مراجعه کنید.

ناحیه زیر منحنی ROC

AUC (مساحت زیر منحنی ROC) را ببینید.

هوش عمومی مصنوعی

مکانیزمی غیر انسانی که طیف وسیعی از حل مسئله، خلاقیت و سازگاری را نشان می دهد. به عنوان مثال، برنامه ای که هوش عمومی مصنوعی را نشان می دهد می تواند متن را ترجمه کند، سمفونی بسازد و در بازی هایی که هنوز اختراع نشده اند برتری یابد.

هوش مصنوعی

#مبانی

یک برنامه یا مدل غیر انسانی که می تواند کارهای پیچیده را حل کند. برای مثال، برنامه یا مدلی که متن را ترجمه می کند یا برنامه یا مدلی که بیماری ها را از تصاویر رادیولوژیک شناسایی می کند، هر دو هوش مصنوعی را نشان می دهند.

به طور رسمی، یادگیری ماشین زیر شاخه هوش مصنوعی است. با این حال، در سال‌های اخیر، برخی از سازمان‌ها شروع به استفاده از اصطلاحات هوش مصنوعی و یادگیری ماشینی کرده‌اند.

توجه

#زبان

مکانیزمی که در شبکه عصبی استفاده می شود و اهمیت یک کلمه یا بخشی از یک کلمه را نشان می دهد. توجه، مقدار اطلاعاتی را که یک مدل برای پیش‌بینی رمز/کلمه بعدی نیاز دارد، فشرده می‌کند. یک مکانیسم توجه معمولی ممکن است شامل یک جمع وزنی بر روی مجموعه‌ای از ورودی‌ها باشد، جایی که وزن هر ورودی توسط بخش دیگری از شبکه عصبی محاسبه می‌شود.

رجوع به خود توجهی و خودتوجهی چند سر نیز شود که اجزای سازنده ترانسفورماتورها هستند.

به LLMs مراجعه کنید: مدل زبان بزرگ چیست؟ برای اطلاعات بیشتر در مورد توجه به خود، در دوره تصادف یادگیری ماشینی.

ویژگی

#انصاف

مترادف برای ویژگی .

در عدالت یادگیری ماشینی، ویژگی ها اغلب به ویژگی های مربوط به افراد اشاره می کنند.

نمونه گیری ویژگی

#df

تاکتیکی برای آموزش یک جنگل تصمیم که در آن هر درخت تصمیم تنها یک زیرمجموعه تصادفی از ویژگی های ممکن را در هنگام یادگیری شرایط در نظر می گیرد. به طور کلی، زیر مجموعه متفاوتی از ویژگی ها برای هر گره نمونه برداری می شود. در مقابل، هنگام آموزش یک درخت تصمیم بدون نمونه گیری ویژگی، تمام ویژگی های ممکن برای هر گره در نظر گرفته می شود.

AUC (مساحت زیر منحنی ROC)

#مبانی

عددی بین 0.0 و 1.0 نشان دهنده توانایی یک مدل طبقه بندی باینری برای جداسازی کلاس های مثبت از کلاس های منفی است. هر چه AUC به 1.0 نزدیکتر باشد، مدل توانایی بهتری برای جداسازی کلاس ها از یکدیگر دارد.

برای مثال، تصویر زیر یک مدل طبقه‌بندی کننده را نشان می‌دهد که کلاس‌های مثبت (بیضی سبز) را از کلاس‌های منفی (مستطیل‌های بنفش) کاملاً جدا می‌کند. این مدل غیرواقعی کامل دارای AUC 1.0 است:

یک خط اعداد با 8 مثال مثبت در یک طرف و 9 مثال منفی در طرف دیگر.

برعکس، تصویر زیر نتایج یک مدل طبقه‌بندی کننده را نشان می‌دهد که نتایج تصادفی ایجاد می‌کند. این مدل دارای AUC 0.5 است:

یک خط اعداد با 6 مثال مثبت و 6 مثال منفی.           دنباله مثال ها مثبت، منفی، مثبت، منفی، مثبت، منفی، مثبت، منفی، مثبت، مثبت، منفی است.

بله، مدل قبلی دارای AUC 0.5 است، نه 0.0.

اکثر مدل ها جایی بین دو حالت افراطی هستند. به عنوان مثال، مدل زیر موارد مثبت را تا حدودی از منفی جدا می کند و بنابراین دارای AUC بین 0.5 و 1.0 است:

یک خط اعداد با 6 مثال مثبت و 6 مثال منفی.           دنباله مثال ها منفی، منفی، منفی، منفی، مثبت، منفی، مثبت، مثبت، منفی، مثبت، مثبت، مثبت است.

AUC هر مقداری را که برای آستانه طبقه بندی تنظیم کرده اید نادیده می گیرد. در عوض، AUC تمام آستانه های طبقه بندی ممکن را در نظر می گیرد.

برای اطلاعات بیشتر به طبقه بندی: ROC و AUC در دوره تصادف یادگیری ماشینی مراجعه کنید.

واقعیت افزوده

#تصویر

فناوری ای که یک تصویر تولید شده توسط کامپیوتر را بر روی دید کاربر از دنیای واقعی قرار می دهد و بنابراین یک نمای ترکیبی ارائه می دهد.

رمزگذار خودکار

#زبان
#تصویر

سیستمی که یاد می گیرد مهم ترین اطلاعات را از ورودی استخراج کند. رمزگذارهای خودکار ترکیبی از رمزگذار و رمزگشا هستند. رمزگذارهای خودکار بر فرآیند دو مرحله ای زیر متکی هستند:

  1. رمزگذار ورودی را به یک قالب (معمولا) با ابعاد پایین تر (متوسط) ترسیم می کند.
  2. رمزگشا با نگاشت قالب با ابعاد پایین تر به فرمت ورودی با ابعاد بالاتر، یک نسخه با اتلاف از ورودی اصلی ایجاد می کند.

رمزگذارهای خودکار با تلاش رمزگشا برای بازسازی ورودی اصلی از فرمت میانی رمزگذار تا حد امکان به صورت سرتاسر آموزش داده می شوند. از آنجایی که فرمت میانی کوچکتر (بُعد پایین) از فرمت اصلی است، رمزگذار خودکار مجبور است اطلاعاتی را که در ورودی ضروری است، بیاموزد و خروجی کاملاً با ورودی یکسان نخواهد بود.

به عنوان مثال:

  • اگر داده های ورودی گرافیکی باشد، کپی غیر دقیق شبیه به گرافیک اصلی است، اما تا حدودی تغییر یافته است. شاید کپی غیر دقیق، نویز را از گرافیک اصلی حذف می کند یا برخی از پیکسل های از دست رفته را پر می کند.
  • اگر داده ورودی متن باشد، یک رمزگذار خودکار متن جدیدی تولید می کند که متن اصلی را تقلید می کند (اما مشابه نیست).

رمزگذارهای خودکار متغیر را نیز ببینید.

تعصب اتوماسیون

#انصاف

هنگامی که یک تصمیم گیرنده انسانی توصیه های ارائه شده توسط یک سیستم تصمیم گیری خودکار را بر اطلاعاتی که بدون اتوماسیون انجام می شود ترجیح می دهد، حتی زمانی که سیستم تصمیم گیری خودکار خطا می کند.

برای اطلاعات بیشتر به Fairness: Types of Bias in Machine Learning Crash Course مراجعه کنید.

AutoML

هر فرآیند خودکار برای ساخت مدل های یادگیری ماشینی . AutoML می تواند به طور خودکار کارهایی مانند موارد زیر را انجام دهد:

AutoML برای دانشمندان داده مفید است زیرا می تواند در زمان و تلاش آنها در توسعه خطوط لوله یادگیری ماشین صرفه جویی کند و دقت پیش بینی را بهبود بخشد. همچنین برای افراد غیرمتخصص مفید است، زیرا وظایف پیچیده یادگیری ماشینی را برای آنها در دسترس تر می کند.

برای اطلاعات بیشتر ، آموزش ماشین خودکار (AutoML) را در دوره تصادف یادگیری ماشین ببینید.

مدل خود رگرسیون

#زبان
#تصویر
#تولید هوش مصنوعی

مدلی که پیش بینی را بر اساس پیش بینی های قبلی خود استنباط می کند. برای مثال، مدل‌های زبان رگرسیون خودکار ، نشانه‌های بعدی را بر اساس نشانه‌های پیش‌بینی‌شده قبلی پیش‌بینی می‌کنند. همه مدل‌های زبان بزرگ مبتنی بر Transformer دارای رگرسیون خودکار هستند.

در مقابل، مدل‌های تصویر مبتنی بر GAN معمولاً رگرسیون خودکار نیستند، زیرا آنها یک تصویر را در یک گذر به جلو و نه به صورت تکراری در مراحل تولید می‌کنند. با این حال، برخی از مدل‌های تولید تصویر دارای رگرسیون خودکار هستند ، زیرا آنها یک تصویر را در مراحل تولید می‌کنند.

از دست دادن کمکی

یک تابع از دست دادن - که در ارتباط با تابع تلفات اصلی یک مدل شبکه عصبی استفاده می شود - که به تسریع تمرین در طی تکرارهای اولیه هنگامی که وزن ها به طور تصادفی مقداردهی اولیه می شوند کمک می کند.

توابع از دست دادن کمکی، گرادیان های موثر را به لایه های قبلی هدایت می کنند. این امر با مبارزه با مشکل شیب ناپدید شدن، همگرایی را در طول تمرین تسهیل می کند.

دقت متوسط

معیاری برای خلاصه کردن عملکرد یک دنباله رتبه بندی شده از نتایج. دقت متوسط ​​با در نظر گرفتن میانگین مقادیر دقت برای هر نتیجه مرتبط (هر نتیجه در فهرست رتبه‌بندی شده که در آن فراخوان نسبت به نتیجه قبلی افزایش می‌یابد) محاسبه می‌شود.

همچنین به ناحیه زیر منحنی PR مراجعه کنید.

وضعیت هم تراز با محور

#df

در درخت تصمیم ، شرایطی که فقط شامل یک ویژگی است. برای مثال، اگر ناحیه یک ویژگی است، شرایط زیر یک شرط تراز محور است:

area > 200

کنتراست با حالت مایل .

ب

پس انتشار

#مبانی

الگوریتمی که نزول گرادیان را در شبکه های عصبی پیاده سازی می کند.

آموزش یک شبکه عصبی شامل تکرارهای زیادی از چرخه دو پاس زیر است:

  1. در طول پاس رو به جلو ، سیستم دسته‌ای از نمونه‌ها را پردازش می‌کند تا پیش‌بینی (های) را به دست آورد. سیستم هر پیش بینی را با هر برچسب مقایسه می کند. تفاوت بین مقدار پیش‌بینی و برچسب، ضرر آن مثال است. سیستم تلفات را برای همه نمونه‌ها جمع‌آوری می‌کند تا مجموع ضرر را برای دسته فعلی محاسبه کند.
  2. در طول گذر به عقب (انتشار عقب)، سیستم با تنظیم وزن تمام نورون ها در تمام لایه(های) پنهان، تلفات را کاهش می دهد.

شبکه‌های عصبی اغلب حاوی نورون‌های زیادی در لایه‌های پنهان بسیاری هستند. هر یک از این نورون ها به روش های مختلفی در از دست دادن کلی نقش دارند. انتشار معکوس تعیین می کند که آیا وزن اعمال شده روی نورون های خاص افزایش یا کاهش یابد.

نرخ یادگیری یک ضریب است که میزان افزایش یا کاهش هر وزنه توسط هر پاس به عقب را کنترل می کند. نرخ یادگیری زیاد هر وزن را بیش از یک نرخ یادگیری کوچک افزایش یا کاهش می دهد.

از نظر حساب دیفرانسیل و انتگرال، پس انتشار قانون زنجیره را اجرا می کند. از حساب دیفرانسیل و انتگرال یعنی پس انتشار مشتق جزئی خطا را با توجه به هر پارامتر محاسبه می کند.

سال‌ها پیش، تمرین‌کنندگان ML مجبور بودند کدی را برای پیاده‌سازی انتشار پس‌انداز بنویسند. API های مدرن ML مانند Keras اکنون پس انتشار را برای شما پیاده سازی می کنند. اوه!

برای اطلاعات بیشتر، شبکه های عصبی را در دوره آموزشی تصادفی یادگیری ماشین ببینید.

بسته بندی

#df

روشی برای آموزش یک گروه که در آن هر مدل سازنده بر روی یک زیرمجموعه تصادفی از نمونه‌های آموزشی نمونه‌برداری شده با جایگزینی تمرین می‌کند. به عنوان مثال، یک جنگل تصادفی مجموعه ای از درختان تصمیم گیری است که با کیسه بندی آموزش دیده اند.

اصطلاح bagging مخفف b ootstrap agg regat ing است .

برای اطلاعات بیشتر به جنگل های تصادفی در دوره جنگل های تصمیم گیری مراجعه کنید.

کیسه کلمات

#زبان

نمایشی از کلمات در یک عبارت یا متن، صرف نظر از ترتیب. به عنوان مثال، کیسه کلمات سه عبارت زیر را به طور یکسان نشان می دهد:

  • سگ می پرد
  • سگ را می پرد
  • سگ می پرد

هر کلمه به یک شاخص در یک بردار پراکنده نگاشت می شود، که در آن بردار برای هر کلمه در واژگان یک شاخص دارد. به عنوان مثال، عبارت dog jumps در یک بردار ویژگی با مقادیر غیر صفر در سه شاخص مربوط به کلمات the , dog و jumps نگاشت می شود. مقدار غیر صفر می تواند یکی از موارد زیر باشد:

  • A 1 برای نشان دادن وجود یک کلمه.
  • تعداد دفعاتی که یک کلمه در کیسه ظاهر می شود. به عنوان مثال، اگر عبارت were the maroon dog یک سگ با خز قهوه ای است ، هر دو قهوه ای و سگ به صورت 2 نشان داده می شوند، در حالی که کلمات دیگر به عنوان 1 نمایش داده می شوند.
  • مقدار دیگری مانند لگاریتم تعداد دفعاتی که یک کلمه در کیسه ظاهر می شود.

خط پایه

مدلی که به عنوان یک نقطه مرجع برای مقایسه عملکرد یک مدل دیگر (معمولاً پیچیده تر) استفاده می شود. به عنوان مثال، یک مدل رگرسیون لجستیک ممکن است به عنوان یک پایه خوب برای یک مدل عمیق عمل کند.

برای یک مشکل خاص، خط مبنا به توسعه دهندگان مدل کمک می کند تا حداقل عملکرد مورد انتظاری را که یک مدل جدید باید به آن دست پیدا کند تا مدل جدید مفید باشد، کمّی کنند.

دسته ای

#مبانی

مجموعه مثال های مورد استفاده در یک تکرار آموزشی. اندازه دسته تعداد نمونه ها را در یک دسته تعیین می کند.

برای توضیح نحوه ارتباط یک دسته با یک دوره، به epoch مراجعه کنید.

برای اطلاعات بیشتر به رگرسیون خطی: Hyperparameters in Machine Learning Crash Course مراجعه کنید.

استنتاج دسته ای

#TensorFlow
‎#GoogleCloud

فرآیند استنباط پیش‌بینی‌ها در چندین مثال بدون برچسب که به زیرمجموعه‌های کوچک‌تر ("مجموعه") تقسیم می‌شوند.

استنتاج دسته ای می تواند از ویژگی های موازی سازی تراشه های شتاب دهنده استفاده کند. به این معنا که شتاب‌دهنده‌های متعدد می‌توانند به طور همزمان پیش‌بینی‌هایی را بر روی دسته‌های مختلف نمونه‌های بدون برچسب استنباط کنند و تعداد استنتاج‌ها را به‌طور چشمگیری در هر ثانیه افزایش دهند.

برای اطلاعات بیشتر به سیستم‌های تولید ML: استنتاج استاتیک در مقابل پویا در دوره تصادف یادگیری ماشین مراجعه کنید.

عادی سازی دسته ای

عادی کردن ورودی یا خروجی توابع فعالسازی در یک لایه پنهان . نرمال سازی دسته ای می تواند مزایای زیر را ارائه دهد:

اندازه دسته

#مبانی

تعداد نمونه ها در یک دسته . به عنوان مثال، اگر اندازه دسته 100 باشد، مدل در هر تکرار 100 نمونه را پردازش می کند.

استراتژی های اندازه دسته ای محبوب زیر هستند:

  • نزول گرادیان تصادفی (SGD) که در آن اندازه دسته 1 است.
  • دسته کامل، که در آن اندازه دسته، تعداد نمونه‌های کل مجموعه آموزشی است. به عنوان مثال، اگر مجموعه آموزشی حاوی یک میلیون مثال باشد، اندازه دسته ای یک میلیون نمونه خواهد بود. دسته کامل معمولا یک استراتژی ناکارآمد است.
  • مینی بچ که در آن اندازه دسته معمولا بین 10 تا 1000 است. مینی بچ معمولا کارآمدترین استراتژی است.

برای اطلاعات بیشتر به ادامه مطلب مراجعه کنید:

شبکه عصبی بیزی

یک شبکه عصبی احتمالی که عدم قطعیت در وزن ها و خروجی ها را محاسبه می کند. یک مدل رگرسیون شبکه عصبی استاندارد معمولاً یک مقدار اسکالر را پیش‌بینی می‌کند . به عنوان مثال، یک مدل استاندارد قیمت خانه را 853000 پیش بینی می کند. در مقابل، یک شبکه عصبی بیزی توزیع مقادیر را پیش بینی می کند. به عنوان مثال، یک مدل بیزی قیمت خانه 853000 را با انحراف معیار 67200 پیش بینی می کند.

یک شبکه عصبی بیزی برای محاسبه عدم قطعیت در وزن ها و پیش بینی ها بر قضیه بیز متکی است. یک شبکه عصبی بیزی زمانی می‌تواند مفید باشد که تعیین کمیت عدم قطعیت، مانند مدل‌های مرتبط با داروها، مهم باشد. شبکه‌های عصبی بیزی نیز می‌توانند به جلوگیری از برازش بیش از حد کمک کنند.

بهینه سازی بیزی

یک تکنیک مدل رگرسیون احتمالی برای بهینه‌سازی توابع هدف محاسباتی گران قیمت با بهینه‌سازی جایگزینی که عدم قطعیت را با استفاده از تکنیک یادگیری بیزی تعیین می‌کند. از آنجایی که بهینه سازی بیزی به خودی خود بسیار گران است، معمولاً برای بهینه سازی وظایف گران قیمت که دارای تعداد کمی پارامتر هستند، مانند انتخاب فراپارامترها استفاده می شود.

معادله بلمن

#rl

در یادگیری تقویتی، هویت زیر با تابع Q بهینه برآورده می شود:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

الگوریتم های یادگیری تقویتی این هویت را برای ایجاد یادگیری Q از طریق قانون به روز رسانی زیر اعمال می کنند:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

فراتر از یادگیری تقویتی، معادله بلمن کاربردهایی در برنامه نویسی پویا دارد. به مدخل ویکی پدیا برای معادله بلمن مراجعه کنید.

BERT (نمایش رمزگذار دوطرفه از ترانسفورماتورها)

#زبان

معماری مدلی برای نمایش متن یک مدل BERT آموزش دیده می تواند به عنوان بخشی از یک مدل بزرگتر برای طبقه بندی متن یا سایر وظایف ML عمل کند.

BERT دارای ویژگی های زیر است:

انواع BERT عبارتند از:

برای مروری بر BERT به منبع باز BERT: پیش‌آموزش پیشرفته برای پردازش زبان طبیعی مراجعه کنید.

تعصب (اخلاق / انصاف)

#انصاف
#مبانی

1. کلیشه سازی، تعصب یا طرفداری نسبت به برخی چیزها، افراد یا گروه ها نسبت به دیگران. این سوگیری ها می توانند بر جمع آوری و تفسیر داده ها، طراحی یک سیستم و نحوه تعامل کاربران با یک سیستم تأثیر بگذارند. اشکال این نوع سوگیری عبارتند از:

2. خطای سیستماتیک معرفی شده توسط یک روش نمونه گیری یا گزارش. اشکال این نوع سوگیری عبارتند از:

نباید با اصطلاح سوگیری در مدل‌های یادگیری ماشین یا سوگیری پیش‌بینی اشتباه گرفته شود.

برای اطلاعات بیشتر به Fairness: Types of Bias in Machine Learning Crash Course مراجعه کنید.

تعصب (ریاضی) یا اصطلاح سوگیری

#مبانی

رهگیری یا جبران از مبدأ. تعصب یک پارامتر در مدل های یادگیری ماشینی است که با یکی از موارد زیر نشان داده می شود:

  • ب
  • w 0

به عنوان مثال، بایاس b در فرمول زیر است:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

در یک خط دوبعدی ساده، بایاس فقط به معنای «قطعه y» است. به عنوان مثال، بایاس خط در تصویر زیر 2 است.

نمودار یک خط با شیب 0.5 و بایاس (برق y) 2.

تعصب وجود دارد زیرا همه مدل ها از مبدا (0,0) شروع نمی شوند. به عنوان مثال، فرض کنید یک پارک تفریحی برای ورود به آن 2 یورو و برای هر ساعت اقامت مشتری 0.5 یورو اضافی هزینه دارد. بنابراین، مدلی که هزینه کل را نگاشت می کند، بایاس 2 دارد زیرا کمترین هزینه 2 یورو است.

سوگیری نباید با سوگیری در اخلاق و انصاف یا سوگیری پیش بینی اشتباه شود.

برای اطلاعات بیشتر به رگرسیون خطی در دوره تصادف یادگیری ماشین مراجعه کنید.

دو طرفه

#زبان

اصطلاحی که برای توصیف سیستمی استفاده می‌شود که متنی را که هم قبل و هم بعد از یک بخش هدف از متن است، ارزیابی می‌کند. در مقابل، یک سیستم یک طرفه فقط متنی را که قبل از بخش هدفی از متن قرار دارد ارزیابی می کند.

به عنوان مثال، یک مدل زبان پوشانده شده را در نظر بگیرید که باید احتمالات کلمه یا کلماتی را که نشان دهنده خط زیر در سؤال زیر هستند تعیین کند:

_____ با شما چیست؟

یک مدل زبانی یک طرفه باید احتمالات خود را فقط بر اساس زمینه ارائه شده توسط کلمات "What"، "is" و "the" استوار کند. در مقابل، یک مدل زبان دوطرفه همچنین می‌تواند زمینه را از «با» و «شما» به دست آورد، که ممکن است به مدل کمک کند پیش‌بینی‌های بهتری ایجاد کند.

مدل زبان دو طرفه

#زبان

یک مدل زبان که احتمال وجود یک نشانه داده شده در یک مکان معین در گزیده ای از متن را بر اساس متن قبلی و بعدی تعیین می کند.

بیگرام

#دنباله
#زبان

یک N گرم که در آن N=2 است.

طبقه بندی باینری

#مبانی

یک نوع کار طبقه بندی که یکی از دو کلاس منحصر به فرد را پیش بینی می کند:

به عنوان مثال، دو مدل یادگیری ماشین زیر، هر کدام دسته بندی باینری را انجام می دهند:

  • مدلی که تعیین می‌کند پیام‌های ایمیل هرزنامه هستند (کلاس مثبت) یا اسپم نیستند (کلاس منفی).
  • مدلی که علائم پزشکی را ارزیابی می کند تا مشخص کند آیا یک فرد دارای یک بیماری خاص (طبقه مثبت) است یا آن بیماری (طبقه منفی) را ندارد.

در تقابل با طبقه بندی چند طبقه .

همچنین به رگرسیون لجستیک و آستانه طبقه بندی مراجعه کنید.

برای اطلاعات بیشتر به طبقه بندی در دوره تصادف یادگیری ماشین مراجعه کنید.

شرایط باینری

#df

در درخت تصمیم ، شرایطی که فقط دو نتیجه ممکن دارد، معمولاً بله یا خیر . به عنوان مثال، شرایط زیر یک شرط باینری است:

temperature >= 100

کنتراست با شرط غیر باینری .

برای اطلاعات بیشتر به انواع شرایط در دوره Decision Forests مراجعه کنید.

بنینگ

مترادف کلمه سطل .

BLEU (دو زبانه ارزیابی ارزشیابی)

#زبان

امتیازی بین 0.0 تا 1.0، شامل کیفیت ترجمه بین دو زبان انسانی (مثلاً بین انگلیسی و روسی) است. نمره BLEU 1.0 نشان دهنده ترجمه کامل است. نمره BLEU 0.0 نشان دهنده یک ترجمه وحشتناک است.

تقویت

یک تکنیک یادگیری ماشینی که به طور مکرر مجموعه‌ای از طبقه‌بندی‌کننده‌های ساده و نه چندان دقیق (که به آنها طبقه‌بندی‌کننده‌های ضعیف گفته می‌شود) را در یک طبقه‌بندی با دقت بالا (یک طبقه‌بندی‌کننده قوی) با بالا بردن نمونه‌هایی که مدل در حال حاضر طبقه‌بندی اشتباه می‌کند، ترکیب می‌کند.

درختان تصمیم تقویت شده با گرادیان را ببینید؟ برای اطلاعات بیشتر در دوره Decision Forests.

جعبه مرزی

#تصویر

در یک تصویر، مختصات ( x ، y ) یک مستطیل در اطراف ناحیه مورد نظر، مانند سگ در تصویر زیر.

عکس سگی که روی مبل نشسته است. یک کادر سبز رنگ با مختصات بالا سمت چپ (275، 1271) و مختصات پایین سمت راست (2954، 2761) بدن سگ را مشخص می کند.

پخش

گسترش شکل یک عملوند در یک عملیات ریاضی ماتریس به ابعاد سازگار با آن عملیات. برای مثال، جبر خطی مستلزم این است که دو عملوند در یک عملیات جمع ماتریس باید ابعاد یکسانی داشته باشند. در نتیجه، نمی توانید یک ماتریس شکل (m, n) را به بردار با طول n اضافه کنید. پخش این عملیات را با گسترش عملی بردار طول n به یک ماتریس شکل (m, n) با تکرار همان مقادیر در پایین هر ستون، فعال می کند.

به عنوان مثال، با توجه به تعاریف زیر، جبر خطی A+B را ممنوع می کند زیرا A و B دارای ابعاد مختلف هستند:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

با این حال، پخش عملیات A+B را با گسترش عملی B به موارد زیر فعال می کند:

 [[2, 2, 2],
  [2, 2, 2]]

بنابراین، A+B اکنون یک عملیات معتبر است:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

برای جزئیات بیشتر به شرح زیر در مورد پخش در NumPy مراجعه کنید.

سطل سازی

#مبانی

تبدیل یک ویژگی واحد به چندین ویژگی باینری به نام سطل یا bins ، که معمولاً بر اساس یک محدوده مقدار است. ویژگی خرد شده معمولاً یک ویژگی پیوسته است.

به عنوان مثال، به جای نمایش دما به عنوان یک ویژگی ممیز شناور منفرد، می توانید محدوده دما را به سطل های مجزا تقسیم کنید، مانند:

  • <= 10 درجه سانتیگراد سطل "سرد" خواهد بود.
  • 11 تا 24 درجه سانتیگراد سطل "معتدل" خواهد بود.
  • >= 25 درجه سانتیگراد سطل "گرم" خواهد بود.

مدل با هر مقدار در یک سطل یکسان رفتار می کند. به عنوان مثال ، مقادیر 13 و 22 هر دو در سطل معتدل هستند ، بنابراین مدل دو مقدار را به طور یکسان درمان می کند.

برای اطلاعات بیشتر به داده های عددی مراجعه کنید: برای کسب اطلاعات بیشتر در دوره Crash Learning Machine.

سی

لایه کالیبراسیون

یک تنظیم پس از پیش بینی ، به طور معمول برای پیش بینی تعصب . پیش بینی ها و احتمالات تنظیم شده باید با توزیع مجموعه ای از برچسب ها مطابقت داشته باشد.

تولید نامزد

#سیستم ها

مجموعه اولیه توصیه های انتخاب شده توسط یک سیستم توصیه . به عنوان مثال ، یک کتابفروشی را در نظر بگیرید که 100000 عنوان ارائه می دهد. مرحله تولید نامزد لیستی بسیار کوچکتر از کتابهای مناسب را برای یک کاربر خاص ایجاد می کند ، می گویند 500. اما حتی 500 کتاب نیز بسیار زیاد است که به کاربر توصیه می کند. مراحل بعدی ، گرانتر از یک سیستم توصیه (مانند امتیاز دهی و رتبه بندی مجدد ) این 500 را به مجموعه توصیه های بسیار کوچکتر و مفیدتر کاهش می دهد.

برای اطلاعات بیشتر به نمای کلی تولید نامزد در دوره سیستم های توصیه مراجعه کنید.

نمونه گیری نامزد

بهینه سازی زمان آموزش که احتمال آن را برای همه برچسب های مثبت محاسبه می کند ، به عنوان مثال SoftMax ، اما فقط برای یک نمونه تصادفی از برچسب های منفی. به عنوان مثال ، با توجه به نمونه ای با برچسب Beagle و Dog ، نمونه گیری نامزد احتمالات پیش بینی شده و شرایط ضرر مربوطه را برای: محاسبه می کند:

  • بیگل
  • سگ
  • یک زیر مجموعه تصادفی از کلاسهای منفی باقیمانده (به عنوان مثال ، CAT ، Lollipop ، حصار ).

ایده این است که طبقات منفی می توانند از تقویت منفی کمتر مکرر یاد بگیرند تا زمانی که طبقات مثبت همیشه تقویت مثبت مثبت شوند ، و این در واقع به صورت تجربی مشاهده می شود.

نمونه گیری کاندیداها از نظر محاسباتی نسبت به الگوریتم های آموزش که پیش بینی را برای همه کلاس های منفی محاسبه می کنند ، به ویژه هنگامی که تعداد کلاس های منفی بسیار زیاد باشد ، محاسباتی است.

داده های طبقه بندی شده

#فونداستال ها

ویژگی های دارای مجموعه خاصی از مقادیر ممکن. به عنوان مثال ، یک ویژگی طبقه بندی شده به نام traffic-light-state را در نظر بگیرید ، که فقط می تواند یکی از سه مقدار ممکن زیر را داشته باشد:

  • red
  • yellow
  • green

با نمایندگی از traffic-light-state به عنوان یک ویژگی طبقه بندی ، یک مدل می تواند تأثیرات متفاوت از رفتار red ، green و yellow را بر رفتار راننده بیاموزد.

ویژگی های طبقه بندی شده گاهی اوقات ویژگی های گسسته ای نامیده می شوند.

تضاد با داده های عددی .

برای اطلاعات بیشتر به کار با داده های طبقه بندی شده در دوره Crash Learning Machine مراجعه کنید.

الگوی زبان علی

#زبان

مترادف برای مدل زبان یک طرفه .

برای تضاد رویکردهای مختلف جهت در مدل سازی زبان ، به مدل زبان دو طرفه مراجعه کنید.

مرکز

#خوشه ای

مرکز یک خوشه که توسط یک الگوریتم k-means یا k-median تعیین می شود. به عنوان مثال ، اگر K 3 باشد ، الگوریتم K-Means یا K-Median 3 Centroids پیدا می کند.

برای اطلاعات بیشتر به الگوریتم های خوشه بندی در دوره خوشه بندی مراجعه کنید.

خوشه بندی مبتنی بر سانتروئید

#خوشه ای

دسته ای از الگوریتم های خوشه بندی که داده ها را در خوشه های غیرشی سازماندهی می کنند. K-Means پرکاربردترین الگوریتم خوشه بندی مبتنی بر سانتروئید است.

تضاد با الگوریتم های خوشه بندی سلسله مراتبی .

برای اطلاعات بیشتر به الگوریتم های خوشه بندی در دوره خوشه بندی مراجعه کنید.

تکیه گاه به فکر

#زبان
#Generativeai

یک تکنیک سریع مهندسی که یک مدل بزرگ زبان (LLM) را برای توضیح استدلال خود ، گام به گام تشویق می کند. به عنوان مثال ، فوری زیر را در نظر بگیرید ، با توجه ویژه به جمله دوم:

یک راننده در یک اتومبیل که از 0 تا 60 مایل در ساعت در 7 ثانیه می رود ، چند نیرو G را تجربه می کند؟ در پاسخ ، تمام محاسبات مربوطه را نشان دهید.

پاسخ LLM احتمالاً:

  • دنباله ای از فرمول های فیزیک را نشان دهید ، و مقادیر 0 ، 60 و 7 را در مکان های مناسب وصل کنید.
  • توضیح دهید که چرا این فرمول ها را انتخاب کرده و متغیرهای مختلف را به چه معنی دارد.

با فکر زنجیره ای ، LLM را وادار می کند تا تمام محاسبات را انجام دهد ، که ممکن است منجر به پاسخ صحیح تر شود. علاوه بر این ، برانگیختگی زنجیره ای از کاربر ، کاربر را قادر می سازد تا مراحل LLM را بررسی کند تا مشخص شود که آیا این پاسخ معنی دارد یا خیر.

چت کردن

#زبان
#Generativeai

محتویات یک گفتگوی عقب و جلو با یک سیستم ML ، به طور معمول یک مدل زبان بزرگ . تعامل قبلی در یک گپ (آنچه شما تایپ کرده اید و چگونه مدل زبان بزرگ پاسخ داده اید) زمینه ای برای قسمت های بعدی گپ تبدیل می شود.

chatbot کاربرد یک مدل بزرگ زبان است.

ایست بازرسی

داده هایی که وضعیت پارامترهای یک مدل را در طول آموزش یا بعد از اتمام آموزش ضبط می کنند. به عنوان مثال ، در حین آموزش ، می توانید:

  1. آموزش را متوقف کنید ، شاید عمداً یا شاید به دلیل خطاهای خاص.
  2. پاسگاه را ضبط کنید.
  3. بعداً ، بازرسی را بارگذاری کنید ، احتمالاً در سخت افزار مختلف.
  4. آموزش مجدداً

کلاس

#فونداستال ها

مقوله ای که یک برچسب می تواند به آن تعلق داشته باشد. به عنوان مثال:

  • در یک مدل طبقه بندی باینری که اسپم را تشخیص می دهد ، ممکن است دو کلاس هرزنامه باشد و نه اسپم .
  • در یک مدل طبقه بندی چند کلاس که نژادهای سگ را مشخص می کند ، کلاس ها ممکن است پودل ، بیگل ، میناکاری و غیره باشند.

یک مدل طبقه بندی یک کلاس را پیش بینی می کند. در مقابل ، یک مدل رگرسیون به جای یک کلاس یک عدد را پیش بینی می کند.

برای اطلاعات بیشتر به طبقه بندی در دوره Crash Learning Machine مراجعه کنید.

مدل طبقه بندی

#فونداستال ها

مدلی که پیش بینی آن یک کلاس است. به عنوان مثال ، موارد زیر همه مدل های طبقه بندی هستند:

  • مدلی که زبان یک جمله ورودی را پیش بینی می کند (فرانسوی؟ اسپانیایی؟ ایتالیایی؟).
  • مدلی که گونه های درختی را پیش بینی می کند (افرا؟ بلوط؟ باباب؟).
  • مدلی که کلاس مثبت یا منفی را برای یک وضعیت پزشکی خاص پیش بینی می کند.

در مقابل ، مدل های رگرسیون تعداد را به جای کلاس ها پیش بینی می کنند.

دو نوع متداول از مدل های طبقه بندی عبارتند از:

آستانه طبقه بندی

#فونداستال ها

در یک طبقه بندی باینری ، تعدادی بین 0 تا 1 که خروجی خام یک مدل رگرسیون لجستیک را به یک پیش بینی کلاس مثبت یا کلاس منفی تبدیل می کند. توجه داشته باشید که آستانه طبقه بندی ارزشی است که یک انسان انتخاب می کند ، نه یک ارزش انتخاب شده توسط آموزش مدل.

یک مدل رگرسیون لجستیک یک مقدار خام را بین 0 تا 1. انجام می دهد:

  • اگر این مقدار خام از آستانه طبقه بندی بیشتر باشد ، کلاس مثبت پیش بینی می شود.
  • اگر این مقدار خام کمتر از آستانه طبقه بندی باشد ، کلاس منفی پیش بینی می شود.

به عنوان مثال ، فرض کنید آستانه طبقه بندی 0.8 است. اگر مقدار خام 0.9 باشد ، مدل کلاس مثبت را پیش بینی می کند. اگر مقدار خام 0.7 باشد ، مدل کلاس منفی را پیش بینی می کند.

انتخاب آستانه طبقه بندی به شدت بر تعداد مثبت کاذب و منفی های دروغین تأثیر می گذارد.

برای اطلاعات بیشتر به آستانه ها و ماتریس سردرگمی در دوره Crash Learning Machine مراجعه کنید.

مجموعه داده های کلاس متعادل

#فونداستال ها

یک مجموعه داده برای یک مشکل طبقه بندی که در آن تعداد کل برچسب های هر کلاس به طور قابل توجهی متفاوت است. به عنوان مثال ، یک مجموعه داده طبقه بندی باینری را در نظر بگیرید که دو برچسب آن به شرح زیر تقسیم شده است:

  • 1000،000 برچسب منفی
  • 10 برچسب مثبت

نسبت برچسب های منفی به مثبت 100000 به 1 است ، بنابراین این یک مجموعه داده با کلاس تعادل است.

در مقابل ، مجموعه داده های زیر از کلاس تعادل نیست زیرا نسبت برچسب های منفی به برچسب های مثبت نسبتاً نزدیک به 1 است:

  • 517 برچسب منفی
  • 483 برچسب مثبت

مجموعه داده های چند طبقه نیز می توانند کلاس تعادل باشند. به عنوان مثال ، مجموعه داده های طبقه بندی چند کلاس زیر نیز با کلاس تعادل است زیرا یک برچسب نمونه های بسیار بیشتری نسبت به دو مورد دیگر دارد:

  • 1،000،000 برچسب با کلاس "سبز"
  • 200 برچسب با کلاس "بنفش"
  • 350 برچسب با کلاس "نارنجی"

همچنین به آنتروپی ، کلاس اکثریت و کلاس اقلیت مراجعه کنید.

بریدن

#فونداستال ها

تکنیکی برای دستیابی به خارج از کشور با انجام یا هر دو مورد زیر:

  • کاهش مقادیر ویژگی که بیشتر از حداکثر آستانه در آن آستانه حداکثر است.
  • افزایش مقادیر ویژگی که کمتر از حداقل آستانه تا حداقل آستانه است.

به عنوان مثال ، فرض کنید که <0.5 ٪ مقادیر برای یک ویژگی خاص در خارج از محدوده 40-60 قرار دارد. در این حالت ، می توانید موارد زیر را انجام دهید:

  • کلیپ تمام مقادیر بیش از 60 (حداکثر آستانه) دقیقاً 60 باشد.
  • کلیپ تمام مقادیر زیر 40 (حداقل آستانه) دقیقاً 40 باشد.

Outliers می تواند به مدل ها آسیب برساند و گاهی اوقات باعث افزایش وزن در هنگام تمرین می شود. برخی از فضای باز نیز می توانند معیارهایی مانند دقت را خراب کنند. قطع یک روش متداول برای محدود کردن آسیب است.

مقادیر شیب شیب شیب در طول آموزش در محدوده مشخص شده است.

برای اطلاعات بیشتر به داده های عددی: عادی سازی در دوره Crash Learning Machine مراجعه کنید.

Cloud TPU

#tensorflow
#GOOGLECLOUD

یک شتاب دهنده سخت افزاری تخصصی برای سرعت بخشیدن به بارهای یادگیری ماشین در Google Cloud طراحی شده است.

خوشه بندی

#خوشه ای

نمونه های مرتبط با گروه بندی ، به ویژه در هنگام یادگیری بدون نظارت . پس از گروه بندی همه نمونه ها ، یک انسان می تواند به صورت اختیاری به معنای هر خوشه باشد.

بسیاری از الگوریتم های خوشه بندی وجود دارند. به عنوان مثال ، خوشه های الگوریتم K-Means بر اساس نزدیکی آنها به یک مرکز سرود ، مانند نمودار زیر:

یک نمودار دو بعدی که در آن محور x دارای عرض درخت است ، و محور y دارای برچسب ارتفاع درخت است. این نمودار شامل دو مرکز و ده ها نقطه داده است. نقاط داده بر اساس نزدیکی آنها طبقه بندی می شوند. یعنی نقاط داده نزدیک به یک سانتروئید به عنوان خوشه 1 طبقه بندی می شوند ، در حالی که نزدیکترین آنها به سانتروئید دیگر به عنوان خوشه 2 طبقه بندی می شوند.

سپس یک محقق انسانی می تواند خوشه ها را مرور کند و به عنوان مثال ، خوشه 1 را به عنوان "درختان کوتوله" و خوشه 2 به عنوان "درختان با اندازه کامل" بررسی کند.

به عنوان مثال دیگر ، یک الگوریتم خوشه بندی را بر اساس فاصله یک مثال از یک نقطه مرکزی در نظر بگیرید ، به شرح زیر است:

ده ها نقطه داده در محافل متحد المرکز ، تقریباً مانند سوراخ های اطراف مرکز یک تخته دارت ترتیب داده شده است. حلقه درونی نقاط داده به عنوان خوشه 1 طبقه بندی می شود ، حلقه میانی به عنوان خوشه 2 طبقه بندی می شود و بیرونی ترین حلقه به عنوان خوشه 3.

برای اطلاعات بیشتر به دوره خوشه بندی مراجعه کنید.

همکاری مشترک

هنگامی که نورون ها به جای تکیه بر رفتار شبکه به عنوان یک کل ، با تکیه بر خروجی های نورون های خاص دیگر ، الگوهای آموزش داده ها را پیش بینی می کنند. هنگامی که الگوهای ایجاد کننده همبستگی در داده های اعتبار سنجی وجود ندارند ، پس سازگاری باعث ایجاد بیش از حد می شود. تنظیم مجدد ترک تحصیل باعث کاهش همبستگی می شود زیرا ترک تحصیل تضمین می کند که سلولهای عصبی نمی توانند صرفاً به سلولهای عصبی خاص دیگر متکی باشند.

فیلتر مشارکتی

#سیستم ها

پیش بینی در مورد علایق یک کاربر بر اساس علایق بسیاری از کاربران دیگر. از فیلتر مشارکتی اغلب در سیستم های توصیه استفاده می شود.

برای اطلاعات بیشتر به فیلتر مشترک در دوره سیستم های توصیه مراجعه کنید.

حرکت مفهومی

تغییر در رابطه بین ویژگی ها و برچسب. با گذشت زمان ، Concept Drift کیفیت یک مدل را کاهش می دهد.

در طول آموزش ، مدل رابطه بین ویژگی ها و برچسب های آنها را در مجموعه آموزش می آموزد. اگر برچسب های موجود در مجموعه آموزش پروکسی های خوبی برای دنیای واقعی باشند ، پس از آن باید پیش بینی های دنیای واقعی خوبی را انجام دهد. با این حال ، به دلیل رانش مفهومی ، پیش بینی های مدل با گذشت زمان تخریب می شود.

به عنوان مثال ، یک مدل طبقه بندی باینری را در نظر بگیرید که پیش بینی می کند مدل خاص خودرو "کارآمد سوخت" باشد یا خیر. یعنی ویژگی ها می توانند:

  • وزن ماشین
  • فشرده سازی موتور
  • نوع انتقال

در حالی که برچسب هم است:

  • سوخت کارآمد
  • سوخت کارآمد نیست

با این حال ، مفهوم "ماشین کارآمد سوخت" در حال تغییر است. یک مدل اتومبیل با عنوان سوخت در سال 1994 تقریباً مطمئناً در سال 2024 با سوخت کارآمد نیست. مدلی که از مفهوم رنج می برد ، تمایل دارد پیش بینی های کم و کمتری را با گذشت زمان انجام دهد.

مقایسه و تضاد با غیر ایستگاه .

وضعیت

#DF

در یک درخت تصمیم ، هر گره ای که یک عبارت را ارزیابی می کند. به عنوان مثال ، بخش زیر از یک درخت تصمیم گیری شامل دو شرط است:

یک درخت تصمیم گیری متشکل از دو شرط: (x> 0) و (y> 0).

یک شرط نیز تقسیم یا آزمایش نامیده می شود.

شرایط کنتراست با برگ .

همچنین ببینید:

برای اطلاعات بیشتر به انواع شرایط موجود در دوره جنگل های تصمیم گیری مراجعه کنید.

confabulation

#زبان

مترادف برای توهم .

Confabulation احتمالاً یک اصطلاح فنی دقیق تر از توهم است. با این حال ، توهم در ابتدا محبوب شد.

پیکربندی

فرایند اختصاص مقادیر اولیه خاصیت مورد استفاده برای آموزش یک مدل ، از جمله:

در پروژه های یادگیری ماشین ، پیکربندی را می توان از طریق یک فایل پیکربندی ویژه یا با استفاده از کتابخانه های پیکربندی مانند موارد زیر انجام داد:

سوگیری تایید

#فریبی

تمایل به جستجوی ، تفسیر ، لطف و به یاد آوردن اطلاعات به روشی که اعتقادات یا فرضیه های از قبل موجود را تأیید می کند. توسعه دهندگان یادگیری ماشین ممکن است سهواً داده ها را به روش هایی که بر نتیجه حمایت از اعتقادات موجود خود تأثیر می گذارد ، جمع آوری یا برچسب گذاری کند. تعصب تأیید نوعی تعصب ضمنی است.

تعصب آزمایشگر نوعی تعصب تأیید است که در آن یک آزمایشگر مدلهای آموزش را ادامه می دهد تا اینکه یک فرضیه از قبل موجود تأیید شود.

ماتریس سردرگمی

#فونداستال ها

یک جدول NXN که تعداد پیش بینی های صحیح و نادرست را که یک مدل طبقه بندی ساخته شده است خلاصه می کند. به عنوان مثال ، ماتریس سردرگمی زیر را برای یک مدل طبقه بندی باینری در نظر بگیرید:

تومور (پیش بینی شده) غیر تومور (پیش بینی شده)
تومور (حقیقت زمین) 18 (TP) 1 (FN)
غیر تومور (حقیقت زمین) 6 (FP) 452 (TN)

ماتریس سردرگمی قبلی موارد زیر را نشان می دهد:

  • از 19 پیش بینی که حقیقت زمین تومور بود ، مدل به درستی 18 طبقه بندی شده و به طور نادرست طبقه بندی می شود 1.
  • از 458 پیش بینی که در آن حقیقت زمین غیر تومور بود ، مدل به درستی 452 طبقه بندی و نادرست طبقه بندی می شود.

ماتریس سردرگمی برای یک مشکل طبقه بندی چند طبقه می تواند به شما در شناسایی الگوهای اشتباه کمک کند. به عنوان مثال ، ماتریس سردرگمی زیر را برای یک مدل طبقه بندی چند طبقه 3 طبقه که سه نوع عنبیه مختلف را طبقه بندی می کند (Virginica ، Versicolor و Setosa) در نظر بگیرید. هنگامی که حقیقت زمین ویرجینیکا بود ، ماتریس سردرگمی نشان می دهد که این مدل به احتمال زیاد به اشتباه پیش بینی Versicolor از Setosa را پیش بینی می کند:

setosa (پیش بینی شده) بررسیکولور (پیش بینی شده) Virginica (پیش بینی شده)
setosa (حقیقت زمین) 88 12 0
برقی (حقیقت زمین) 6 141 7
ویرجینیکا (حقیقت زمین) 2 27 109

به عنوان مثال دیگر ، یک ماتریس سردرگمی می تواند نشان دهد که مدلی که برای تشخیص رقم های دستنویس آموزش دیده است ، تمایل دارد به جای 4 به اشتباه 9 را پیش بینی کند ، یا به اشتباه 1 را به جای 7 پیش بینی کند.

ماتریس های سردرگمی حاوی اطلاعات کافی برای محاسبه انواع معیارهای عملکرد از جمله دقت و فراخوان هستند.

حوزه انتخابیه

#زبان

تقسیم یک جمله به ساختارهای گرامری کوچکتر ("ترکیبات"). قسمت بعدی سیستم ML ، مانند یک مدل درک زبان طبیعی ، می تواند ترکیبات را راحت تر از جمله اصلی تجزیه کند. برای مثال جمله زیر را در نظر بگیرید:

دوست من دو گربه را پذیرفت.

یک تجزیه کننده حوزه انتخابیه می تواند این جمله را به دو مؤلفه زیر تقسیم کند:

  • دوست من یک عبارت اسم است.
  • دو گربه پذیرفته شده یک عبارت فعل است.

این ترکیبات را می توان بیشتر به ترکیبات کوچکتر تقسیم کرد. به عنوان مثال ، عبارت فعل

دو گربه را پذیرفت

می توان بیشتر به زیر تقسیم شد:

  • اتخاذ شده یک فعل است.
  • دو گربه یک عبارت دیگر است.

تعبیه زبان متنی

#زبان
#Generativeai

تعبیه شده ای که به "درک" کلمات و عبارات نزدیک می شود به طریقی که بلندگوهای بومی بشر می توانند. تعبیه زبان متنی می تواند نحو ، معناشناسی و متن پیچیده را درک کند.

به عنوان مثال ، تعبیه های کلمه انگلیسی گاو را در نظر بگیرید. تعبیهات قدیمی تر مانند Word2VEC می تواند کلمات انگلیسی را نشان دهد به گونه ای که فاصله در فضای تعبیه شده از گاو به گاو شبیه به فاصله میش (گوسفند زن) تا قوچ (گوسفند نر) یا از زن به مرد است. تعبیه زبان متنی می تواند با تشخیص اینکه بلندگوهای انگلیسی گاهی اوقات از کلمه گاو به معنای گاو یا گاو استفاده می کنند ، یک قدم جلوتر بروند.

پنجره متن

#زبان
#Generativeai

تعداد نشانه های یک مدل می تواند در یک فوریت مشخص پردازش شود. هرچه پنجره زمینه بزرگتر باشد ، اطلاعات بیشتری از مدل می تواند برای ارائه پاسخ های منسجم و مداوم به سریع استفاده کند.

ویژگی مداوم

#فونداستال ها

یک ویژگی نقطه شناور با دامنه نامتناهی از مقادیر ممکن ، مانند دما یا وزن.

تضاد با ویژگی گسسته .

نمونه گیری آسان

به منظور انجام آزمایشات سریع ، استفاده از مجموعه داده های علمی جمع نشده است. بعداً ، تغییر به یک مجموعه داده جمع آوری شده علمی ضروری است.

همگرایی

#فونداستال ها

هنگامی که مقادیر ضرر با هر تکرار بسیار کم تغییر کند یا اصلاً تغییر کند. به عنوان مثال ، منحنی ضرر زیر همگرایی را در حدود 700 تکرار نشان می دهد:

طرح دکارتی. محور x ضرر است. محور y تعداد تکرارهای آموزش است. ضرر در طی چند تکرار اول بسیار زیاد است ، اما به شدت کاهش می یابد. پس از حدود 100 تکرار ، ضرر هنوز نزولی است اما به تدریج به تدریج. پس از حدود 700 تکرار ، ضرر مسطح می ماند.

هنگامی که آموزش های اضافی مدل را بهبود نمی بخشد ، یک مدل همگرا می شود .

در یادگیری عمیق ، ارزش های از دست دادن گاهی اوقات برای بسیاری از تکرارها قبل از نزول ، ثابت یا تقریباً تقریباً باقی می مانند. در یک دوره طولانی از مقادیر ضرر مداوم ، ممکن است به طور موقت حس کاذب از همگرایی بدست آورید.

همچنین توقف زود هنگام را ببینید.

برای کسب اطلاعات بیشتر ، منحنی های همگرایی و از دست دادن مدل را در دوره Crash Learning Machine مشاهده کنید.

تابع محدب

تابعی که در آن منطقه بالاتر از نمودار عملکرد یک مجموعه محدب است. عملکرد محدب نمونه اولیه چیزی مانند حرف U شکل گرفته است. به عنوان مثال ، موارد زیر همه توابع محدب هستند:

منحنی های U شکل ، هر یک با حداقل یک نقطه.

در مقابل ، عملکرد زیر محدب نیست. توجه کنید که چگونه منطقه بالای نمودار یک مجموعه محدب نیست:

یک منحنی W شکل با دو نقطه حداقل محلی مختلف.

یک عملکرد کاملاً محدب دقیقاً یک نقطه حداقل محلی دارد ، که همچنین حداقل نقطه جهانی است. توابع کلاسیک U شکل عملکردهای کاملاً محدب هستند. با این حال ، برخی از توابع محدب (به عنوان مثال ، خطوط مستقیم) U شکل نیستند.

برای کسب اطلاعات بیشتر به عملکردهای همگرایی و محدب در دوره Crash Learning Machine مراجعه کنید.

بهینه سازی محدب

فرایند استفاده از تکنیک های ریاضی مانند نزول شیب برای یافتن حداقل عملکرد محدب . تحقیقات زیادی در زمینه یادگیری ماشینی بر تدوین مشکلات مختلف به عنوان مشکلات بهینه سازی محدب و حل کارآمدتر این مشکلات متمرکز شده است.

برای جزئیات کامل ، به بهینه سازی Boyd و Vandenberghe ، بهینه سازی محدب مراجعه کنید.

مجموعه محدب

زیر مجموعه ای از فضای اقلیدسی به گونه ای که خطی بین هر دو نقطه در زیر مجموعه کاملاً در زیر مجموعه باقی می ماند. به عنوان مثال ، دو شکل زیر مجموعه محدب هستند:

یک تصویر از مستطیل. تصویر دیگری از یک بیضی.

در مقابل ، دو شکل زیر مجموعه محدب نیستند:

یک تصویر از یک نمودار پای با یک برش گمشده.           تصویر دیگری از یک چند ضلعی وحشی نامنظم.

پیچیدگی

#تصویر

در ریاضیات ، به طور اتفاقی ، ترکیبی از دو کارکرد. در یادگیری ماشین ، یک حلقوی فیلتر حلقوی و ماتریس ورودی را به منظور آموزش وزنه ها مخلوط می کند.

اصطلاح "Convolution" در یادگیری ماشین اغلب یک روش کوتاه برای مراجعه به عملکرد حلقوی یا لایه حلقوی است.

بدون پیچیدگی ، یک الگوریتم یادگیری ماشین باید برای هر سلول در یک تانسور بزرگ ، یک وزن جداگانه یاد بگیرد. به عنوان مثال ، یک آموزش الگوریتم یادگیری ماشین بر روی تصاویر 2K x 2K مجبور به یافتن وزن 4M جداگانه می شود. به لطف پیچیدگی ها ، یک الگوریتم یادگیری ماشین فقط باید برای هر سلول در فیلتر حلقوی ، وزنه هایی پیدا کند و حافظه مورد نیاز برای آموزش مدل را به طرز چشمگیری کاهش می دهد. هنگامی که فیلتر حلقوی اعمال می شود ، به سادگی در سلولها تکرار می شود به گونه ای که هر یک توسط فیلتر ضرب می شود.

برای اطلاعات بیشتر به معرفی شبکه های عصبی Convolutional در دوره طبقه بندی تصویر مراجعه کنید.

فیلتر حلقوی

#تصویر

یکی از دو بازیگر در یک عملیات حلقوی . (بازیگر دیگر یک قطعه از یک ماتریس ورودی است.) یک فیلتر حلقوی یک ماتریس است که دارای رتبه مشابه ماتریس ورودی است ، اما شکل کمتری دارد. به عنوان مثال ، با توجه به یک ماتریس ورودی 28x28 ، فیلتر می تواند هر ماتریس 2D کوچکتر از 28x28 باشد.

در دستکاری عکاسی ، تمام سلولهای موجود در یک فیلتر حلقوی به طور معمول به یک الگوی ثابت از آنهایی و صفرها تنظیم می شوند. در یادگیری ماشین ، فیلترهای حلقوی به طور معمول با شماره های تصادفی بذر می شوند و سپس شبکه مقادیر ایده آل را آموزش می دهد .

برای اطلاعات بیشتر به Convolution در دوره طبقه بندی تصویر مراجعه کنید.

لایه حلقوی

#تصویر

لایه ای از یک شبکه عصبی عمیق که در آن یک فیلتر حلقوی در امتداد یک ماتریس ورودی عبور می کند. به عنوان مثال ، فیلتر Convolutional 3x3 زیر را در نظر بگیرید:

یک ماتریس 3x3 با مقادیر زیر: [[0،1،0] ، [1،0،1] ، [0،1،0]]

انیمیشن زیر یک لایه حلقوی متشکل از 9 عملیات حلقوی شامل ماتریس ورودی 5x5 را نشان می دهد. توجه کنید که هر عملیات حلقوی روی یک قطعه 3x3 متفاوت از ماتریس ورودی کار می کند. ماتریس 3x3 حاصل (در سمت راست) شامل نتایج 9 عملیات حلقوی است:

انیمیشن که دو ماتریس را نشان می دهد. ماتریس اول ماتریس 5x5 است: [[128،97،53،201،198] ، [35،225،200،195] ، [37،24،28،197،182] ، [33،28،92،92،195،179] ، [31،140،100،100،100،100،1777777           ماتریس دوم ماتریس 3x3 است: [[181،303،618] ، [115،338،605] ، [169،351،560]].           ماتریس دوم با استفاده از فیلتر حلقوی [[0 ، 1 ، 0] ، [1 ، 0 ، 1] ، [0 ، 1 ، 0]] در زیر مجموعه های مختلف 3x3 ماتریس 5x5 محاسبه می شود.

برای اطلاعات بیشتر به لایه های کاملاً متصل در دوره طبقه بندی تصویر مراجعه کنید.

شبکه عصبی کانولوشنال

#تصویر

یک شبکه عصبی که در آن حداقل یک لایه یک لایه حلقوی است. یک شبکه عصبی Convolutional معمولی شامل ترکیبی از لایه های زیر است:

شبکه های عصبی Convolutional در انواع خاصی از مشکلات مانند تشخیص تصویر موفقیت بزرگی داشته اند.

عمل جغرافیایی

#تصویر

عملیات ریاضی دو مرحله ای زیر:

  1. ضرب عناصر عاقلانه فیلتر حلقوی و یک قطعه از ماتریس ورودی. (برش ماتریس ورودی دارای رتبه و اندازه یکسان با فیلتر حلقوی است.)
  2. جمع بندی تمام مقادیر موجود در ماتریس محصول حاصل.

به عنوان مثال ، ماتریس ورودی 5x5 زیر را در نظر بگیرید:

The 5x5 matrix: [[128,97,53,201,198], [35,22,25,200,195],
          [37,24,28,197,182], [33,28,92,195,179], [31,40,100,192,177]].

اکنون فیلتر Convolutional 2x2 زیر را تصور کنید:

ماتریس 2x2: [[1 ، 0] ، [0 ، 1]]

هر عملیات حلقوی شامل یک قطعه 2x2 منفرد از ماتریس ورودی است. به عنوان مثال ، فرض کنید ما از برش 2x2 در سمت چپ ماتریس ورودی استفاده می کنیم. بنابراین ، عملیات Convolution در این برش به شرح زیر است:

با استفاده از فیلتر حلقوی [[1 ، 0] ، [0 ، 1]] در قسمت بالای چپ 2x2 ماتریس ورودی ، که [[128،97] ، [35،22]] است.           فیلتر حلقوی 128 و 22 دست نخورده را ترک می کند ، اما 97 و 35 را صفر می کند. در نتیجه ، عملکرد حلقوی مقدار 150 را به دست می آورد (22 128).

یک لایه حلقوی از یک سری عملیات حلقوی تشکیل شده است که هر یک بر روی یک قطعه متفاوت از ماتریس ورودی عمل می کنند.

هزینه

مترادف برای از دست دادن .

آموزش مشترک

یک رویکرد یادگیری نیمه تحت نظارت به ویژه هنگامی که همه شرایط زیر صحیح باشد مفید است:

آموزش مشترک اساساً سیگنال های مستقل را به یک سیگنال قوی تر تقویت می کند. به عنوان مثال ، یک مدل طبقه بندی را در نظر بگیرید که اتومبیل های استفاده شده فردی را خوب یا بد طبقه بندی می کند. یک مجموعه از ویژگی های پیش بینی کننده ممکن است بر خصوصیات کل مانند سال ، ساخت و مدل ماشین متمرکز شود. مجموعه دیگری از ویژگی های پیش بینی کننده ممکن است روی سابقه رانندگی مالک قبلی و سابقه نگهداری خودرو متمرکز شود.

مقاله اصلی در مورد آموزش همزمان با ترکیب داده های برچسب زده و بدون برچسب با آموزش همزمان توسط بلوم و میچل ترکیب شده است.

انصاف ضد خلاف

#فریبی

یک متریک انصاف که بررسی می کند که آیا طبقه بندی کننده نتیجه یکسان را برای یک فرد تولید می کند ، همانطور که برای فرد دیگری که با اولی یکسان است ، به جز با توجه به یک یا چند ویژگی حساس است. ارزیابی یک طبقه بندی کننده برای انصاف ضد عملی ، یکی از روشها برای گسترش منابع بالقوه تعصب در یک مدل است.

برای اطلاعات بیشتر به هر یک از موارد زیر مراجعه کنید:

تعصب پوشش

#فریبی

به تعصب انتخاب مراجعه کنید.

شکوفه تصادف

#زبان

یک جمله یا عبارت با معنای مبهم. شکوفه های تصادف مشکل مهمی در درک زبان طبیعی دارند. به عنوان مثال ، نوار قرمز تیتر آسمان خراش یک شکوفه خرابی است زیرا یک مدل NLU می تواند تیتر را به معنای واقعی کلمه یا تصویری تفسیر کند.

منتقد

#RL

مترادف برای شبکه Q Deep .

فاش کردن

تعمیم از دست دادن ورود به مشکلات طبقه بندی چند طبقه . آنتروپی متقاطع تفاوت بین دو توزیع احتمال را تعیین می کند. همچنین به گیج کننده مراجعه کنید.

اعتبار سنجی متقابل

مکانیسمی برای تخمین اینکه چگونه یک مدل با آزمایش مدل در برابر یک یا چند زیر مجموعه داده غیر همپوشانی از مجموعه آموزش ، به داده های جدید تعمیم می یابد.

عملکرد توزیع تجمعی (CDF)

تابعی که فرکانس نمونه ها را کمتر یا مساوی با یک مقدار هدف تعریف می کند. به عنوان مثال ، توزیع عادی مقادیر مداوم را در نظر بگیرید. CDF به شما می گوید که تقریباً 50 ٪ از نمونه ها باید کمتر از یا مساوی با میانگین باشند و تقریباً 84 ٪ نمونه ها باید کمتر از یا مساوی با یک انحراف استاندارد بالاتر از میانگین باشند.

D

تجزیه و تحلیل داده ها

با در نظر گرفتن نمونه ها ، اندازه گیری و تجسم ، درک داده ها را بدست آورید. تجزیه و تحلیل داده ها می تواند به ویژه در هنگام دریافت یک مجموعه داده ، قبل از اینکه مدل اول را بسازد ، مفید باشد. همچنین در درک آزمایشات و مشکلات اشکال زدایی با سیستم بسیار مهم است.

افزایش داده ها

#تصویر

با تبدیل نمونه های موجود برای ایجاد نمونه های اضافی ، دامنه و تعداد نمونه های آموزشی را افزایش می دهد. به عنوان مثال ، فرض کنید تصاویر یکی از ویژگی های شما هستند ، اما مجموعه داده شما حاوی نمونه های تصویر کافی برای مدل برای یادگیری انجمن های مفید نیست. در حالت ایده آل ، شما می توانید تصاویر برچسب زده شده به اندازه کافی را به مجموعه داده خود اضافه کنید تا مدل خود بتواند به درستی آموزش ببیند. اگر این امکان پذیر نباشد ، افزایش داده ها می توانند هر تصویر را بچرخانند ، کشش دهند و منعکس شوند تا انواع بسیاری از تصویر اصلی را تولید کنند ، احتمالاً داده های دارای برچسب به اندازه کافی را به دست می آورند تا بتوانند آموزش عالی را فعال کنند.

DataFrame

#فونداستال ها

یک نوع داده محبوب Pandas برای نمایش مجموعه داده ها در حافظه.

DataFrame مشابه یک جدول یا صفحه گسترده است. هر ستون از یک DataFrame دارای یک نام (یک هدر) است و هر سطر توسط یک عدد منحصر به فرد مشخص می شود.

هر ستون در یک DataFrame مانند یک آرایه 2D ساختار یافته است ، به جز اینکه به هر ستون می توان نوع داده خود را اختصاص داد.

همچنین به صفحه مرجع رسمی pandas.dataframe مراجعه کنید.

موازی سازی داده ها

روشی برای مقیاس بندی آموزش یا استنتاج که یک مدل کامل را بر روی چندین دستگاه تکرار می کند و سپس زیر مجموعه ای از داده های ورودی را به هر دستگاه منتقل می کند. موازی سازی داده ها می توانند آموزش و استنباط را در اندازه های دسته ای بسیار بزرگ فعال کنند. با این حال ، موازی سازی داده ها مستلزم آن است که مدل به اندازه کافی کوچک باشد تا در همه دستگاه ها جای بگیرد.

موازی سازی داده ها به طور معمول آموزش و استنباط را سرعت می بخشد.

همچنین به موازی سازی مدل مراجعه کنید.

مجموعه داده یا مجموعه داده

#فونداستال ها

A collection of raw data, commonly (but not exclusively) organized in one of the following formats:

  • a spreadsheet
  • a file in CSV (comma-separated values) format

Dataset API (tf.data)

#TensorFlow

A high-level TensorFlow API for reading data and transforming it into a form that a machine learning algorithm requires. A tf.data.Dataset object represents a sequence of elements, in which each element contains one or more Tensors . A tf.data.Iterator object provides access to the elements of a Dataset .

decision boundary

The separator between classes learned by a model in a binary class or multi-class classification problems . For example, in the following image representing a binary classification problem, the decision boundary is the frontier between the orange class and the blue class:

A well-defined boundary between one class and another.

decision forest

#df

A model created from multiple decision trees . A decision forest makes a prediction by aggregating the predictions of its decision trees. Popular types of decision forests include random forests and gradient boosted trees .

See the Decision Forests section in the Decision Forests course for more information.

decision threshold

Synonym for classification threshold .

درخت تصمیم

#df

A supervised learning model composed of a set of conditions and leaves organized hierarchically. For example, the following is a decision tree:

A decision tree consisting of four conditions arranged
          hierarchically, which lead to five leaves.

رمزگشا

#language

In general, any ML system that converts from a processed, dense, or internal representation to a more raw, sparse, or external representation.

Decoders are often a component of a larger model, where they are frequently paired with an encoder .

In sequence-to-sequence tasks , a decoder starts with the internal state generated by the encoder to predict the next sequence.

Refer to Transformer for the definition of a decoder within the Transformer architecture.

See Large language models in Machine Learning Crash Course for more information.

deep model

#fundamentals

A neural network containing more than one hidden layer .

A deep model is also called a deep neural network .

Contrast with wide model .

شبکه عصبی عمیق

Synonym for deep model .

Deep Q-Network (DQN)

#rl

In Q-learning , a deep neural network that predicts Q-functions .

Critic is a synonym for Deep Q-Network.

demographic parity

#fairness

A fairness metric that is satisfied if the results of a model's classification are not dependent on a given sensitive attribute .

For example, if both Lilliputians and Brobdingnagians apply to Glubbdubdrib University, demographic parity is achieved if the percentage of Lilliputians admitted is the same as the percentage of Brobdingnagians admitted, irrespective of whether one group is on average more qualified than the other.

Contrast with equalized odds and equality of opportunity , which permit classification results in aggregate to depend on sensitive attributes, but don't permit classification results for certain specified ground truth labels to depend on sensitive attributes. See "Attacking discrimination with smarter machine learning" for a visualization exploring the tradeoffs when optimizing for demographic parity.

See Fairness: demographic parity in Machine Learning Crash Course for more information.

denoising

#language

A common approach to self-supervised learning in which:

  1. Noise is artificially added to the dataset.
  2. The model tries to remove the noise.

Denoising enables learning from unlabeled examples . The original dataset serves as the target or label and the noisy data as the input.

Some masked language models use denoising as follows:

  1. Noise is artificially added to an unlabeled sentence by masking some of the tokens.
  2. The model tries to predict the original tokens.

dense feature

#fundamentals

A feature in which most or all values are nonzero, typically a Tensor of floating-point values. For example, the following 10-element Tensor is dense because 9 of its values are nonzero:

8 3 7 5 2 4 0 4 9 6

Contrast with sparse feature .

dense layer

Synonym for fully connected layer .

عمق

#fundamentals

The sum of the following in a neural network :

For example, a neural network with five hidden layers and one output layer has a depth of 6.

Notice that the input layer doesn't influence depth.

depthwise separable convolutional neural network (sepCNN)

#تصویر

A convolutional neural network architecture based on Inception , but where Inception modules are replaced with depthwise separable convolutions. Also known as Xception.

A depthwise separable convolution (also abbreviated as separable convolution) factors a standard 3D convolution into two separate convolution operations that are more computationally efficient: first, a depthwise convolution, with a depth of 1 (n ✕ n ✕ 1), and then second, a pointwise convolution, with length and width of 1 (1 ✕ 1 ✕ n).

To learn more, see Xception: Deep Learning with Depthwise Separable Convolutions .

derived label

Synonym for proxy label .

دستگاه

#TensorFlow
#GoogleCloud

An overloaded term with the following two possible definitions:

  1. A category of hardware that can run a TensorFlow session, including CPUs, GPUs, and TPUs .
  2. When training an ML model on accelerator chips (GPUs or TPUs), the part of the system that actually manipulates tensors and embeddings . The device runs on accelerator chips. In contrast, the host typically runs on a CPU.

differential privacy

In machine learning, an anonymization approach to protect any sensitive data (for example, an individual's personal information) included in a model's training set from being exposed. This approach ensures that the model doesn't learn or remember much about a specific individual. This is accomplished by sampling and adding noise during model training to obscure individual data points, mitigating the risk of exposing sensitive training data.

Differential privacy is also used outside of machine learning. For example, data scientists sometimes use differential privacy to protect individual privacy when computing product usage statistics for different demographics.

dimension reduction

Decreasing the number of dimensions used to represent a particular feature in a feature vector, typically by converting to an embedding vector .

ابعاد

Overloaded term having any of the following definitions:

  • The number of levels of coordinates in a Tensor . به عنوان مثال:

    • A scalar has zero dimensions; for example, ["Hello"] .
    • A vector has one dimension; for example, [3, 5, 7, 11] .
    • A matrix has two dimensions; for example, [[2, 4, 18], [5, 7, 14]] . You can uniquely specify a particular cell in a one-dimensional vector with one coordinate; you need two coordinates to uniquely specify a particular cell in a two-dimensional matrix.
  • The number of entries in a feature vector .

  • The number of elements in an embedding layer .

direct prompting

#language
#generativeAI

Synonym for zero-shot prompting .

discrete feature

#fundamentals

A feature with a finite set of possible values. For example, a feature whose values may only be animal , vegetable , or mineral is a discrete (or categorical) feature.

Contrast with continuous feature .

discriminative model

A model that predicts labels from a set of one or more features . More formally, discriminative models define the conditional probability of an output given the features and weights ; یعنی:

p(output | features, weights)

For example, a model that predicts whether an email is spam from features and weights is a discriminative model.

The vast majority of supervised learning models, including classification and regression models, are discriminative models.

Contrast with generative model .

تبعیض کننده

A system that determines whether examples are real or fake.

Alternatively, the subsystem within a generative adversarial network that determines whether the examples created by the generator are real or fake.

See The discriminator in the GAN course for more information.

disparate impact

#fairness

Making decisions about people that impact different population subgroups disproportionately. This usually refers to situations where an algorithmic decision-making process harms or benefits some subgroups more than others.

For example, suppose an algorithm that determines a Lilliputian's eligibility for a miniature-home loan is more likely to classify them as "ineligible" if their mailing address contains a certain postal code. If Big-Endian Lilliputians are more likely to have mailing addresses with this postal code than Little-Endian Lilliputians, then this algorithm may result in disparate impact.

Contrast with disparate treatment , which focuses on disparities that result when subgroup characteristics are explicit inputs to an algorithmic decision-making process.

disparate treatment

#fairness

Factoring subjects' sensitive attributes into an algorithmic decision-making process such that different subgroups of people are treated differently.

For example, consider an algorithm that determines Lilliputians' eligibility for a miniature-home loan based on the data they provide in their loan application. If the algorithm uses a Lilliputian's affiliation as Big-Endian or Little-Endian as an input, it is enacting disparate treatment along that dimension.

Contrast with disparate impact , which focuses on disparities in the societal impacts of algorithmic decisions on subgroups, irrespective of whether those subgroups are inputs to the model.

تقطیر

#generativeAI

The process of reducing the size of one model (known as the teacher ) into a smaller model (known as the student ) that emulates the original model's predictions as faithfully as possible. Distillation is useful because the smaller model has two key benefits over the larger model (the teacher):

  • Faster inference time
  • Reduced memory and energy usage

However, the student's predictions are typically not as good as the teacher's predictions.

Distillation trains the student model to minimize a loss function based on the difference between the outputs of the predictions of the student and teacher models.

Compare and contrast distillation with the following terms:

See LLMs: Fine-tuning, distillation, and prompt engineering in Machine Learning Crash Course for more information.

توزیع

The frequency and range of different values for a given feature or label . A distribution captures how likely a particular value is.

The following image shows histograms of two different distributions:

  • On the left, a power law distribution of wealth versus the number of people possessing that wealth.
  • On the right, a normal distribution of height versus the number of people possessing that height.

Two histograms. One histogram shows a power law distribution with
          wealth on the x-axis and number of people having that wealth on the
          y-axis. Most people have very little wealth, and a few people have
          a lot of wealth. The other histogram shows a normal distribution
          with height on the x-axis and number of people having that height
          on the y-axis. Most people are clustered somewhere near the mean.

Understanding each feature and label's distribution can help you determine how to normalize values and detect outliers .

The phrase out of distribution refers to a value that doesn't appear in the dataset or is very rare. For example, an image of the planet Saturn would be considered out of distribution for a dataset consisting of cat images.

divisive clustering

#clustering

See hierarchical clustering .

downsampling

#تصویر

Overloaded term that can mean either of the following:

  • Reducing the amount of information in a feature in order to train a model more efficiently. For example, before training an image recognition model, downsampling high-resolution images to a lower-resolution format.
  • Training on a disproportionately low percentage of over-represented class examples in order to improve model training on under-represented classes. For example, in a class-imbalanced dataset , models tend to learn a lot about the majority class and not enough about the minority class . Downsampling helps balance the amount of training on the majority and minority classes.

See Datasets: Imbalanced datasets in Machine Learning Crash Course for more information.

DQN

#rl

Abbreviation for Deep Q-Network .

dropout regularization

A form of regularization useful in training neural networks . Dropout regularization removes a random selection of a fixed number of the units in a network layer for a single gradient step. The more units dropped out, the stronger the regularization. This is analogous to training the network to emulate an exponentially large ensemble of smaller networks. For full details, see Dropout: A Simple Way to Prevent Neural Networks from Overfitting .

پویا

#fundamentals

Something done frequently or continuously. The terms dynamic and online are synonyms in machine learning. The following are common uses of dynamic and online in machine learning:

  • A dynamic model (or online model ) is a model that is retrained frequently or continuously.
  • Dynamic training (or online training ) is the process of training frequently or continuously.
  • Dynamic inference (or online inference ) is the process of generating predictions on demand.

dynamic model

#fundamentals

A model that is frequently (maybe even continuously) retrained. A dynamic model is a "lifelong learner" that constantly adapts to evolving data. A dynamic model is also known as an online model .

Contrast with static model .

E

eager execution

#TensorFlow

A TensorFlow programming environment in which operations run immediately. In contrast, operations called in graph execution don't run until they are explicitly evaluated. Eager execution is an imperative interface , much like the code in most programming languages. Eager execution programs are generally far easier to debug than graph execution programs.

early stopping

#fundamentals

A method for regularization that involves ending training before training loss finishes decreasing. In early stopping, you intentionally stop training the model when the loss on a validation dataset starts to increase; that is, when generalization performance worsens.

earth mover's distance (EMD)

A measure of the relative similarity of two distributions . The lower the earth mover's distance, the more similar the distributions.

فاصله را ویرایش کنید

#language

A measurement of how similar two text strings are to each other. In machine learning, edit distance is useful because it is simple to compute, and an effective way to compare two strings that are known to be similar or to find strings that are similar to a given string.

There are several definitions of edit distance, each using different string operations. For example, the Levenshtein distance considers the fewest delete, insert, and substitute operations.

For example, the Levenshtein distance between the words "heart" and "darts" is 3 because the following 3 edits are the fewest changes to turn one word into the other:

  1. heart → deart (substitute "h" with "d")
  2. deart → dart (delete "e")
  3. dart → darts (insert "s")

Einsum notation

An efficient notation for describing how two tensors are to be combined. The tensors are combined by multiplying the elements of one tensor by the elements of the other tensor and then summing the products. Einsum notation uses symbols to identify the axes of each tensor, and those same symbols are rearranged to specify the shape of the new resulting tensor.

NumPy provides a common Einsum implementation.

embedding layer

#language
#fundamentals

A special hidden layer that trains on a high-dimensional categorical feature to gradually learn a lower dimension embedding vector. An embedding layer enables a neural network to train far more efficiently than training just on the high-dimensional categorical feature.

For example, Earth currently supports about 73,000 tree species. Suppose tree species is a feature in your model, so your model's input layer includes a one-hot vector 73,000 elements long. For example, perhaps baobab would be represented something like this:

An array of 73,000 elements. The first 6,232 elements hold the value
     0. The next element holds the value 1. The final 66,767 elements hold
     the value zero.

A 73,000-element array is very long. If you don't add an embedding layer to the model, training is going to be very time consuming due to multiplying 72,999 zeros. Perhaps you pick the embedding layer to consist of 12 dimensions. Consequently, the embedding layer will gradually learn a new embedding vector for each tree species.

In certain situations, hashing is a reasonable alternative to an embedding layer.

See Embeddings in Machine Learning Crash Course for more information.

embedding space

#language

The d-dimensional vector space that features from a higher-dimensional vector space are mapped to. Ideally, the embedding space contains a structure that yields meaningful mathematical results; for example, in an ideal embedding space, addition and subtraction of embeddings can solve word analogy tasks.

The dot product of two embeddings is a measure of their similarity.

embedding vector

#language

Broadly speaking, an array of floating-point numbers taken from any hidden layer that describe the inputs to that hidden layer. Often, an embedding vector is the array of floating-point numbers trained in an embedding layer. For example, suppose an embedding layer must learn an embedding vector for each of the 73,000 tree species on Earth. Perhaps the following array is the embedding vector for a baobab tree:

An array of 12 elements, each holding a floating-point number
          between 0.0 and 1.0.

An embedding vector is not a bunch of random numbers. An embedding layer determines these values through training, similar to the way a neural network learns other weights during training. Each element of the array is a rating along some characteristic of a tree species. Which element represents which tree species' characteristic? That's very hard for humans to determine.

The mathematically remarkable part of an embedding vector is that similar items have similar sets of floating-point numbers. For example, similar tree species have a more similar set of floating-point numbers than dissimilar tree species. Redwoods and sequoias are related tree species, so they'll have a more similar set of floating-pointing numbers than redwoods and coconut palms. The numbers in the embedding vector will change each time you retrain the model, even if you retrain the model with identical input.

empirical cumulative distribution function (eCDF or EDF)

A cumulative distribution function based on empirical measurements from a real dataset. The value of the function at any point along the x-axis is the fraction of observations in the dataset that are less than or equal to the specified value.

empirical risk minimization (ERM)

Choosing the function that minimizes loss on the training set. Contrast with structural risk minimization .

رمزگذار

#language

In general, any ML system that converts from a raw, sparse, or external representation into a more processed, denser, or more internal representation.

Encoders are often a component of a larger model, where they are frequently paired with a decoder . Some Transformers pair encoders with decoders, though other Transformers use only the encoder or only the decoder.

Some systems use the encoder's output as the input to a classification or regression network.

In sequence-to-sequence tasks , an encoder takes an input sequence and returns an internal state (a vector). Then, the decoder uses that internal state to predict the next sequence.

Refer to Transformer for the definition of an encoder in the Transformer architecture.

See LLMs: What's a large language model in Machine Learning Crash Course for more information.

گروه

A collection of models trained independently whose predictions are averaged or aggregated. In many cases, an ensemble produces better predictions than a single model. For example, a random forest is an ensemble built from multiple decision trees . Note that not all decision forests are ensembles.

See Random Forest in Machine Learning Crash Course for more information.

آنتروپی

#df

In information theory , a description of how unpredictable a probability distribution is. Alternatively, entropy is also defined as how much information each example contains. A distribution has the highest possible entropy when all values of a random variable are equally likely.

The entropy of a set with two possible values "0" and "1" (for example, the labels in a binary classification problem) has the following formula:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

کجا:

  • H is the entropy.
  • p is the fraction of "1" examples.
  • q is the fraction of "0" examples. Note that q = (1 - p)
  • log is generally log 2 . In this case, the entropy unit is a bit.

For example, suppose the following:

  • 100 examples contain the value "1"
  • 300 examples contain the value "0"

Therefore, the entropy value is:

  • p = 0.25
  • q = 0.75
  • H = (-0.25)log 2 (0.25) - (0.75)log 2 (0.75) = 0.81 bits per example

A set that is perfectly balanced (for example, 200 "0"s and 200 "1"s) would have an entropy of 1.0 bit per example. As a set becomes more imbalanced , its entropy moves towards 0.0.

In decision trees , entropy helps formulate information gain to help the splitter select the conditions during the growth of a classification decision tree.

Compare entropy with:

Entropy is often called Shannon's entropy .

See Exact splitter for binary classification with numerical features in the Decision Forests course for more information.

محیط زیست

#rl

In reinforcement learning, the world that contains the agent and allows the agent to observe that world's state . For example, the represented world can be a game like chess, or a physical world like a maze. When the agent applies an action to the environment, then the environment transitions between states.

قسمت

#rl

In reinforcement learning, each of the repeated attempts by the agent to learn an environment .

دوران

#fundamentals

A full training pass over the entire training set such that each example has been processed once.

An epoch represents N / batch size training iterations , where N is the total number of examples.

For instance, suppose the following:

  • The dataset consists of 1,000 examples.
  • The batch size is 50 examples.

Therefore, a single epoch requires 20 iterations:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

See Linear regression: Hyperparameters in Machine Learning Crash Course for more information.

epsilon greedy policy

#rl

In reinforcement learning, a policy that either follows a random policy with epsilon probability or a greedy policy otherwise. For example, if epsilon is 0.9, then the policy follows a random policy 90% of the time and a greedy policy 10% of the time.

Over successive episodes, the algorithm reduces epsilon's value in order to shift from following a random policy to following a greedy policy. By shifting the policy, the agent first randomly explores the environment and then greedily exploits the results of random exploration.

equality of opportunity

#fairness

A fairness metric to assess whether a model is predicting the desirable outcome equally well for all values of a sensitive attribute . In other words, if the desirable outcome for a model is the positive class , the goal would be to have the true positive rate be the same for all groups.

Equality of opportunity is related to equalized odds , which requires that both the true positive rates and false positive rates are the same for all groups.

Suppose Glubbdubdrib University admits both Lilliputians and Brobdingnagians to a rigorous mathematics program. Lilliputians' secondary schools offer a robust curriculum of math classes, and the vast majority of students are qualified for the university program. Brobdingnagians' secondary schools don't offer math classes at all, and as a result, far fewer of their students are qualified. Equality of opportunity is satisfied for the preferred label of "admitted" with respect to nationality (Lilliputian or Brobdingnagian) if qualified students are equally likely to be admitted irrespective of whether they're a Lilliputian or a Brobdingnagian.

For example, suppose 100 Lilliputians and 100 Brobdingnagians apply to Glubbdubdrib University, and admissions decisions are made as follows:

Table 1. Lilliputian applicants (90% are qualified)

واجد شرایط فاقد صلاحیت
Admitted 45 3
رد شد 45 7
مجموع 90 10
Percentage of qualified students admitted: 45/90 = 50%
Percentage of unqualified students rejected: 7/10 = 70%
Total percentage of Lilliputian students admitted: (45+3)/100 = 48%

Table 2. Brobdingnagian applicants (10% are qualified):

واجد شرایط فاقد صلاحیت
Admitted 5 9
رد شد 5 81
مجموع 10 90
Percentage of qualified students admitted: 5/10 = 50%
Percentage of unqualified students rejected: 81/90 = 90%
Total percentage of Brobdingnagian students admitted: (5+9)/100 = 14%

The preceding examples satisfy equality of opportunity for acceptance of qualified students because qualified Lilliputians and Brobdingnagians both have a 50% chance of being admitted.

While equality of opportunity is satisfied, the following two fairness metrics are not satisfied:

  • demographic parity : Lilliputians and Brobdingnagians are admitted to the university at different rates; 48% of Lilliputians students are admitted, but only 14% of Brobdingnagian students are admitted.
  • equalized odds : While qualified Lilliputian and Brobdingnagian students both have the same chance of being admitted, the additional constraint that unqualified Lilliputians and Brobdingnagians both have the same chance of being rejected is not satisfied. Unqualified Lilliputians have a 70% rejection rate, whereas unqualified Brobdingnagians have a 90% rejection rate.

See Fairness: Equality of opportunity in Machine Learning Crash Course for more information.

equalized odds

#fairness

A fairness metric to assess whether a model is predicting outcomes equally well for all values of a sensitive attribute with respect to both the positive class and negative class —not just one class or the other exclusively. In other words, both the true positive rate and false negative rate should be the same for all groups.

Equalized odds is related to equality of opportunity , which only focuses on error rates for a single class (positive or negative).

For example, suppose Glubbdubdrib University admits both Lilliputians and Brobdingnagians to a rigorous mathematics program. Lilliputians' secondary schools offer a robust curriculum of math classes, and the vast majority of students are qualified for the university program. Brobdingnagians' secondary schools don't offer math classes at all, and as a result, far fewer of their students are qualified. Equalized odds is satisfied provided that no matter whether an applicant is a Lilliputian or a Brobdingnagian, if they are qualified, they are equally as likely to get admitted to the program, and if they are not qualified, they are equally as likely to get rejected .

Suppose 100 Lilliputians and 100 Brobdingnagians apply to Glubbdubdrib University, and admissions decisions are made as follows:

Table 3. Lilliputian applicants (90% are qualified)

واجد شرایط فاقد صلاحیت
Admitted 45 2
رد شد 45 8
مجموع 90 10
Percentage of qualified students admitted: 45/90 = 50%
Percentage of unqualified students rejected: 8/10 = 80%
Total percentage of Lilliputian students admitted: (45+2)/100 = 47%

Table 4. Brobdingnagian applicants (10% are qualified):

واجد شرایط فاقد صلاحیت
Admitted 5 18
رد شد 5 72
مجموع 10 90
Percentage of qualified students admitted: 5/10 = 50%
Percentage of unqualified students rejected: 72/90 = 80%
Total percentage of Brobdingnagian students admitted: (5+18)/100 = 23%

Equalized odds is satisfied because qualified Lilliputian and Brobdingnagian students both have a 50% chance of being admitted, and unqualified Lilliputian and Brobdingnagian have an 80% chance of being rejected.

Equalized odds is formally defined in "Equality of Opportunity in Supervised Learning" as follows: "predictor Ŷ satisfies equalized odds with respect to protected attribute A and outcome Y if Ŷ and A are independent, conditional on Y."

برآوردگر

#TensorFlow

A deprecated TensorFlow API. Use tf.keras instead of Estimators.

evals

#language
#generativeAI

Primarily used as an abbreviation for LLM evaluations . More broadly, evals is an abbreviation for any form of evaluation .

ارزیابی

#language
#generativeAI

The process of measuring a model's quality or comparing different models against each other.

To evaluate a supervised machine learning model, you typically judge it against a validation set and a test set . Evaluating a LLM typically involves broader quality and safety assessments.

مثال

#fundamentals

The values of one row of features and possibly a label . Examples in supervised learning fall into two general categories:

  • A labeled example consists of one or more features and a label. Labeled examples are used during training.
  • An unlabeled example consists of one or more features but no label. Unlabeled examples are used during inference.

For instance, suppose you are training a model to determine the influence of weather conditions on student test scores. Here are three labeled examples:

ویژگی ها برچسب بزنید
دما رطوبت فشار نمره آزمون
15 47 998 خوب
19 34 1020 عالی
18 92 1012 بیچاره

Here are three unlabeled examples:

دما رطوبت فشار
12 62 1014
21 47 1017
19 41 1021

The row of a dataset is typically the raw source for an example. That is, an example typically consists of a subset of the columns in the dataset. Furthermore, the features in an example can also include synthetic features , such as feature crosses .

See Supervised Learning in the Introduction to Machine Learning course for more information.

experience replay

#rl

In reinforcement learning, a DQN technique used to reduce temporal correlations in training data. The agent stores state transitions in a replay buffer , and then samples transitions from the replay buffer to create training data.

experimenter's bias

#fairness

See confirmation bias .

exploding gradient problem

#seq

The tendency for gradients in deep neural networks (especially recurrent neural networks ) to become surprisingly steep (high). Steep gradients often cause very large updates to the weights of each node in a deep neural network.

Models suffering from the exploding gradient problem become difficult or impossible to train. Gradient clipping can mitigate this problem.

Compare to vanishing gradient problem .

اف

F 1

A "roll-up" binary classification metric that relies on both precision and recall . این فرمول است:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

For example, given the following:

  • precision = 0.6
  • recall = 0.4
$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

When precision and recall are fairly similar (as in the preceding example), F 1 is close to their mean. When precision and recall differ significantly, F 1 is closer to the lower value. به عنوان مثال:

  • precision = 0.9
  • recall = 0.1
$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

fairness constraint

#fairness
Applying a constraint to an algorithm to ensure one or more definitions of fairness are satisfied. Examples of fairness constraints include:

fairness metric

#fairness

A mathematical definition of "fairness" that is measurable. Some commonly used fairness metrics include:

Many fairness metrics are mutually exclusive; see incompatibility of fairness metrics .

false negative (FN)

#fundamentals

An example in which the model mistakenly predicts the negative class . For example, the model predicts that a particular email message is not spam (the negative class), but that email message actually is spam .

نرخ منفی کاذب

The proportion of actual positive examples for which the model mistakenly predicted the negative class. The following formula calculates the false negative rate:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

See Thresholds and the confusion matrix in Machine Learning Crash Course for more information.

false positive (FP)

#fundamentals

An example in which the model mistakenly predicts the positive class . For example, the model predicts that a particular email message is spam (the positive class), but that email message is actually not spam .

See Thresholds and the confusion matrix in Machine Learning Crash Course for more information.

false positive rate (FPR)

#fundamentals

The proportion of actual negative examples for which the model mistakenly predicted the positive class. The following formula calculates the false positive rate:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

The false positive rate is the x-axis in an ROC curve .

See Classification: ROC and AUC in Machine Learning Crash Course for more information.

ویژگی

#fundamentals

An input variable to a machine learning model. An example consists of one or more features. For instance, suppose you are training a model to determine the influence of weather conditions on student test scores. The following table shows three examples, each of which contains three features and one label:

ویژگی ها برچسب بزنید
دما رطوبت فشار نمره آزمون
15 47 998 92
19 34 1020 84
18 92 1012 87

Contrast with label .

See Supervised Learning in the Introduction to Machine Learning course for more information.

feature cross

#fundamentals

A synthetic feature formed by "crossing" categorical or bucketed features.

For example, consider a "mood forecasting" model that represents temperature in one of the following four buckets:

  • freezing
  • chilly
  • temperate
  • warm

And represents wind speed in one of the following three buckets:

  • still
  • light
  • windy

Without feature crosses, the linear model trains independently on each of the preceding seven various buckets. So, the model trains on, for example, freezing independently of the training on, for example, windy .

Alternatively, you could create a feature cross of temperature and wind speed. This synthetic feature would have the following 12 possible values:

  • freezing-still
  • freezing-light
  • freezing-windy
  • chilly-still
  • chilly-light
  • chilly-windy
  • temperate-still
  • temperate-light
  • temperate-windy
  • warm-still
  • warm-light
  • warm-windy

Thanks to feature crosses, the model can learn mood differences between a freezing-windy day and a freezing-still day.

If you create a synthetic feature from two features that each have a lot of different buckets, the resulting feature cross will have a huge number of possible combinations. For example, if one feature has 1,000 buckets and the other feature has 2,000 buckets, the resulting feature cross has 2,000,000 buckets.

Formally, a cross is a Cartesian product .

Feature crosses are mostly used with linear models and are rarely used with neural networks.

See Categorical data: Feature crosses in Machine Learning Crash Course for more information.

مهندسی ویژگی

#fundamentals
#TensorFlow

A process that involves the following steps:

  1. Determining which features might be useful in training a model.
  2. Converting raw data from the dataset into efficient versions of those features.

For example, you might determine that temperature might be a useful feature. Then, you might experiment with bucketing to optimize what the model can learn from different temperature ranges.

Feature engineering is sometimes called feature extraction or featurization .

See Numerical data: How a model ingests data using feature vectors in Machine Learning Crash Course for more information.

استخراج ویژگی

Overloaded term having either of the following definitions:

feature importances

#df

Synonym for variable importances .

مجموعه ویژگی

#fundamentals

The group of features your machine learning model trains on. For example, postal code, property size, and property condition might comprise a simple feature set for a model that predicts housing prices.

feature spec

#TensorFlow

Describes the information required to extract features data from the tf.Example protocol buffer. Because the tf.Example protocol buffer is just a container for data, you must specify the following:

  • The data to extract (that is, the keys for the features)
  • The data type (for example, float or int)
  • The length (fixed or variable)

بردار ویژگی

#fundamentals

The array of feature values comprising an example . The feature vector is input during training and during inference . For example, the feature vector for a model with two discrete features might be:

[0.92, 0.56]

Four layers: an input layer, two hidden layers, and one output layer.
          The input layer contains two nodes, one containing the value
          0.92 and the other containing the value 0.56.

Each example supplies different values for the feature vector, so the feature vector for the next example could be something like:

[0.73, 0.49]

Feature engineering determines how to represent features in the feature vector. For example, a binary categorical feature with five possible values might be represented with one-hot encoding . In this case, the portion of the feature vector for a particular example would consist of four zeroes and a single 1.0 in the third position, as follows:

[0.0, 0.0, 1.0, 0.0, 0.0]

As another example, suppose your model consists of three features:

  • a binary categorical feature with five possible values represented with one-hot encoding; for example: [0.0, 1.0, 0.0, 0.0, 0.0]
  • another binary categorical feature with three possible values represented with one-hot encoding; for example: [0.0, 0.0, 1.0]
  • a floating-point feature; for example: 8.3 .

In this case, the feature vector for each example would be represented by nine values. Given the example values in the preceding list, the feature vector would be:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

See Numerical data: How a model ingests data using feature vectors in Machine Learning Crash Course for more information.

featurization

The process of extracting features from an input source, such as a document or video, and mapping those features into a feature vector .

Some ML experts use featurization as a synonym for feature engineering or feature extraction .

federated learning

A distributed machine learning approach that trains machine learning models using decentralized examples residing on devices such as smartphones. In federated learning, a subset of devices downloads the current model from a central coordinating server. The devices use the examples stored on the devices to make improvements to the model. The devices then upload the model improvements (but not the training examples) to the coordinating server, where they are aggregated with other updates to yield an improved global model. After the aggregation, the model updates computed by devices are no longer needed, and can be discarded.

Since the training examples are never uploaded, federated learning follows the privacy principles of focused data collection and data minimization.

For more information about federated learning, see this tutorial .

حلقه بازخورد

#fundamentals

In machine learning, a situation in which a model's predictions influence the training data for the same model or another model. For example, a model that recommends movies will influence the movies that people see, which will then influence subsequent movie recommendation models.

See Production ML systems: Questions to ask in Machine Learning Crash Course for more information.

feedforward neural network (FFN)

A neural network without cyclic or recursive connections. For example, traditional deep neural networks are feedforward neural networks. Contrast with recurrent neural networks , which are cyclic.

few-shot learning

A machine learning approach, often used for object classification, designed to train effective classifiers from only a small number of training examples.

See also one-shot learning and zero-shot learning .

few-shot prompting

#language
#generativeAI

A prompt that contains more than one (a "few") example demonstrating how the large language model should respond. For example, the following lengthy prompt contains two examples showing a large language model how to answer a query.

Parts of one prompt یادداشت ها
What is the official currency of the specified country? The question you want the LLM to answer.
France: EUR یک مثال.
United Kingdom: GBP مثال دیگر.
هند: The actual query.

Few-shot prompting generally produces more desirable results than zero-shot prompting and one-shot prompting . However, few-shot prompting requires a lengthier prompt.

Few-shot prompting is a form of few-shot learning applied to prompt-based learning .

See Prompt engineering in Machine Learning Crash Course for more information.

کمانچه

#language

A Python-first configuration library that sets the values of functions and classes without invasive code or infrastructure. In the case of Pax —and other ML codebases—these functions and classes represent models and training hyperparameters .

Fiddle assumes that machine learning codebases are typically divided into:

  • Library code, which defines the layers and optimizers.
  • Dataset "glue" code, which calls the libraries and wires everything together.

Fiddle captures the call structure of the glue code in an unevaluated and mutable form.

تنظیم دقیق

#language
#تصویر
#generativeAI

A second, task-specific training pass performed on a pre-trained model to refine its parameters for a specific use case. For example, the full training sequence for some large language models is as follows:

  1. Pre-training: Train a large language model on a vast general dataset, such as all the English language Wikipedia pages.
  2. Fine-tuning: Train the pre-trained model to perform a specific task, such as responding to medical queries. Fine-tuning typically involves hundreds or thousands of examples focused on the specific task.

As another example, the full training sequence for a large image model is as follows:

  1. Pre-training: Train a large image model on a vast general image dataset, such as all the images in Wikimedia commons.
  2. Fine-tuning: Train the pre-trained model to perform a specific task, such as generating images of orcas.

Fine-tuning can entail any combination of the following strategies:

  • Modifying all of the pre-trained model's existing parameters . This is sometimes called full fine-tuning .
  • Modifying only some of the pre-trained model's existing parameters (typically, the layers closest to the output layer ), while keeping other existing parameters unchanged (typically, the layers closest to the input layer ). See parameter-efficient tuning .
  • Adding more layers, typically on top of the existing layers closest to the output layer.

Fine-tuning is a form of transfer learning . As such, fine-tuning might use a different loss function or a different model type than those used to train the pre-trained model. For example, you could fine-tune a pre-trained large image model to produce a regression model that returns the number of birds in an input image.

Compare and contrast fine-tuning with the following terms:

See Fine-tuning in Machine Learning Crash Course for more information.

کتان

#language

A high-performance open-source library for deep learning built on top of JAX . Flax provides functions for training neural networks , as well as methods for evaluating their performance.

Flaxformer

#language

An open-source Transformer library , built on Flax , designed primarily for natural language processing and multimodal research.

دروازه را فراموش کن

#seq

The portion of a Long Short-Term Memory cell that regulates the flow of information through the cell. Forget gates maintain context by deciding which information to discard from the cell state.

full softmax

Synonym for softmax .

Contrast with candidate sampling .

See Neural networks: Multi-class classification in Machine Learning Crash Course for more information.

لایه کاملا متصل

A hidden layer in which each node is connected to every node in the subsequent hidden layer.

A fully connected layer is also known as a dense layer .

function transformation

A function that takes a function as input and returns a transformed function as output. JAX uses function transformations.

جی

GAN

Abbreviation for generative adversarial network .

تعمیم

#fundamentals

A model's ability to make correct predictions on new, previously unseen data. A model that can generalize is the opposite of a model that is overfitting .

See Generalization in Machine Learning Crash Course for more information.

جوزا

#language
#تصویر
#generativeAI

The ecosystem comprising Google's most advanced AI. Elements of this ecosystem include:

  • Various Gemini models .
  • The interactive conversational interface to a Gemini model . Users type prompts and Gemini responds to those prompts.
  • Various Gemini APIs.
  • Various business products based on Gemini models; for example, Gemini for Google Cloud .

مدل های جمینی

#language
#تصویر
#generativeAI

Google's state-of-the-art Transformer -based multimodal models . Gemini models are specifically designed to integrate with agents .

Users can interact with Gemini models in a variety of ways, including through an interactive dialog interface and through SDKs.

generalization curve

#fundamentals

A plot of both training loss and validation loss as a function of the number of iterations .

A generalization curve can help you detect possible overfitting . For example, the following generalization curve suggests overfitting because validation loss ultimately becomes significantly higher than training loss.

A Cartesian graph in which the y-axis is labeled loss and the x-axis
          is labeled iterations. Two plots appear. One plots shows the
          training loss and the other shows the validation loss.
          The two plots start off similarly, but the training loss eventually
          dips far lower than the validation loss.

See Generalization in Machine Learning Crash Course for more information.

generalized linear model

A generalization of least squares regression models, which are based on Gaussian noise , to other types of models based on other types of noise, such as Poisson noise or categorical noise. Examples of generalized linear models include:

The parameters of a generalized linear model can be found through convex optimization .

Generalized linear models exhibit the following properties:

  • The average prediction of the optimal least squares regression model is equal to the average label on the training data.
  • The average probability predicted by the optimal logistic regression model is equal to the average label on the training data.

The power of a generalized linear model is limited by its features. Unlike a deep model, a generalized linear model cannot "learn new features."

generative adversarial network (GAN)

A system to create new data in which a generator creates data and a discriminator determines whether that created data is valid or invalid.

See the Generative Adversarial Networks course for more information.

هوش مصنوعی مولد

#language
#تصویر
#generativeAI

An emerging transformative field with no formal definition. That said, most experts agree that generative AI models can create ("generate") content that is all of the following:

  • مجتمع
  • منسجم
  • اصلی

For example, a generative AI model can create sophisticated essays or images.

Some earlier technologies, including LSTMs and RNNs , can also generate original and coherent content. Some experts view these earlier technologies as generative AI, while others feel that true generative AI requires more complex output than those earlier technologies can produce.

Contrast with predictive ML .

مدل مولد

Practically speaking, a model that does either of the following:

  • Creates (generates) new examples from the training dataset. For example, a generative model could create poetry after training on a dataset of poems. The generator part of a generative adversarial network falls into this category.
  • Determines the probability that a new example comes from the training set, or was created from the same mechanism that created the training set. For example, after training on a dataset consisting of English sentences, a generative model could determine the probability that new input is a valid English sentence.

A generative model can theoretically discern the distribution of examples or particular features in a dataset. یعنی:

p(examples)

Unsupervised learning models are generative.

Contrast with discriminative models .

ژنراتور

The subsystem within a generative adversarial network that creates new examples .

Contrast with discriminative model .

gini impurity

#df

A metric similar to entropy . Splitters use values derived from either gini impurity or entropy to compose conditions for classification decision trees . Information gain is derived from entropy. There is no universally accepted equivalent term for the metric derived from gini impurity; however, this unnamed metric is just as important as information gain.

Gini impurity is also called gini index , or simply gini .

golden dataset

A set of manually curated data that captures ground truth . Teams can use one or more golden datasets to evaluate a model's quality.

Some golden datasets capture different subdomains of ground truth. For example, a golden dataset for image classification might capture lighting conditions and image resolution.

GPT (ترانسفورماتور از پیش آموزش دیده ژنراتور)

#language

A family of Transformer -based large language models developed by OpenAI .

GPT variants can apply to multiple modalities , including:

  • image generation (for example, ImageGPT)
  • text-to-image generation (for example, DALL-E ).

گرادیان

The vector of partial derivatives with respect to all of the independent variables. In machine learning, the gradient is the vector of partial derivatives of the model function. The gradient points in the direction of steepest ascent.

gradient accumulation

A backpropagation technique that updates the parameters only once per epoch rather than once per iteration. After processing each mini-batch , gradient accumulation simply updates a running total of gradients. Then, after processing the last mini-batch in the epoch, the system finally updates the parameters based on the total of all gradient changes.

Gradient accumulation is useful when the batch size is very large compared to the amount of available memory for training. When memory is an issue, the natural tendency is to reduce batch size. However, reducing the batch size in normal backpropagation increases the number of parameter updates. Gradient accumulation enables the model to avoid memory issues but still train efficiently.

gradient boosted (decision) trees (GBT)

#df

A type of decision forest in which:

See Gradient Boosted Decision Trees in the Decision Forests course for more information.

تقویت گرادیان

#df

A training algorithm where weak models are trained to iteratively improve the quality (reduce the loss) of a strong model. For example, a weak model could be a linear or small decision tree model. The strong model becomes the sum of all the previously trained weak models.

In the simplest form of gradient boosting, at each iteration, a weak model is trained to predict the loss gradient of the strong model. Then, the strong model's output is updated by subtracting the predicted gradient, similar to gradient descent .

$$F_{0} = 0$$$$F_{i+1} = F_i - \xi f_i $$

کجا:

  • $F_{0}$ is the starting strong model.
  • $F_{i+1}$ is the next strong model.
  • $F_{i}$ is the current strong model.
  • $\xi$ is a value between 0.0 and 1.0 called shrinkage , which is analogous to the learning rate in gradient descent.
  • $f_{i}$ is the weak model trained to predict the loss gradient of $F_{i}$.

Modern variations of gradient boosting also include the second derivative (Hessian) of the loss in their computation.

Decision trees are commonly used as weak models in gradient boosting. See gradient boosted (decision) trees .

gradient clipping

#seq

A commonly used mechanism to mitigate the exploding gradient problem by artificially limiting (clipping) the maximum value of gradients when using gradient descent to train a model.

gradient descent

#fundamentals

A mathematical technique to minimize loss . Gradient descent iteratively adjusts weights and biases , gradually finding the best combination to minimize loss.

Gradient descent is older—much, much older—than machine learning.

See the Linear regression: Gradient descent in Machine Learning Crash Course for more information.

نمودار

#TensorFlow

In TensorFlow, a computation specification. Nodes in the graph represent operations. Edges are directed and represent passing the result of an operation (a Tensor ) as an operand to another operation. Use TensorBoard to visualize a graph.

graph execution

#TensorFlow

A TensorFlow programming environment in which the program first constructs a graph and then executes all or part of that graph. Graph execution is the default execution mode in TensorFlow 1.x.

Contrast with eager execution .

greedy policy

#rl

In reinforcement learning, a policy that always chooses the action with the highest expected return .

ground truth

#fundamentals

واقعیت.

The thing that actually happened.

For example, consider a binary classification model that predicts whether a student in their first year of university will graduate within six years. Ground truth for this model is whether or not that student actually graduated within six years.

group attribution bias

#fairness

Assuming that what is true for an individual is also true for everyone in that group. The effects of group attribution bias can be exacerbated if a convenience sampling is used for data collection. In a non-representative sample, attributions may be made that don't reflect reality.

See also out-group homogeneity bias and in-group bias . Also, see Fairness: Types of bias in Machine Learning Crash Course for more information.

اچ

توهم

#language

The production of plausible-seeming but factually incorrect output by a generative AI model that purports to be making an assertion about the real world. For example, a generative AI model that claims that Barack Obama died in 1865 is hallucinating .

هش کردن

In machine learning, a mechanism for bucketing categorical data , particularly when the number of categories is large, but the number of categories actually appearing in the dataset is comparatively small.

For example, Earth is home to about 73,000 tree species. You could represent each of the 73,000 tree species in 73,000 separate categorical buckets. Alternatively, if only 200 of those tree species actually appear in a dataset, you could use hashing to divide tree species into perhaps 500 buckets.

A single bucket could contain multiple tree species. For example, hashing could place baobab and red maple —two genetically dissimilar species—into the same bucket. Regardless, hashing is still a good way to map large categorical sets into the selected number of buckets. Hashing turns a categorical feature having a large number of possible values into a much smaller number of values by grouping values in a deterministic way.

See Categorical data: Vocabulary and one-hot encoding in Machine Learning Crash Course for more information.

heuristic

A simple and quickly implemented solution to a problem. For example, "With a heuristic, we achieved 86% accuracy. When we switched to a deep neural network, accuracy went up to 98%."

hidden layer

#fundamentals

A layer in a neural network between the input layer (the features) and the output layer (the prediction). Each hidden layer consists of one or more neurons . For example, the following neural network contains two hidden layers, the first with three neurons and the second with two neurons:

Four layers. The first layer is an input layer containing two
          features. The second layer is a hidden layer containing three
          neurons. The third layer is a hidden layer containing two
          neurons. The fourth layer is an output layer. Each feature
          contains three edges, each of which points to a different neuron
          in the second layer. Each of the neurons in the second layer
          contains two edges, each of which points to a different neuron
          in the third layer. Each of the neurons in the third layer contain
          one edge, each pointing to the output layer.

A deep neural network contains more than one hidden layer. For example, the preceding illustration is a deep neural network because the model contains two hidden layers.

See Neural networks: Nodes and hidden layers in Machine Learning Crash Course for more information.

خوشه بندی سلسله مراتبی

#clustering

A category of clustering algorithms that create a tree of clusters. Hierarchical clustering is well-suited to hierarchical data, such as botanical taxonomies. There are two types of hierarchical clustering algorithms:

  • Agglomerative clustering first assigns every example to its own cluster, and iteratively merges the closest clusters to create a hierarchical tree.
  • Divisive clustering first groups all examples into one cluster and then iteratively divides the cluster into a hierarchical tree.

Contrast with centroid-based clustering .

See Clustering algorithms in the Clustering course for more information.

hinge loss

A family of loss functions for classification designed to find the decision boundary as distant as possible from each training example, thus maximizing the margin between examples and the boundary. KSVMs use hinge loss (or a related function, such as squared hinge loss). For binary classification, the hinge loss function is defined as follows:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

where y is the true label, either -1 or +1, and y' is the raw output of the classifier model:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Consequently, a plot of hinge loss versus (y * y') looks as follows:

A Cartesian plot consisting of two joined line segments. The first
          line segment starts at (-3, 4) and ends at (1, 0). The second line
          segment begins at (1, 0) and continues indefinitely with a slope
          of 0.

historical bias

#fairness

A type of bias that already exists in the world and has made its way into a dataset. These biases have a tendency to reflect existing cultural stereotypes, demographic inequalities, and prejudices against certain social groups.

For example, consider a classification model that predicts whether or not a loan applicant will default on their loan, which was trained on historical loan-default data from the 1980s from local banks in two different communities. If past applicants from Community A were six times more likely to default on their loans than applicants from Community B, the model might learn a historical bias resulting in the model being less likely to approve loans in Community A, even if the historical conditions that resulted in that community's higher default rates were no longer relevant.

See Fairness: Types of bias in Machine Learning Crash Course for more information.

holdout data

Examples intentionally not used ("held out") during training. The validation dataset and test dataset are examples of holdout data. Holdout data helps evaluate your model's ability to generalize to data other than the data it was trained on. The loss on the holdout set provides a better estimate of the loss on an unseen dataset than does the loss on the training set.

میزبان

#TensorFlow
#GoogleCloud

When training an ML model on accelerator chips (GPUs or TPUs ), the part of the system that controls both of the following:

  • The overall flow of the code.
  • The extraction and transformation of the input pipeline.

The host typically runs on a CPU, not on an accelerator chip; the device manipulates tensors on the accelerator chips.

hyperparameter

#fundamentals

The variables that you or a hyperparameter tuning serviceadjust during successive runs of training a model. For example, learning rate is a hyperparameter. You could set the learning rate to 0.01 before one training session. If you determine that 0.01 is too high, you could perhaps set the learning rate to 0.003 for the next training session.

In contrast, parameters are the various weights and bias that the model learns during training.

See Linear regression: Hyperparameters in Machine Learning Crash Course for more information.

hyperplane

A boundary that separates a space into two subspaces. For example, a line is a hyperplane in two dimensions and a plane is a hyperplane in three dimensions. More typically in machine learning, a hyperplane is the boundary separating a high-dimensional space. Kernel Support Vector Machines use hyperplanes to separate positive classes from negative classes, often in a very high-dimensional space.

من

iid

Abbreviation for independently and identically distributed .

تشخیص تصویر

#تصویر

A process that classifies object(s), pattern(s), or concept(s) in an image. Image recognition is also known as image classification .

For more information, see ML Practicum: Image Classification .

See the ML Practicum: Image Classification course for more information.

imbalanced dataset

Synonym for class-imbalanced dataset .

سوگیری ضمنی

#fairness

Automatically making an association or assumption based on one's mind models and memories. Implicit bias can affect the following:

  • How data is collected and classified.
  • How machine learning systems are designed and developed.

For example, when building a classifier to identify wedding photos, an engineer may use the presence of a white dress in a photo as a feature. However, white dresses have been customary only during certain eras and in certain cultures.

See also confirmation bias .

imputation

Short form of value imputation .

incompatibility of fairness metrics

#fairness

The idea that some notions of fairness are mutually incompatible and cannot be satisfied simultaneously. As a result, there is no single universal metric for quantifying fairness that can be applied to all ML problems.

While this may seem discouraging, incompatibility of fairness metrics doesn't imply that fairness efforts are fruitless. Instead, it suggests that fairness must be defined contextually for a given ML problem, with the goal of preventing harms specific to its use cases.

See "On the (im)possibility of fairness" for a more detailed discussion of this topic.

in-context learning

#language
#generativeAI

Synonym for few-shot prompting .

independently and identically distributed (iid)

#fundamentals

Data drawn from a distribution that doesn't change, and where each value drawn doesn't depend on values that have been drawn previously. An iid is the ideal gas of machine learning—a useful mathematical construct but almost never exactly found in the real world. For example, the distribution of visitors to a web page may be iid over a brief window of time; that is, the distribution doesn't change during that brief window and one person's visit is generally independent of another's visit. However, if you expand that window of time, seasonal differences in the web page's visitors may appear.

See also nonstationarity .

individual fairness

#fairness

A fairness metric that checks whether similar individuals are classified similarly. For example, Brobdingnagian Academy might want to satisfy individual fairness by ensuring that two students with identical grades and standardized test scores are equally likely to gain admission.

Note that individual fairness relies entirely on how you define "similarity" (in this case, grades and test scores), and you can run the risk of introducing new fairness problems if your similarity metric misses important information (such as the rigor of a student's curriculum).

See "Fairness Through Awareness" for a more detailed discussion of individual fairness.

استنتاج

#fundamentals

In machine learning, the process of making predictions by applying a trained model to unlabeled examples .

Inference has a somewhat different meaning in statistics. See the Wikipedia article on statistical inference for details.

See Supervised Learning in the Intro to ML course to see inference's role in a supervised learning system.

inference path

#df

In a decision tree , during inference , the route a particular example takes from the root to other conditions , terminating with a leaf . For example, in the following decision tree, the thicker arrows show the inference path for an example with the following feature values:

  • x = 7
  • y = 12
  • z = -3

The inference path in the following illustration travels through three conditions before reaching the leaf ( Zeta ).

A decision tree consisting of four conditions and five leaves.
          The root condition is (x > 0). Since the answer is Yes, the
          inference path travels from the root to the next condition (y > 0).
          Since the answer is Yes, the inference path then travels to the
          next condition (z > 0). Since the answer is No, the inference path
          travels to its terminal node, which is the leaf (Zeta).

The three thick arrows show the inference path.

See Decision trees in the Decision Forests course for more information.

information gain

#df

In decision forests , the difference between a node's entropy and the weighted (by number of examples) sum of the entropy of its children nodes. A node's entropy is the entropy of the examples in that node.

For example, consider the following entropy values:

  • entropy of parent node = 0.6
  • entropy of one child node with 16 relevant examples = 0.2
  • entropy of another child node with 24 relevant examples = 0.1

So 40% of the examples are in one child node and 60% are in the other child node. بنابراین:

  • weighted entropy sum of child nodes = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

So, the information gain is:

  • information gain = entropy of parent node - weighted entropy sum of child nodes
  • information gain = 0.6 - 0.14 = 0.46

Most splitters seek to create conditions that maximize information gain.

in-group bias

#fairness

Showing partiality to one's own group or own characteristics. If testers or raters consist of the machine learning developer's friends, family, or colleagues, then in-group bias may invalidate product testing or the dataset.

In-group bias is a form of group attribution bias . See also out-group homogeneity bias .

See Fairness: Types of bias in Machine Learning Crash Course for more information.

input generator

A mechanism by which data is loaded into a neural network .

An input generator can be thought of as a component responsible for processing raw data into tensors which are iterated over to generate batches for training, evaluation, and inference.

input layer

#fundamentals

The layer of a neural network that holds the feature vector . That is, the input layer provides examples for training or inference . For example, the input layer in the following neural network consists of two features:

Four layers: an input layer, two hidden layers, and an output layer.

in-set condition

#df

In a decision tree , a condition that tests for the presence of one item in a set of items. For example, the following is an in-set condition:

  house-style in [tudor, colonial, cape]

During inference, if the value of the house-style feature is tudor or colonial or cape , then this condition evaluates to Yes. If the value of the house-style feature is something else (for example, ranch ), then this condition evaluates to No.

In-set conditions usually lead to more efficient decision trees than conditions that test one-hot encoded features.

نمونه

Synonym for example .

instruction tuning

#generativeAI

A form of fine-tuning that improves a generative AI model's ability to follow instructions. Instruction tuning involves training a model on a series of instruction prompts, typically covering a wide variety of tasks. The resulting instruction-tuned model then tends to generate useful responses to zero-shot prompts across a variety of tasks.

Compare and contrast with:

تفسیر پذیری

#fundamentals

The ability to explain or to present an ML model's reasoning in understandable terms to a human.

Most linear regression models, for example, are highly interpretable. (You merely need to look at the trained weights for each feature.) Decision forests are also highly interpretable. Some models, however, require sophisticated visualization to become interpretable.

You can use the Learning Interpretability Tool (LIT) to interpret ML models.

inter-rater agreement

A measurement of how often human raters agree when doing a task. If raters disagree, the task instructions may need to be improved. Also sometimes called inter-annotator agreement or inter-rater reliability . See also Cohen's kappa , which is one of the most popular inter-rater agreement measurements.

See Categorical data: Common issues in Machine Learning Crash Course for more information.

intersection over union (IoU)

#تصویر

The intersection of two sets divided by their union. In machine-learning image-detection tasks, IoU is used to measure the accuracy of the model's predicted bounding box with respect to the ground-truth bounding box. In this case, the IoU for the two boxes is the ratio between the overlapping area and the total area, and its value ranges from 0 (no overlap of predicted bounding box and ground-truth bounding box) to 1 (predicted bounding box and ground-truth bounding box have the exact same coordinates).

For example, in the image below:

  • The predicted bounding box (the coordinates delimiting where the model predicts the night table in the painting is located) is outlined in purple.
  • The ground-truth bounding box (the coordinates delimiting where the night table in the painting is actually located) is outlined in green.

The Van Gogh painting Vincent's Bedroom in Arles, with two different
          bounding boxes around the night table beside the bed. The ground-truth
          bounding box (in green) perfectly circumscribes the night table. The
          predicted bounding box (in purple) is offset 50% down and to the right
          of the ground-truth bounding box; it encloses the bottom-right quarter
          of the night table, but misses the rest of the table.

Here, the intersection of the bounding boxes for prediction and ground truth (below left) is 1, and the union of the bounding boxes for prediction and ground truth (below right) is 7, so the IoU is \(\frac{1}{7}\).

Same image as above, but with each bounding box divided into four
          quadrants. There are seven quadrants total, as the bottom-right
          quadrant of the ground-truth bounding box and the top-left
          quadrant of the predicted bounding box overlap each other. This
          overlapping section (highlighted in green) represents the
          intersection, and has an area of 1.Same image as above, but with each bounding box divided into four
          quadrants. There are seven quadrants total, as the bottom-right
          quadrant of the ground-truth bounding box and the top-left
          quadrant of the predicted bounding box overlap each other.
          The entire interior enclosed by both bounding boxes
          (highlighted in green) represents the union, and has
          an area of 7.

IoU

Abbreviation for intersection over union .

item matrix

#recsystems

In recommendation systems , a matrix of embedding vectors generated by matrix factorization that holds latent signals about each item . Each row of the item matrix holds the value of a single latent feature for all items. For example, consider a movie recommendation system. Each column in the item matrix represents a single movie. The latent signals might represent genres, or might be harder-to-interpret signals that involve complex interactions among genre, stars, movie age, or other factors.

The item matrix has the same number of columns as the target matrix that is being factorized. For example, given a movie recommendation system that evaluates 10,000 movie titles, the item matrix will have 10,000 columns.

موارد

#recsystems

In a recommendation system , the entities that a system recommends. For example, videos are the items that a video store recommends, while books are the items that a bookstore recommends.

تکرار

#fundamentals

A single update of a model's parameters—the model's weights and biases —during training . The batch size determines how many examples the model processes in a single iteration. For instance, if the batch size is 20, then the model processes 20 examples before adjusting the parameters.

When training a neural network , a single iteration involves the following two passes:

  1. A forward pass to evaluate loss on a single batch.
  2. A backward pass ( backpropagation ) to adjust the model's parameters based on the loss and the learning rate.

جی

JAX

An array computing library, bringing together XLA (Accelerated Linear Algebra) and automatic differentiation for high-performance numerical computing. JAX provides a simple and powerful API for writing accelerated numerical code with composable transformations. JAX provides features such as:

  • grad (automatic differentiation)
  • jit (just-in-time compilation)
  • vmap (automatic vectorization or batching)
  • pmap (parallelization)

JAX is a language for expressing and composing transformations of numerical code, analogous—but much larger in scope—to Python's NumPy library. (In fact, the .numpy library under JAX is a functionally equivalent, but entirely rewritten version of the Python NumPy library.)

JAX is particularly well-suited for speeding up many machine learning tasks by transforming the models and data into a form suitable for parallelism across GPU and TPU accelerator chips .

Flax , Optax , Pax , and many other libraries are built on the JAX infrastructure.

ک

کراس

A popular Python machine learning API. Keras runs on several deep learning frameworks, including TensorFlow, where it is made available as tf.keras .

Kernel Support Vector Machines (KSVMs)

A classification algorithm that seeks to maximize the margin between positive and negative classes by mapping input data vectors to a higher dimensional space. For example, consider a classification problem in which the input dataset has a hundred features. To maximize the margin between positive and negative classes, a KSVM could internally map those features into a million-dimension space. KSVMs uses a loss function called hinge loss .

keypoints

#تصویر

The coordinates of particular features in an image. For example, for an image recognition model that distinguishes flower species, keypoints might be the center of each petal, the stem, the stamen, and so on.

k-fold cross validation

An algorithm for predicting a model's ability to generalize to new data. The k in k-fold refers to the number of equal groups you divide a dataset's examples into; that is, you train and test your model k times. For each round of training and testing, a different group is the test set, and all remaining groups become the training set. After k rounds of training and testing, you calculate the mean and standard deviation of the chosen test metric(s).

For example, suppose your dataset consists of 120 examples. Further suppose, you decide to set k to 4. Therefore, after shuffling the examples, you divide the dataset into four equal groups of 30 examples and conduct four training and testing rounds:

A dataset broken into four equal groups of examples. In Round 1,
          the first three groups are used for training and the last group
          is used for testing. In Round 2, the first two groups and the last
          group are used for training, while the third group is used for
          testing. In Round 3, the first group and the last two groups are
          used for training, while the second group is used for testing.
          In Round 4, the first group is used is for testing, while the final
          three groups are used for training.

For example, Mean Squared Error (MSE) might be the most meaningful metric for a linear regression model. Therefore, you would find the mean and standard deviation of the MSE across all four rounds.

k-به معنی

#clustering

A popular clustering algorithm that groups examples in unsupervised learning. The k-means algorithm basically does the following:

  • Iteratively determines the best k center points (known as centroids ).
  • Assigns each example to the closest centroid. Those examples nearest the same centroid belong to the same group.

The k-means algorithm picks centroid locations to minimize the cumulative square of the distances from each example to its closest centroid.

For example, consider the following plot of dog height to dog width:

A Cartesian plot with several dozen data points.

If k=3, the k-means algorithm will determine three centroids. Each example is assigned to its closest centroid, yielding three groups:

The same Cartesian plot as in the previous illustration, except
          with three centroids added.
          The previous data points are clustered into three distinct groups,
          with each group representing the data points closest to a particular
          centroid.

Imagine that a manufacturer wants to determine the ideal sizes for small, medium, and large sweaters for dogs. The three centroids identify the mean height and mean width of each dog in that cluster. So, the manufacturer should probably base sweater sizes on those three centroids. Note that the centroid of a cluster is typically not an example in the cluster.

The preceding illustrations shows k-means for examples with only two features (height and width). Note that k-means can group examples across many features.

k-median

#clustering

A clustering algorithm closely related to k-means . The practical difference between the two is as follows:

  • In k-means, centroids are determined by minimizing the sum of the squares of the distance between a centroid candidate and each of its examples.
  • In k-median, centroids are determined by minimizing the sum of the distance between a centroid candidate and each of its examples.

Note that the definitions of distance are also different:

  • k-means relies on the Euclidean distance from the centroid to an example. (In two dimensions, the Euclidean distance means using the Pythagorean theorem to calculate the hypotenuse.) For example, the k-means distance between (2,2) and (5,-2) would be:
$$ {\text{Euclidean distance}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5 $$
  • k-median relies on the Manhattan distance from the centroid to an example. This distance is the sum of the absolute deltas in each dimension. For example, the k-median distance between (2,2) and (5,-2) would be:
$$ {\text{Manhattan distance}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7 $$

L

L 0 regularization

#fundamentals

A type of regularization that penalizes the total number of nonzero weights in a model. For example, a model having 11 nonzero weights would be penalized more than a similar model having 10 nonzero weights.

L 0 regularization is sometimes called L0-norm regularization .

L 1 loss

#fundamentals

A loss function that calculates the absolute value of the difference between actual label values and the values that a model predicts. For example, here's the calculation of L 1 loss for a batch of five examples :

Actual value of example Model's predicted value Absolute value of delta
7 6 1
5 4 1
8 11 3
4 6 2
9 8 1
8 = L 1 loss

L 1 loss is less sensitive to outliers than L 2 loss .

The Mean Absolute Error is the average L 1 loss per example.

L 1 regularization

#fundamentals

A type of regularization that penalizes weights in proportion to the sum of the absolute value of the weights. L 1 regularization helps drive the weights of irrelevant or barely relevant features to exactly 0 . A feature with a weight of 0 is effectively removed from the model.

Contrast with L 2 regularization .

L 2 loss

#fundamentals

A loss function that calculates the square of the difference between actual label values and the values that a model predicts. For example, here's the calculation of L 2 loss for a batch of five examples :

Actual value of example Model's predicted value Square of delta
7 6 1
5 4 1
8 11 9
4 6 4
9 8 1
16 = L 2 loss

Due to squaring, L 2 loss amplifies the influence of outliers . That is, L 2 loss reacts more strongly to bad predictions than L 1 loss . For example, the L 1 loss for the preceding batch would be 8 rather than 16. Notice that a single outlier accounts for 9 of the 16.

Regression models typically use L 2 loss as the loss function.

The Mean Squared Error is the average L 2 loss per example. Squared loss is another name for L 2 loss.

L 2 regularization

#fundamentals

A type of regularization that penalizes weights in proportion to the sum of the squares of the weights. L 2 regularization helps drive outlier weights (those with high positive or low negative values) closer to 0 but not quite to 0 . Features with values very close to 0 remain in the model but don't influence the model's prediction very much.

L 2 regularization always improves generalization in linear models .

Contrast with L 1 regularization .

برچسب زدن

#fundamentals

In supervised machine learning , the "answer" or "result" portion of an example .

Each labeled example consists of one or more features and a label. For example, in a spam detection dataset, the label would probably be either "spam" or "not spam." In a rainfall dataset, the label might be the amount of rain that fell during a certain period.

labeled example

#fundamentals

An example that contains one or more features and a label . For example, the following table shows three labeled examples from a house valuation model, each with three features and one label:

تعداد اتاق خواب تعداد حمام House age House price (label)
3 2 15 345000 دلار
2 1 72 $179,000
4 2 34 $392,000

In supervised machine learning , models train on labeled examples and make predictions on unlabeled examples .

Contrast labeled example with unlabeled examples.

label leakage

A model design flaw in which a feature is a proxy for the label . For example, consider a binary classification model that predicts whether or not a prospective customer will purchase a particular product. Suppose that one of the features for the model is a Boolean named SpokeToCustomerAgent . Further suppose that a customer agent is only assigned after the prospective customer has actually purchased the product. During training, the model will quickly learn the association between SpokeToCustomerAgent and the label.

لامبدا

#fundamentals

Synonym for regularization rate .

Lambda is an overloaded term. Here we're focusing on the term's definition within regularization .

LaMDA (Language Model for Dialogue Applications)

#language

A Transformer -based large language model developed by Google trained on a large dialogue dataset that can generate realistic conversational responses.

LaMDA: our breakthrough conversation technology provides an overview.

نقاط دیدنی

#تصویر

Synonym for keypoints .

language model

#language

A model that estimates the probability of a token or sequence of tokens occurring in a longer sequence of tokens.

large language model

#language

At a minimum, a language model having a very high number of parameters . More informally, any Transformer -based language model, such as Gemini or GPT .

latent space

#language

Synonym for embedding space .

لایه

#fundamentals

A set of neurons in a neural network . Three common types of layers are as follows:

For example, the following illustration shows a neural network with one input layer, two hidden layers, and one output layer:

A neural network with one input layer, two hidden layers, and one
          output layer. The input layer consists of two features. The first
          hidden layer consists of three neurons and the second hidden layer
          consists of two neurons. The output layer consists of a single node.

In TensorFlow , layers are also Python functions that take Tensors and configuration options as input and produce other tensors as output.

Layers API (tf.layers)

#TensorFlow

A TensorFlow API for constructing a deep neural network as a composition of layers. The Layers API lets you build different types of layers , such as:

The Layers API follows the Keras layers API conventions. That is, aside from a different prefix, all functions in the Layers API have the same names and signatures as their counterparts in the Keras layers API.

برگ

#df

Any endpoint in a decision tree . Unlike a condition , a leaf doesn't perform a test. Rather, a leaf is a possible prediction. A leaf is also the terminal node of an inference path .

For example, the following decision tree contains three leaves:

A decision tree with two conditions leading to three leaves.

Learning Interpretability Tool (LIT)

A visual, interactive model-understanding and data visualization tool.

You can use open-source LIT to interpret models or to visualize text, image, and tabular data.

میزان یادگیری

#fundamentals

A floating-point number that tells the gradient descent algorithm how strongly to adjust weights and biases on each iteration . For example, a learning rate of 0.3 would adjust weights and biases three times more powerfully than a learning rate of 0.1.

Learning rate is a key hyperparameter . If you set the learning rate too low, training will take too long. If you set the learning rate too high, gradient descent often has trouble reaching convergence .

least squares regression

A linear regression model trained by minimizing L 2 Loss .

خطی

#fundamentals

A relationship between two or more variables that can be represented solely through addition and multiplication.

The plot of a linear relationship is a line.

Contrast with nonlinear .

linear model

#fundamentals

A model that assigns one weight per feature to make predictions . (Linear models also incorporate a bias .) In contrast, the relationship of features to predictions in deep models is generally nonlinear .

Linear models are usually easier to train and more interpretable than deep models. However, deep models can learn complex relationships between features.

Linear regression and logistic regression are two types of linear models.

رگرسیون خطی

#fundamentals

A type of machine learning model in which both of the following are true:

  • The model is a linear model .
  • The prediction is a floating-point value. (This is the regression part of linear regression .)

Contrast linear regression with logistic regression . Also, contrast regression with classification .

روشن

Abbreviation for the Learning Interpretability Tool (LIT) , which was previously known as the Language Interpretability Tool.

LLM

#language
#generativeAI

Abbreviation for large language model .

LLM evaluations (evals)

#language
#generativeAI

A set of metrics and benchmarks for assessing the performance of large language models (LLMs). At a high level, LLM evaluations:

  • Help researchers identify areas where LLMs need improvement.
  • Are useful in comparing different LLMs and identifying the best LLM for a particular task.
  • Help ensure that LLMs are safe and ethical to use.

رگرسیون لجستیک

#fundamentals

A type of regression model that predicts a probability. Logistic regression models have the following characteristics:

  • The label is categorical . The term logistic regression usually refers to binary logistic regression , that is, to a model that calculates probabilities for labels with two possible values. A less common variant, multinomial logistic regression , calculates probabilities for labels with more than two possible values.
  • The loss function during training is Log Loss . (Multiple Log Loss units can be placed in parallel for labels with more than two possible values.)
  • The model has a linear architecture, not a deep neural network. However, the remainder of this definition also applies to deep models that predict probabilities for categorical labels.

For example, consider a logistic regression model that calculates the probability of an input email being either spam or not spam. During inference, suppose the model predicts 0.72. Therefore, the model is estimating:

  • A 72% chance of the email being spam.
  • A 28% chance of the email not being spam.

A logistic regression model uses the following two-step architecture:

  1. The model generates a raw prediction (y') by applying a linear function of input features.
  2. The model uses that raw prediction as input to a sigmoid function , which converts the raw prediction to a value between 0 and 1, exclusive.

Like any regression model, a logistic regression model predicts a number. However, this number typically becomes part of a binary classification model as follows:

  • If the predicted number is greater than the classification threshold , the binary classification model predicts the positive class.
  • If the predicted number is less than the classification threshold, the binary classification model predicts the negative class.

logits

The vector of raw (non-normalized) predictions that a classification model generates, which is ordinarily then passed to a normalization function. اگر مدل یک مسئله طبقه بندی چند کلاسه را حل می کند، لاجیت ها معمولا به ورودی تابع softmax تبدیل می شوند. The softmax function then generates a vector of (normalized) probabilities with one value for each possible class.

Log Loss

#fundamentals

The loss function used in binary logistic regression .

log-odds

#fundamentals

The logarithm of the odds of some event.

حافظه بلند مدت کوتاه مدت (LSTM)

#seq

A type of cell in a recurrent neural network used to process sequences of data in applications such as handwriting recognition, machine translation, and image captioning. LSTMs address the vanishing gradient problem that occurs when training RNNs due to long data sequences by maintaining history in an internal memory state based on new input and context from previous cells in the RNN.

LoRA

#language
#generativeAI

Abbreviation for Low-Rank Adaptability .

از دست دادن

#fundamentals

During the training of a supervised model , a measure of how far a model's prediction is from its label .

A loss function calculates the loss.

loss aggregator

A type of machine learning algorithm that improves the performance of a model by combining the predictions of multiple models and using those predictions to make a single prediction. As a result, a loss aggregator can reduce the variance of the predictions and improve the accuracy of the predictions.

loss curve

#fundamentals

A plot of loss as a function of the number of training iterations . The following plot shows a typical loss curve:

A Cartesian graph of loss versus training iterations, showing a
          rapid drop in loss for the initial iterations, followed by a gradual
          drop, and then a flat slope during the final iterations.

Loss curves can help you determine when your model is converging or overfitting .

Loss curves can plot all of the following types of loss:

See also generalization curve .

loss function

#fundamentals

During training or testing, a mathematical function that calculates the loss on a batch of examples. A loss function returns a lower loss for models that makes good predictions than for models that make bad predictions.

The goal of training is typically to minimize the loss that a loss function returns.

Many different kinds of loss functions exist. Pick the appropriate loss function for the kind of model you are building. به عنوان مثال:

loss surface

A graph of weight(s) versus loss. Gradient descent aims to find the weight(s) for which the loss surface is at a local minimum.

Low-Rank Adaptability (LoRA)

#language
#generativeAI

A parameter-efficient technique for fine tuning that "freezes" the model's pre-trained weights (such that they can no longer be modified) and then inserts a small set of trainable weights into the model. This set of trainable weights (also known as "update matrices") is considerably smaller than the base model and is therefore much faster to train.

LoRA provides the following benefits:

  • Improves the quality of a model's predictions for the domain where the fine tuning is applied.
  • Fine-tunes faster than techniques that require fine-tuning all of a model's parameters.
  • Reduces the computational cost of inference by enabling concurrent serving of multiple specialized models sharing the same base model.

LSTM

#seq

Abbreviation for Long Short-Term Memory .

م

یادگیری ماشینی

#fundamentals

A program or system that trains a model from input data. The trained model can make useful predictions from new (never-before-seen) data drawn from the same distribution as the one used to train the model.

Machine learning also refers to the field of study concerned with these programs or systems.

majority class

#fundamentals

The more common label in a class-imbalanced dataset . For example, given a dataset containing 99% negative labels and 1% positive labels, the negative labels are the majority class.

Contrast with minority class .

Markov decision process (MDP)

#rl

A graph representing the decision-making model where decisions (or actions ) are taken to navigate a sequence of states under the assumption that the Markov property holds. In reinforcement learning , these transitions between states return a numerical reward .

دارایی مارکوف

#rl

A property of certain environments , where state transitions are entirely determined by information implicit in the current state and the agent's action .

masked language model

#language

A language model that predicts the probability of candidate tokens to fill in blanks in a sequence. For example, a masked language model can calculate probabilities for candidate word(s) to replace the underline in the following sentence:

The ____ in the hat came back.

The literature typically uses the string "MASK" instead of an underline. به عنوان مثال:

The "MASK" in the hat came back.

Most modern masked language models are bidirectional .

matplotlib

An open-source Python 2D plotting library. matplotlib helps you visualize different aspects of machine learning.

matrix factorization

#recsystems

In math, a mechanism for finding the matrixes whose dot product approximates a target matrix.

In recommendation systems , the target matrix often holds users' ratings on items . For example, the target matrix for a movie recommendation system might look something like the following, where the positive integers are user ratings and 0 means that the user didn't rate the movie:

کازابلانکا داستان فیلادلفیا پلنگ سیاه زن شگفت انگیز پالپ فیکشن
کاربر 1 5.0 3.0 0.0 2.0 0.0
کاربر 2 4.0 0.0 0.0 1.0 5.0
User 3 3.0 1.0 4.0 5.0 0.0

The movie recommendation system aims to predict user ratings for unrated movies. For example, will User 1 like Black Panther ?

One approach for recommendation systems is to use matrix factorization to generate the following two matrixes:

  • A user matrix , shaped as the number of users X the number of embedding dimensions.
  • An item matrix , shaped as the number of embedding dimensions X the number of items.

For example, using matrix factorization on our three users and five items could yield the following user matrix and item matrix:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

The dot product of the user matrix and item matrix yields a recommendation matrix that contains not only the original user ratings but also predictions for the movies that each user hasn't seen. For example, consider User 1's rating of Casablanca , which was 5.0. The dot product corresponding to that cell in the recommendation matrix should hopefully be around 5.0, and it is:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

More importantly, will User 1 like Black Panther ? Taking the dot product corresponding to the first row and the third column yields a predicted rating of 4.3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Matrix factorization typically yields a user matrix and item matrix that, together, are significantly more compact than the target matrix.

میانگین خطای مطلق (MAE)

The average loss per example when L 1 loss is used. Calculate Mean Absolute Error as follows:

  1. Calculate the L 1 loss for a batch.
  2. Divide the L 1 loss by the number of examples in the batch.

For example, consider the calculation of L 1 loss on the following batch of five examples:

Actual value of example Model's predicted value Loss (difference between actual and predicted)
7 6 1
5 4 1
8 11 3
4 6 2
9 8 1
8 = L 1 loss

So, L 1 loss is 8 and the number of examples is 5. Therefore, the Mean Absolute Error is:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Contrast Mean Absolute Error with Mean Squared Error and Root Mean Squared Error .

میانگین مربعات خطا (MSE)

The average loss per example when L 2 loss is used. Calculate Mean Squared Error as follows:

  1. Calculate the L 2 loss for a batch.
  2. Divide the L 2 loss by the number of examples in the batch.

For example, consider the loss on the following batch of five examples:

ارزش واقعی Model's prediction از دست دادن Squared loss
7 6 1 1
5 4 1 1
8 11 3 9
4 6 2 4
9 8 1 1
16 = L 2 loss

Therefore, the Mean Squared Error is:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

Mean Squared Error is a popular training optimizer , particularly for linear regression .

Contrast Mean Squared Error with Mean Absolute Error and Root Mean Squared Error .

TensorFlow Playground uses Mean Squared Error to calculate loss values.

مش

#TensorFlow
#GoogleCloud

In ML parallel programming, a term associated with assigning the data and model to TPU chips, and defining how these values will be sharded or replicated.

Mesh is an overloaded term that can mean either of the following:

  • A physical layout of TPU chips.
  • An abstract logical construct for mapping the data and model to the TPU chips.

In either case, a mesh is specified as a shape .

meta-learning

#language

A subset of machine learning that discovers or improves a learning algorithm. A meta-learning system can also aim to train a model to quickly learn a new task from a small amount of data or from experience gained in previous tasks. Meta-learning algorithms generally try to achieve the following:

  • Improve or learn hand-engineered features (such as an initializer or an optimizer).
  • Be more data-efficient and compute-efficient.
  • Improve generalization.

Meta-learning is related to few-shot learning .

متریک

#TensorFlow

A statistic that you care about.

An objective is a metric that a machine learning system tries to optimize.

Metrics API (tf.metrics)

A TensorFlow API for evaluating models. For example, tf.metrics.accuracy determines how often a model's predictions match labels.

mini-batch

#fundamentals

A small, randomly selected subset of a batch processed in one iteration . The batch size of a mini-batch is usually between 10 and 1,000 examples.

For example, suppose the entire training set (the full batch) consists of 1,000 examples. Further suppose that you set the batch size of each mini-batch to 20. Therefore, each iteration determines the loss on a random 20 of the 1,000 examples and then adjusts the weights and biases accordingly.

It is much more efficient to calculate the loss on a mini-batch than the loss on all the examples in the full batch.

mini-batch stochastic gradient descent

A gradient descent algorithm that uses mini-batches . In other words, mini-batch stochastic gradient descent estimates the gradient based on a small subset of the training data. Regular stochastic gradient descent uses a mini-batch of size 1.

minimax loss

A loss function for generative adversarial networks , based on the cross-entropy between the distribution of generated data and real data.

Minimax loss is used in the first paper to describe generative adversarial networks.

minority class

#fundamentals

The less common label in a class-imbalanced dataset . For example, given a dataset containing 99% negative labels and 1% positive labels, the positive labels are the minority class.

Contrast with majority class .

mixture of experts

#language
#generativeAI

A scheme to increase neural network efficiency by using only a subset of its parameters (known as an expert ) to process a given input token or example . A gating network routes each input token or example to the proper expert(s).

For details, see either of the following papers:

ML

Abbreviation for machine learning .

MMIT

#language
#تصویر
#generativeAI

Abbreviation for multimodal instruction-tuned .

MNIST

#تصویر

A public-domain dataset compiled by LeCun, Cortes, and Burges containing 60,000 images, each image showing how a human manually wrote a particular digit from 0–9. Each image is stored as a 28x28 array of integers, where each integer is a grayscale value between 0 and 255, inclusive.

MNIST is a canonical dataset for machine learning, often used to test new machine learning approaches. For details, see The MNIST Database of Handwritten Digits .

روش

#language

A high-level data category. For example, numbers, text, images, video, and audio are five different modalities.

مدل

#fundamentals

In general, any mathematical construct that processes input data and returns output. Phrased differently, a model is the set of parameters and structure needed for a system to make predictions. In supervised machine learning , a model takes an example as input and infers a prediction as output. Within supervised machine learning, models differ somewhat. به عنوان مثال:

  • A linear regression model consists of a set of weights and a bias .
  • A neural network model consists of:
    • A set of hidden layers , each containing one or more neurons .
    • The weights and bias associated with each neuron.
  • A decision tree model consists of:
    • The shape of the tree; that is, the pattern in which the conditions and leaves are connected.
    • The conditions and leaves.

You can save, restore, or make copies of a model.

Unsupervised machine learning also generates models, typically a function that can map an input example to the most appropriate cluster .

model capacity

The complexity of problems that a model can learn. The more complex the problems that a model can learn, the higher the model's capacity. A model's capacity typically increases with the number of model parameters. For a formal definition of classifier capacity, see VC dimension .

model cascading

#generativeAI

A system that picks the ideal model for a specific inference query.

Imagine a group of models, ranging from very large (lots of parameters ) to much smaller (far fewer parameters). Very large models consume more computational resources at inference time than smaller models. However, very large models can typically infer more complex requests than smaller models. Model cascading determines the complexity of the inference query and then picks the appropriate model to perform the inference. The main motivation for model cascading is to reduce inference costs by generally selecting smaller models, and only selecting a larger model for more complex queries.

Imagine that a small model runs on a phone and a larger version of that model runs on a remote server. Good model cascading reduces cost and latency by enabling the smaller model to handle simple requests and only calling the remote model to handle complex requests.

See also model router .

model parallelism

#language

A way of scaling training or inference that puts different parts of one model on different devices . Model parallelism enables models that are too big to fit on a single device.

To implement model parallelism, a system typically does the following:

  1. Shards (divides) the model into smaller parts.
  2. Distributes the training of those smaller parts across multiple processors. Each processor trains its own part of the model.
  3. Combines the results to create a single model.

Model parallelism slows training.

See also data parallelism .

model router

#generativeAI

The algorithm that determines the ideal model for inference in model cascading . A model router is itself typically a machine learning model that gradually learns how to pick the best model for a given input. However, a model router could sometimes be a simpler, non-machine learning algorithm.

model training

The process of determining the best model .

تکانه

A sophisticated gradient descent algorithm in which a learning step depends not only on the derivative in the current step, but also on the derivatives of the step(s) that immediately preceded it. Momentum involves computing an exponentially weighted moving average of the gradients over time, analogous to momentum in physics. Momentum sometimes prevents learning from getting stuck in local minima.

MOE

#language
#تصویر
#generativeAI

Abbreviation for mixture of experts .

multi-class classification

#fundamentals

In supervised learning, a classification problem in which the dataset contains more than two classes of labels. For example, the labels in the Iris dataset must be one of the following three classes:

  • Iris setosa
  • زنبق ویرجینیکا
  • زنبق ورسیکالر

A model trained on the Iris dataset that predicts Iris type on new examples is performing multi-class classification.

In contrast, classification problems that distinguish between exactly two classes are binary classification models . For example, an email model that predicts either spam or not spam is a binary classification model.

In clustering problems, multi-class classification refers to more than two clusters.

multi-class logistic regression

Using logistic regression in multi-class classification problems.

multi-head self-attention

#language

An extension of self-attention that applies the self-attention mechanism multiple times for each position in the input sequence.

Transformers introduced multi-head self-attention.

multimodal model

#language

A model whose inputs and/or outputs include more than one modality . For example, consider a model that takes both an image and a text caption (two modalities) as features , and outputs a score indicating how appropriate the text caption is for the image. So, this model's inputs are multimodal and the output is unimodal.

multimodal instruction-tuned

#language

An instruction-tuned model that can process input beyond text, such as images, video, and audio.

multinomial classification

Synonym for multi-class classification .

multinomial regression

Synonym for multi-class logistic regression .

چند وظیفه ای

A machine learning technique in which a single model is trained to perform multiple tasks .

Multitask models are created by training on data that is appropriate for each of the different tasks. This allows the model to learn to share information across the tasks, which helps the model learn more effectively.

A model trained for multiple tasks often has improved generalization abilities and can be more robust at handling different types of data.

ن

تله NaN

When one number in your model becomes a NaN during training, which causes many or all other numbers in your model to eventually become a NaN.

NaN is an abbreviation for N ot a N umber.

درک زبان طبیعی

#language

Determining a user's intentions based on what the user typed or said. For example, a search engine uses natural language understanding to determine what the user is searching for based on what the user typed or said.

negative class

#fundamentals

In binary classification , one class is termed positive and the other is termed negative . The positive class is the thing or event that the model is testing for and the negative class is the other possibility. به عنوان مثال:

  • The negative class in a medical test might be "not tumor."
  • The negative class in an email classifier might be "not spam."

Contrast with positive class .

negative sampling

Synonym for candidate sampling .

جستجوی معماری عصبی (NAS)

A technique for automatically designing the architecture of a neural network . NAS algorithms can reduce the amount of time and resources required to train a neural network.

NAS typically uses:

  • A search space, which is a set of possible architectures.
  • A fitness function, which is a measure of how well a particular architecture performs on a given task.

NAS algorithms often start with a small set of possible architectures and gradually expand the search space as the algorithm learns more about what architectures are effective. The fitness function is typically based on the performance of the architecture on a training set, and the algorithm is typically trained using a reinforcement learning technique.

NAS algorithms have proven effective in finding high-performing architectures for a variety of tasks, including image classification , text classification, and machine translation.

شبکه عصبی

#fundamentals

A model containing at least one hidden layer . A deep neural network is a type of neural network containing more than one hidden layer. For example, the following diagram shows a deep neural network containing two hidden layers.

A neural network with an input layer, two hidden layers, and an
          output layer.

Each neuron in a neural network connects to all of the nodes in the next layer. For example, in the preceding diagram, notice that each of the three neurons in the first hidden layer separately connect to both of the two neurons in the second hidden layer.

Neural networks implemented on computers are sometimes called artificial neural networks to differentiate them from neural networks found in brains and other nervous systems.

Some neural networks can mimic extremely complex nonlinear relationships between different features and the label.

See also convolutional neural network and recurrent neural network .

نورون

#fundamentals

In machine learning, a distinct unit within a hidden layer of a neural network . Each neuron performs the following two-step action:

  1. Calculates the weighted sum of input values multiplied by their corresponding weights.
  2. Passes the weighted sum as input to an activation function .

A neuron in the first hidden layer accepts inputs from the feature values in the input layer . A neuron in any hidden layer beyond the first accepts inputs from the neurons in the preceding hidden layer. For example, a neuron in the second hidden layer accepts inputs from the neurons in the first hidden layer.

The following illustration highlights two neurons and their inputs.

A neural network with an input layer, two hidden layers, and an
          output layer. Two neurons are highlighted: one in the first
          hidden layer and one in the second hidden layer. The highlighted
          neuron in the first hidden layer receives inputs from both features
          in the input layer. The highlighted neuron in the second hidden layer
          receives inputs from each of the three neurons in the first hidden
          layer.

A neuron in a neural network mimics the behavior of neurons in brains and other parts of nervous systems.

N-گرم

#seq
#language

An ordered sequence of N words. For example, truly madly is a 2-gram. Because order is relevant, madly truly is a different 2-gram than truly madly .

ن Name(s) for this kind of N-gram نمونه ها
2 bigram or 2-gram to go, go to, eat lunch, eat dinner
3 trigram or 3-gram ate too much, three blind mice, the bell tolls
4 4-gram walk in the park, dust in the wind, the boy ate lentils

Many natural language understanding models rely on N-grams to predict the next word that the user will type or say. For example, suppose a user typed three blind . An NLU model based on trigrams would likely predict that the user will next type mice .

Contrast N-grams with bag of words , which are unordered sets of words.

NLU

#language

Abbreviation for natural language understanding .

node (decision tree)

#df

In a decision tree , any condition or leaf .

A decision tree with two conditions and three leaves.

node (neural network)

#fundamentals

A neuron in a hidden layer .

node (TensorFlow graph)

#TensorFlow

An operation in a TensorFlow graph .

سر و صدا

Broadly speaking, anything that obscures the signal in a dataset. Noise can be introduced into data in a variety of ways. به عنوان مثال:

  • Human raters make mistakes in labeling.
  • Humans and instruments mis-record or omit feature values.

non-binary condition

#df

A condition containing more than two possible outcomes. For example, the following non-binary condition contains three possible outcomes:

A condition (number_of_legs = ?) that leads to three possible
          outcomes. One outcome (number_of_legs = 8) leads to a leaf
          named spider. A second outcome (number_of_legs = 4) leads to
          a leaf named dog. A third outcome (number_of_legs = 2) leads to
          a leaf named penguin.

غیر خطی

#fundamentals

A relationship between two or more variables that can't be represented solely through addition and multiplication. A linear relationship can be represented as a line; a nonlinear relationship can't be represented as a line. For example, consider two models that each relate a single feature to a single label. The model on the left is linear and the model on the right is nonlinear:

Two plots. One plot is a line, so this is a linear relationship.
          The other plot is a curve, so this is a nonlinear relationship.

non-response bias

#fairness

See selection bias .

nonstationarity

#fundamentals

A feature whose values change across one or more dimensions, usually time. For example, consider the following examples of nonstationarity:

  • The number of swimsuits sold at a particular store varies with the season.
  • The quantity of a particular fruit harvested in a particular region is zero for much of the year but large for a brief period.
  • Due to climate change, annual mean temperatures are shifting.

Contrast with stationarity .

عادی سازی

#fundamentals

Broadly speaking, the process of converting a variable's actual range of values into a standard range of values, such as:

  • -1 to +1
  • 0 به 1
  • Z-scores (roughly, -3 to +3)

For example, suppose the actual range of values of a certain feature is 800 to 2,400. As part of feature engineering , you could normalize the actual values down to a standard range, such as -1 to +1.

Normalization is a common task in feature engineering . Models usually train faster (and produce better predictions) when every numerical feature in the feature vector has roughly the same range.

See the Working with Numerical Data module of Machine Learning Crash Course for more details. Also see Z-score normalization .

novelty detection

The process of determining whether a new (novel) example comes from the same distribution as the training set . In other words, after training on the training set, novelty detection determines whether a new example (during inference or during additional training) is an outlier .

Contrast with outlier detection .

داده های عددی

#fundamentals

Features represented as integers or real-valued numbers. For example, a house valuation model would probably represent the size of a house (in square feet or square meters) as numerical data. Representing a feature as numerical data indicates that the feature's values have a mathematical relationship to the label. That is, the number of square meters in a house probably has some mathematical relationship to the value of the house.

Not all integer data should be represented as numerical data. For example, postal codes in some parts of the world are integers; however, integer postal codes shouldn't be represented as numerical data in models. That's because a postal code of 20000 is not twice (or half) as potent as a postal code of 10000. Furthermore, although different postal codes do correlate to different real estate values, we can't assume that real estate values at postal code 20000 are twice as valuable as real estate values at postal code 10000. Postal codes should be represented as categorical data instead.

Numerical features are sometimes called continuous features .

NumPy

An open-source math library that provides efficient array operations in Python. pandas is built on NumPy.

O

هدف

A metric that your algorithm is trying to optimize.

تابع هدف

The mathematical formula or metric that a model aims to optimize. For example, the objective function for linear regression is usually Mean Squared Loss . Therefore, when training a linear regression model, training aims to minimize Mean Squared Loss.

In some cases, the goal is to maximize the objective function. For example, if the objective function is accuracy, the goal is to maximize accuracy.

See also loss .

oblique condition

#df

In a decision tree , a condition that involves more than one feature . For example, if height and width are both features, then the following is an oblique condition:

  height > width

Contrast with axis-aligned condition .

آفلاین

#fundamentals

Synonym for static .

offline inference

#fundamentals

The process of a model generating a batch of predictions and then caching (saving) those predictions. Apps can then access the inferred prediction from the cache rather than rerunning the model.

For example, consider a model that generates local weather forecasts (predictions) once every four hours. After each model run, the system caches all the local weather forecasts. Weather apps retrieve the forecasts from the cache.

Offline inference is also called static inference .

Contrast with online inference .

one-hot encoding

#fundamentals

Representing categorical data as a vector in which:

  • One element is set to 1.
  • All other elements are set to 0.

One-hot encoding is commonly used to represent strings or identifiers that have a finite set of possible values. For example, suppose a certain categorical feature named Scandinavia has five possible values:

  • "Denmark"
  • "Sweden"
  • "Norway"
  • "Finland"
  • "ایسلند"

One-hot encoding could represent each of the five values as follows:

کشور بردار
"Denmark" 1 0 0 0 0
"Sweden" 0 1 0 0 0
"Norway" 0 0 1 0 0
"Finland" 0 0 0 1 0
"ایسلند" 0 0 0 0 1

Thanks to one-hot encoding, a model can learn different connections based on each of the five countries.

Representing a feature as numerical data is an alternative to one-hot encoding. Unfortunately, representing the Scandinavian countries numerically is not a good choice. For example, consider the following numeric representation:

  • "Denmark" is 0
  • "Sweden" is 1
  • "Norway" is 2
  • "Finland" is 3
  • "Iceland" is 4

With numeric encoding, a model would interpret the raw numbers mathematically and would try to train on those numbers. However, Iceland isn't actually twice as much (or half as much) of something as Norway, so the model would come to some strange conclusions.

one-shot learning

A machine learning approach, often used for object classification, designed to learn effective classifiers from a single training example.

See also few-shot learning and zero-shot learning .

one-shot prompting

#language
#generativeAI

A prompt that contains one example demonstrating how the large language model should respond. For example, the following prompt contains one example showing a large language model how it should answer a query.

Parts of one prompt یادداشت ها
What is the official currency of the specified country? The question you want the LLM to answer.
France: EUR یک مثال.
هند: The actual query.

Compare and contrast one-shot prompting with the following terms:

one-vs.-all

#fundamentals

Given a classification problem with N classes, a solution consisting of N separate binary classifiers —one binary classifier for each possible outcome. For example, given a model that classifies examples as animal, vegetable, or mineral, a one-vs.-all solution would provide the following three separate binary classifiers:

  • animal versus not animal
  • vegetable versus not vegetable
  • mineral versus not mineral

آنلاین

#fundamentals

Synonym for dynamic .

online inference

#fundamentals

Generating predictions on demand. For example, suppose an app passes input to a model and issues a request for a prediction. A system using online inference responds to the request by running the model (and returning the prediction to the app).

Contrast with offline inference .

operation (op)

#TensorFlow

In TensorFlow, any procedure that creates, manipulates, or destroys a Tensor . For example, a matrix multiply is an operation that takes two Tensors as input and generates one Tensor as output.

Optax

A gradient processing and optimization library for JAX . Optax facilitates research by providing building blocks that can be recombined in custom ways to optimize parametric models such as deep neural networks. Other goals include:

  • Providing readable, well-tested, efficient implementations of core components.
  • Improving productivity by making it possible to combine low level ingredients into custom optimizers (or other gradient processing components).
  • Accelerating adoption of new ideas by making it easy for anyone to contribute.

بهینه ساز

A specific implementation of the gradient descent algorithm. Popular optimizers include:

  • AdaGrad , which stands for ADAptive GRADient descent.
  • Adam, which stands for ADAptive with Momentum.

out-group homogeneity bias

#fairness

The tendency to see out-group members as more alike than in-group members when comparing attitudes, values, personality traits, and other characteristics. In-group refers to people you interact with regularly; out-group refers to people you don't interact with regularly. If you create a dataset by asking people to provide attributes about out-groups, those attributes may be less nuanced and more stereotyped than attributes that participants list for people in their in-group.

For example, Lilliputians might describe the houses of other Lilliputians in great detail, citing small differences in architectural styles, windows, doors, and sizes. However, the same Lilliputians might simply declare that Brobdingnagians all live in identical houses.

Out-group homogeneity bias is a form of group attribution bias .

See also in-group bias .

outlier detection

The process of identifying outliers in a training set .

Contrast with novelty detection .

outliers

Values distant from most other values. In machine learning, any of the following are outliers:

  • Input data whose values are more than roughly 3 standard deviations from the mean.
  • Weights with high absolute values.
  • Predicted values relatively far away from the actual values.

For example, suppose that widget-price is a feature of a certain model. Assume that the mean widget-price is 7 Euros with a standard deviation of 1 Euro. Examples containing a widget-price of 12 Euros or 2 Euros would therefore be considered outliers because each of those prices is five standard deviations from the mean.

Outliers are often caused by typos or other input mistakes. In other cases, outliers aren't mistakes; after all, values five standard deviations away from the mean are rare but hardly impossible.

Outliers often cause problems in model training. Clipping is one way of managing outliers.

out-of-bag evaluation (OOB evaluation)

#df

A mechanism for evaluating the quality of a decision forest by testing each decision tree against the examples not used during training of that decision tree. For example, in the following diagram, notice that the system trains each decision tree on about two-thirds of the examples and then evaluates against the remaining one-third of the examples.

A decision forest consisting of three decision trees.
          One decision tree trains on two-thirds of the examples
          and then uses the remaining one-third for OOB evaluation.
          A second decision tree trains on a different two-thirds
          of the examples than the previous decision tree, and then
          uses a different one-third for OOB evaluation than the
          previous decision tree.

Out-of-bag evaluation is a computationally efficient and conservative approximation of the cross-validation mechanism. In cross-validation, one model is trained for each cross-validation round (for example, 10 models are trained in a 10-fold cross-validation). With OOB evaluation, a single model is trained. Because bagging withholds some data from each tree during training, OOB evaluation can use that data to approximate cross-validation.

output layer

#fundamentals

The "final" layer of a neural network. The output layer contains the prediction.

The following illustration shows a small deep neural network with an input layer, two hidden layers, and an output layer:

A neural network with one input layer, two hidden layers, and one
          output layer. The input layer consists of two features. The first
          hidden layer consists of three neurons and the second hidden layer
          consists of two neurons. The output layer consists of a single node.

overfitting

#fundamentals

Creating a model that matches the training data so closely that the model fails to make correct predictions on new data.

Regularization can reduce overfitting. Training on a large and diverse training set can also reduce overfitting.

نمونه برداری بیش از حد

Reusing the examples of a minority class in a class-imbalanced dataset in order to create a more balanced training set .

For example, consider a binary classification problem in which the ratio of the majority class to the minority class is 5,000:1. If the dataset contains a million examples, then the dataset contains only about 200 examples of the minority class, which might be too few examples for effective training. To overcome this deficiency, you might oversample (reuse) those 200 examples multiple times, possibly yielding sufficient examples for useful training.

You need to be careful about over overfitting when oversampling.

Contrast with undersampling .

پ

packed data

An approach for storing data more efficiently.

Packed data stores data either by using a compressed format or in some other way that allows it to be accessed more efficiently. Packed data minimizes the amount of memory and computation required to access it, leading to faster training and more efficient model inference.

Packed data is often used with other techniques, such as data augmentation and regularization , further improving the performance of models .

پانداها

#fundamentals

A column-oriented data analysis API built on top of numpy . Many machine learning frameworks, including TensorFlow, support pandas data structures as inputs. See the pandas documentation for details.

پارامتر

#fundamentals

The weights and biases that a model learns during training . For example, in a linear regression model, the parameters consist of the bias ( b ) and all the weights ( w 1 , w 2 , and so on) in the following formula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

In contrast, hyperparameter are the values that you (or a hyperparameter tuning service) supply to the model. For example, learning rate is a hyperparameter.

parameter-efficient tuning

#language
#generativeAI

A set of techniques to fine-tune a large pre-trained language model (PLM) more efficiently than full fine-tuning . Parameter-efficient tuning typically fine-tunes far fewer parameters than full fine-tuning, yet generally produces a large language model that performs as well (or almost as well) as a large language model built from full fine-tuning.

Compare and contrast parameter-efficient tuning with:

Parameter-efficient tuning is also known as parameter-efficient fine-tuning .

Parameter Server (PS)

#TensorFlow

A job that keeps track of a model's parameters in a distributed setting.

parameter update

The operation of adjusting a model's parameters during training, typically within a single iteration of gradient descent .

partial derivative

A derivative in which all but one of the variables is considered a constant. For example, the partial derivative of f(x, y) with respect to x is the derivative of f considered as a function of x alone (that is, keeping y constant). The partial derivative of f with respect to x focuses only on how x is changing and ignores all other variables in the equation.

participation bias

#fairness

Synonym for non-response bias. See selection bias .

partitioning strategy

The algorithm by which variables are divided across parameter servers .

پکس

A programming framework designed for training large-scale neural network models so large that they span multiple TPU accelerator chip slices or pods .

Pax is built on Flax , which is built on JAX .

Diagram indicating Pax's position in the software stack.
          Pax is built on top of JAX. Pax itself consists of three
          layers. The bottom layer contains TensorStore and Flax.
          The middle layer contains Optax and Flaxformer. The top
          layer contains Praxis Modeling Library. Fiddle is built
          on top of Pax.

پرسپترون

A system (either hardware or software) that takes in one or more input values, runs a function on the weighted sum of the inputs, and computes a single output value. In machine learning, the function is typically nonlinear, such as ReLU , sigmoid , or tanh . For example, the following perceptron relies on the sigmoid function to process three input values:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

In the following illustration, the perceptron takes three inputs, each of which is itself modified by a weight before entering the perceptron:

A perceptron that takes in 3 inputs, each multiplied by separate
          weights. The perceptron outputs a single value.

Perceptrons are the neurons in neural networks .

عملکرد

Overloaded term with the following meanings:

  • The standard meaning within software engineering. Namely: How fast (or efficiently) does this piece of software run?
  • The meaning within machine learning. Here, performance answers the following question: How correct is this model ? That is, how good are the model's predictions?

permutation variable importances

#df

A type of variable importance that evaluates the increase in the prediction error of a model after permuting the feature's values. Permutation variable importance is a model-independent metric.

گیجی

One measure of how well a model is accomplishing its task. For example, suppose your task is to read the first few letters of a word a user is typing on a phone keyboard, and to offer a list of possible completion words. Perplexity, P, for this task is approximately the number of guesses you need to offer in order for your list to contain the actual word the user is trying to type.

Perplexity is related to cross-entropy as follows:

$$P= 2^{-\text{cross entropy}}$$

خط لوله

The infrastructure surrounding a machine learning algorithm. A pipeline includes gathering the data, putting the data into training data files, training one or more models, and exporting the models to production.

خط لوله

#language

A form of model parallelism in which a model's processing is divided into consecutive stages and each stage is executed on a different device. While a stage is processing one batch, the preceding stage can work on the next batch.

See also staged training .

pjit

A JAX function that splits code to run across multiple accelerator chips . The user passes a function to pjit, which returns a function that has the equivalent semantics but is compiled into an XLA computation that runs across multiple devices (such as GPUs or TPU cores).

pjit enables users to shard computations without rewriting them by using the SPMD partitioner.

As of March 2023, pjit has been merged with jit . Refer to Distributed arrays and automatic parallelization for more details.

PLM

#language
#generativeAI

Abbreviation for pre-trained language model .

pmap

A JAX function that executes copies of an input function on multiple underlying hardware devices (CPUs, GPUs, or TPUs ), with different input values. pmap relies on SPMD .

سیاست

#rl

In reinforcement learning, an agent's probabilistic mapping from states to actions .

pooling

#تصویر

Reducing a matrix (or matrixes) created by an earlier convolutional layer to a smaller matrix. Pooling usually involves taking either the maximum or average value across the pooled area. For example, suppose we have the following 3x3 matrix:

The 3x3 matrix [[5,3,1], [8,2,5], [9,4,3]].

A pooling operation, just like a convolutional operation, divides that matrix into slices and then slides that convolutional operation by strides . For example, suppose the pooling operation divides the convolutional matrix into 2x2 slices with a 1x1 stride. As the following diagram illustrates, four pooling operations take place. Imagine that each pooling operation picks the maximum value of the four in that slice:

The input matrix is 3x3 with the values: [[5,3,1], [8,2,5], [9,4,3]].           The top-left 2x2 submatrix of the input matrix is [[5,3], [8,2]], so           the top-left pooling operation yields the value 8 (which is the           maximum of 5, 3, 8, and 2 ). The top-right 2x2 submatrix of the input           matrix is [[3,1], [2,5]], so the top-right pooling operation yields           the value 5. The bottom-left 2x2 submatrix of the input matrix is           [[8,2], [9,4]], so the bottom-left pooling operation yields the value           9. The bottom-right 2x2 submatrix of the input matrix is           [[2,5], [4,3]], so the bottom-right pooling operation yields the value           5. In summary, the pooling operation yields the 2x2 matrix           [[8,5], [9,5]].

Pooling helps enforce translational invariance in the input matrix.

Pooling for vision applications is known more formally as spatial pooling . Time-series applications usually refer to pooling as temporal pooling . Less formally, pooling is often called subsampling or downsampling .

positional encoding

#language

A technique to add information about the position of a token in a sequence to the token's embedding. Transformer models use positional encoding to better understand the relationship between different parts of the sequence.

A common implementation of positional encoding uses a sinusoidal function. (Specifically, the frequency and amplitude of the sinusoidal function are determined by the position of the token in the sequence.) This technique enables a Transformer model to learn to attend to different parts of the sequence based on their position.

positive class

#fundamentals

The class you are testing for.

For example, the positive class in a cancer model might be "tumor." The positive class in an email classifier might be "spam."

Contrast with negative class .

پس پردازش

#fairness
#fundamentals

Adjusting the output of a model after the model has been run. Post-processing can be used to enforce fairness constraints without modifying models themselves.

For example, one might apply post-processing to a binary classifier by setting a classification threshold such that equality of opportunity is maintained for some attribute by checking that the true positive rate is the same for all values of that attribute.

PR AUC (area under the PR curve)

Area under the interpolated precision-recall curve , obtained by plotting (recall, precision) points for different values of the classification threshold . Depending on how it's calculated, PR AUC may be equivalent to the average precision of the model.

پراکسیس

A core, high-performance ML library of Pax . Praxis is often called the "Layer library".

Praxis contains not just the definitions for the Layer class, but most of its supporting components as well, including:

Praxis provides the definitions for the Model class.

دقت

A metric for classification models that answers the following question:

When the model predicted the positive class , what percentage of the predictions were correct?

این فرمول است:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

کجا:

  • true positive means the model correctly predicted the positive class.
  • false positive means the model mistakenly predicted the positive class.

For example, suppose a model made 200 positive predictions. Of these 200 positive predictions:

  • 150 were true positives.
  • 50 were false positives.

در این مورد:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

Contrast with accuracy and recall .

See Classification: Accuracy, recall, precision and related metrics for more information.

precision-recall curve

A curve of precision versus recall at different classification thresholds .

پیش بینی

#fundamentals

A model's output. به عنوان مثال:

  • The prediction of a binary classification model is either the positive class or the negative class.
  • The prediction of a multi-class classification model is one class.
  • The prediction of a linear regression model is a number.

prediction bias

A value indicating how far apart the average of predictions is from the average of labels in the dataset.

Not to be confused with the bias term in machine learning models or with bias in ethics and fairness .

predictive ML

Any standard ("classic") machine learning system.

The term predictive ML doesn't have a formal definition. Rather, the term distinguishes a category of ML systems not based on generative AI .

predictive parity

#fairness

A fairness metric that checks whether, for a given classifier, the precision rates are equivalent for subgroups under consideration.

For example, a model that predicts college acceptance would satisfy predictive parity for nationality if its precision rate is the same for Lilliputians and Brobdingnagians.

Predictive parity is sometime also called predictive rate parity .

See "Fairness Definitions Explained" (section 3.2.1) for a more detailed discussion of predictive parity.

predictive rate parity

#fairness

Another name for predictive parity .

پیش پردازش

#fairness
Processing data before it's used to train a model. Preprocessing could be as simple as removing words from an English text corpus that don't occur in the English dictionary, or could be as complex as re-expressing data points in a way that eliminates as many attributes that are correlated with sensitive attributes as possible . Preprocessing can help satisfy fairness constraints .

pre-trained model

#language
#تصویر
#generativeAI

Models or model components (such as an embedding vector ) that have been already been trained. Sometimes, you'll feed pre-trained embedding vectors into a neural network . Other times, your model will train the embedding vectors themselves rather than rely on the pre-trained embeddings.

The term pre-trained language model refers to a large language model that has gone through pre-training .

pre-training

#language
#تصویر
#generativeAI

The initial training of a model on a large dataset. Some pre-trained models are clumsy giants and must typically be refined through additional training. For example, ML experts might pre-train a large language model on a vast text dataset, such as all the English pages in Wikipedia. Following pre-training, the resulting model might be further refined through any of the following techniques:

prior belief

What you believe about the data before you begin training on it. For example, L 2 regularization relies on a prior belief that weights should be small and normally distributed around zero.

probabilistic regression model

A regression model that uses not only the weights for each feature , but also the uncertainty of those weights. A probabilistic regression model generates a prediction and the uncertainty of that prediction. For example, a probabilistic regression model might yield a prediction of 325 with a standard deviation of 12. For more information about probabilistic regression models, see this Colab on tensorflow.org .

تابع چگالی احتمال

A function that identifies the frequency of data samples having exactly a particular value. When a dataset's values are continuous floating-point numbers, exact matches rarely occur. However, integrating a probability density function from value x to value y yields the expected frequency of data samples between x and y .

For example, consider a normal distribution having a mean of 200 and a standard deviation of 30. To determine the expected frequency of data samples falling within the range 211.4 to 218.7, you can integrate the probability density function for a normal distribution from 211.4 to 218.7 .

سریع

#language
#generativeAI

Any text entered as input to a large language model to condition the model to behave in a certain way. Prompts can be as short as a phrase or arbitrarily long (for example, the entire text of a novel). Prompts fall into multiple categories, including those shown in the following table:

Prompt category مثال یادداشت ها
سوال یک کبوتر با چه سرعتی می تواند پرواز کند؟
دستورالعمل Write a funny poem about arbitrage. A prompt that asks the large language model to do something.
مثال Translate Markdown code to HTML. به عنوان مثال:
Markdown: * list item
HTML: <ul> <li>list item</li> </ul>
The first sentence in this example prompt is an instruction. The remainder of the prompt is the example.
نقش Explain why gradient descent is used in machine learning training to a PhD in Physics. The first part of the sentence is an instruction; the phrase "to a PhD in Physics" is the role portion.
Partial input for the model to complete The Prime Minister of the United Kingdom lives at A partial input prompt can either end abruptly (as this example does) or end with an underscore.

A generative AI model can respond to a prompt with text, code, images, embeddings , videos…almost anything.

prompt-based learning

#language
#generativeAI

A capability of certain models that enables them to adapt their behavior in response to arbitrary text input ( prompts ). In a typical prompt-based learning paradigm, a large language model responds to a prompt by generating text. For example, suppose a user enters the following prompt:

Summarize Newton's Third Law of Motion.

A model capable of prompt-based learning isn't specifically trained to answer the previous prompt. Rather, the model "knows" a lot of facts about physics, a lot about general language rules, and a lot about what constitutes generally useful answers. That knowledge is sufficient to provide a (hopefully) useful answer. Additional human feedback ("That answer was too complicated." or "What's a reaction?") enables some prompt-based learning systems to gradually improve the usefulness of their answers.

prompt design

#language
#generativeAI

Synonym for prompt engineering .

prompt engineering

#language
#generativeAI

The art of creating prompts that elicit the desired responses from a large language model . Humans perform prompt engineering. Writing well-structured prompts is an essential part of ensuring useful responses from a large language model. Prompt engineering depends on many factors, including:

  • The dataset used to pre-train and possibly fine-tune the large language model.
  • The temperature and other decoding parameters that the model uses to generate responses.

See Introduction to prompt design for more details on writing helpful prompts.

Prompt design is a synonym for prompt engineering.

prompt tuning

#language
#generativeAI

A parameter efficient tuning mechanism that learns a "prefix" that the system prepends to the actual prompt .

One variation of prompt tuning—sometimes called prefix tuning —is to prepend the prefix at every layer . In contrast, most prompt tuning only adds a prefix to the input layer .

proxy labels

#fundamentals

Data used to approximate labels not directly available in a dataset.

For example, suppose you must train a model to predict employee stress level. Your dataset contains a lot of predictive features but doesn't contain a label named stress level. Undaunted, you pick "workplace accidents" as a proxy label for stress level. After all, employees under high stress get into more accidents than calm employees. یا آنها؟ Maybe workplace accidents actually rise and fall for multiple reasons.

As a second example, suppose you want is it raining? to be a Boolean label for your dataset, but your dataset doesn't contain rain data. If photographs are available, you might establish pictures of people carrying umbrellas as a proxy label for is it raining? Is that a good proxy label? Possibly, but people in some cultures may be more likely to carry umbrellas to protect against sun than the rain.

Proxy labels are often imperfect. When possible, choose actual labels over proxy labels. That said, when an actual label is absent, pick the proxy label very carefully, choosing the least horrible proxy label candidate.

proxy (sensitive attributes)

#fairness
An attribute used as a stand-in for a sensitive attribute . For example, an individual's postal code might be used as a proxy for their income, race, or ethnicity.

pure function

A function whose outputs are based only on its inputs, and that has no side effects. Specifically, a pure function doesn't use or change any global state, such as the contents of a file or the value of a variable outside the function.

Pure functions can be used to create thread-safe code, which is beneficial when sharding model code across multiple accelerator chips .

JAX's function transformation methods require that the input functions are pure functions.

س

Q-function

#rl

In reinforcement learning , the function that predicts the expected return from taking an action in a state and then following a given policy .

Q-function is also known as state-action value function .

یادگیری کیو

#rl

In reinforcement learning , an algorithm that allows an agent to learn the optimal Q-function of a Markov decision process by applying the Bellman equation . The Markov decision process models an environment .

چندک

Each bucket in quantile bucketing .

quantile bucketing

Distributing a feature's values into buckets so that each bucket contains the same (or almost the same) number of examples. For example, the following figure divides 44 points into 4 buckets, each of which contains 11 points. In order for each bucket in the figure to contain the same number of points, some buckets span a different width of x-values.

44 data points divided into 4 buckets of 11 points each.
          Although each bucket contains the same number of data points,
          some buckets contain a wider range of feature values than other
          buckets.

quantization

Overloaded term that could be used in any of the following ways:

  • Implementing quantile bucketing on a particular feature .
  • Transforming data into zeroes and ones for quicker storing, training, and inferring. As Boolean data is more robust to noise and errors than other formats, quantization can improve model correctness. Quantization techniques include rounding, truncating, and binning .
  • Reducing the number of bits used to store a model's parameters . For example, suppose a model's parameters are stored as 32-bit floating-point numbers. Quantization converts those parameters from 32 bits down to 4, 8, or 16 bits. Quantization reduces the following:

    • Compute, memory, disk, and network usage
    • Time to infer a predication
    • مصرف برق

    However, quantization sometimes decreases the correctness of a model's predictions.

صف

#TensorFlow

A TensorFlow Operation that implements a queue data structure. Typically used in I/O.

آر

RAG

#fundamentals

Abbreviation for retrieval-augmented generation .

جنگل تصادفی

#df

An ensemble of decision trees in which each decision tree is trained with a specific random noise, such as bagging .

Random forests are a type of decision forest .

random policy

#rl

In reinforcement learning , a policy that chooses an action at random.

رتبه بندی

A type of supervised learning whose objective is to order a list of items.

rank (ordinality)

The ordinal position of a class in a machine learning problem that categorizes classes from highest to lowest. For example, a behavior ranking system could rank a dog's rewards from highest (a steak) to lowest (wilted kale).

rank (Tensor)

#TensorFlow

The number of dimensions in a Tensor . For example, a scalar has rank 0, a vector has rank 1, and a matrix has rank 2.

Not to be confused with rank (ordinality) .

ارزیاب

#fundamentals

A human who provides labels for examples . "Annotator" is another name for rater.

به یاد بیاور

A metric for classification models that answers the following question:

When ground truth was the positive class , what percentage of predictions did the model correctly identify as the positive class?

این فرمول است:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

کجا:

  • true positive means the model correctly predicted the positive class.
  • false negative means that the model mistakenly predicted the negative class .

For instance, suppose your model made 200 predictions on examples for which ground truth was the positive class. Of these 200 predictions:

  • 180 were true positives.
  • 20 were false negatives.

در این مورد:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

See Classification: Accuracy, recall, precision and related metrics for more information.

سیستم توصیه

#recsystems

A system that selects for each user a relatively small set of desirable items from a large corpus. For example, a video recommendation system might recommend two videos from a corpus of 100,000 videos, selecting Casablanca and The Philadelphia Story for one user, and Wonder Woman and Black Panther for another. A video recommendation system might base its recommendations on factors such as:

  • Movies that similar users have rated or watched.
  • Genre, directors, actors, target demographic...

واحد خطی اصلاح شده (ReLU)

#fundamentals

An activation function with the following behavior:

  • If input is negative or zero, then the output is 0.
  • If input is positive, then the output is equal to the input.

به عنوان مثال:

  • If the input is -3, then the output is 0.
  • If the input is +3, then the output is 3.0.

Here is a plot of ReLU:

A cartesian plot of two lines. The first line has a constant
          y value of 0, running along the x-axis from -infinity,0 to 0,-0.
          The second line starts at 0,0. This line has a slope of +1, so
          it runs from 0,0 to +infinity,+infinity.

ReLU is a very popular activation function. Despite its simple behavior, ReLU still enables a neural network to learn nonlinear relationships between features and the label .

recurrent neural network

#seq

A neural network that is intentionally run multiple times, where parts of each run feed into the next run. Specifically, hidden layers from the previous run provide part of the input to the same hidden layer in the next run. Recurrent neural networks are particularly useful for evaluating sequences, so that the hidden layers can learn from previous runs of the neural network on earlier parts of the sequence.

For example, the following figure shows a recurrent neural network that runs four times. Notice that the values learned in the hidden layers from the first run become part of the input to the same hidden layers in the second run. Similarly, the values learned in the hidden layer on the second run become part of the input to the same hidden layer in the third run. In this way, the recurrent neural network gradually trains and predicts the meaning of the entire sequence rather than just the meaning of individual words.

An RNN that runs four times to process four input words.

regression model

#fundamentals

Informally, a model that generates a numerical prediction. (In contrast, a classification model generates a class prediction.) For example, the following are all regression models:

  • A model that predicts a certain house's value, such as 423,000 Euros.
  • A model that predicts a certain tree's life expectancy, such as 23.2 years.
  • A model that predicts the amount of rain that will fall in a certain city over the next six hours, such as 0.18 inches.

Two common types of regression models are:

  • Linear regression , which finds the line that best fits label values to features.
  • Logistic regression , which generates a probability between 0.0 and 1.0 that a system typically then maps to a class prediction.

Not every model that outputs numerical predictions is a regression model. In some cases, a numeric prediction is really just a classification model that happens to have numeric class names. For example, a model that predicts a numeric postal code is a classification model, not a regression model.

منظم سازی

#fundamentals

Any mechanism that reduces overfitting . Popular types of regularization include:

Regularization can also be defined as the penalty on a model's complexity.

regularization rate

#fundamentals

A number that specifies the relative importance of regularization during training. Raising the regularization rate reduces overfitting but may reduce the model's predictive power. Conversely, reducing or omitting the regularization rate increases overfitting.

reinforcement learning (RL)

#rl

A family of algorithms that learn an optimal policy , whose goal is to maximize return when interacting with an environment . For example, the ultimate reward of most games is victory. Reinforcement learning systems can become expert at playing complex games by evaluating sequences of previous game moves that ultimately led to wins and sequences that ultimately led to losses.

یادگیری تقویتی از بازخورد انسانی (RLHF)

#generativeAI
#rl

Using feedback from human raters to improve the quality of a model's responses. For example, an RLHF mechanism can ask users to rate the quality of a model's response with a 👍 or 👎 emoji. The system can then adjust its future responses based on that feedback.

ReLU

#fundamentals

Abbreviation for Rectified Linear Unit .

replay buffer

#rl

In DQN -like algorithms, the memory used by the agent to store state transitions for use in experience replay .

ماکت

A copy of the training set or model , typically on another machine. For example, a system could use the following strategy for implementing data parallelism :

  1. Place replicas of an existing model on multiple machines.
  2. Send different subsets of the training set to each replica.
  3. Aggregate the parameter updates.

reporting bias

#fairness

The fact that the frequency with which people write about actions, outcomes, or properties is not a reflection of their real-world frequencies or the degree to which a property is characteristic of a class of individuals. Reporting bias can influence the composition of data that machine learning systems learn from.

For example, in books, the word laughed is more prevalent than breathed . A machine learning model that estimates the relative frequency of laughing and breathing from a book corpus would probably determine that laughing is more common than breathing.

نمایندگی

The process of mapping data to useful features .

re-ranking

#recsystems

The final stage of a recommendation system , during which scored items may be re-graded according to some other (typically, non-ML) algorithm. Re-ranking evaluates the list of items generated by the scoring phase, taking actions such as:

  • Eliminating items that the user has already purchased.
  • Boosting the score of fresher items.

retrieval-augmented generation (RAG)

#fundamentals

A technique for improving the quality of large language model (LLM) output by grounding it with sources of knowledge retrieved after the model was trained. RAG improves the accuracy of LLM responses by providing the trained LLM with access to information retrieved from trusted knowledge bases or documents.

Common motivations to use retrieval-augmented generation include:

  • Increasing the factual accuracy of a model's generated responses.
  • Giving the model access to knowledge it was not trained on.
  • Changing the knowledge that the model uses.
  • Enabling the model to cite sources.

For example, suppose that a chemistry app uses the PaLM API to generate summaries related to user queries. When the app's backend receives a query, the backend:

  1. Searches for ("retrieves") data that's relevant to the user's query.
  2. Appends ("augments") the relevant chemistry data to the user's query.
  3. Instructs the LLM to create a summary based on the appended data.

بازگشت

#rl

In reinforcement learning, given a certain policy and a certain state, the return is the sum of all rewards that the agent expects to receive when following the policy from the state to the end of the episode . The agent accounts for the delayed nature of expected rewards by discounting rewards according to the state transitions required to obtain the reward.

Therefore, if the discount factor is \(\gamma\)، و \(r_0, \ldots, r_{N}\)denote the rewards until the end of the episode, then the return calculation is as follows:

$$\text{Return} = r_0 + \gamma r_1 + \gamma^2 r_2 + \ldots + \gamma^{N-1} r_{N-1}$$

پاداش

#rl

In reinforcement learning, the numerical result of taking an action in a state , as defined by the environment .

ridge regularization

Synonym for L 2 regularization . The term ridge regularization is more frequently used in pure statistics contexts, whereas L 2 regularization is used more often in machine learning.

RNN

#seq

Abbreviation for recurrent neural networks .

ROC (receiver operating characteristic) Curve

#fundamentals

A graph of true positive rate versus false positive rate for different classification thresholds in binary classification.

The shape of an ROC curve suggests a binary classification model's ability to separate positive classes from negative classes. Suppose, for example, that a binary classification model perfectly separates all the negative classes from all the positive classes:

A number line with 8 positive examples on the right side and
          7 negative examples on the left.

The ROC curve for the preceding model looks as follows:

An ROC curve. The x-axis is False Positive Rate and the y-axis
          is True Positive Rate. The curve has an inverted L shape. The curve
          starts at (0.0,0.0) and goes straight up to (0.0,1.0). Then the curve
          goes from (0.0,1.0) to (1.0,1.0).

In contrast, the following illustration graphs the raw logistic regression values for a terrible model that can't separate negative classes from positive classes at all:

A number line with positive examples and negative classes
          completely intermixed.

The ROC curve for this model looks as follows:

An ROC curve, which is actually a straight line from (0.0,0.0)
          to (1.0,1.0).

Meanwhile, back in the real world, most binary classification models separate positive and negative classes to some degree, but usually not perfectly. So, a typical ROC curve falls somewhere between the two extremes:

An ROC curve. The x-axis is False Positive Rate and the y-axis
          is True Positive Rate. The ROC curve approximates a shaky arc
          traversing the compass points from West to North.

The point on an ROC curve closest to (0.0,1.0) theoretically identifies the ideal classification threshold. However, several other real-world issues influence the selection of the ideal classification threshold. For example, perhaps false negatives cause far more pain than false positives.

A numerical metric called AUC summarizes the ROC curve into a single floating-point value.

role prompting

#language
#generativeAI

An optional part of a prompt that identifies a target audience for a generative AI model's response. Without a role prompt, a large language model provides an answer that may or may not be useful for the person asking the questions. With a role prompt, a large language model can answer in a way that's more appropriate and more helpful for a specific target audience. For example, the role prompt portion of the following prompts are in boldface:

  • Summarize this article for a PhD in economics .
  • Describe how tides work for a ten-year old .
  • Explain the 2008 financial crisis. Speak as you might to a young child, or a golden retriever.

ریشه

#df

The starting node (the first condition ) in a decision tree . By convention, diagrams put the root at the top of the decision tree. به عنوان مثال:

A decision tree with two conditions and three leaves. The
          starting condition (x > 2) is the root.

دایرکتوری ریشه

#TensorFlow

The directory you specify for hosting subdirectories of the TensorFlow checkpoint and events files of multiple models.

ریشه میانگین مربعات خطا (RMSE)

#fundamentals

The square root of the Mean Squared Error .

rotational invariance

#تصویر

In an image classification problem, an algorithm's ability to successfully classify images even when the orientation of the image changes. For example, the algorithm can still identify a tennis racket whether it is pointing up, sideways, or down. Note that rotational invariance is not always desirable; for example, an upside-down 9 shouldn't be classified as a 9.

See also translational invariance and size invariance .

R-squared

A regression metric indicating how much variation in a label is due to an individual feature or to a feature set. R-squared is a value between 0 and 1, which you can interpret as follows:

  • An R-squared of 0 means that none of a label's variation is due to the feature set.
  • An R-squared of 1 means that all of a label's variation is due to the feature set.
  • An R-squared between 0 and 1 indicates the extent to which the label's variation can be predicted from a particular feature or the feature set. For example, an R-squared of 0.10 means that 10 percent of the variance in the label is due to the feature set, an R-squared of 0.20 means that 20 percent is due to the feature set, and so on.

R-squared is the square of the Pearson correlation coefficient between the values that a model predicted and ground truth .

اس

sampling bias

#fairness

See selection bias .

sampling with replacement

#df

A method of picking items from a set of candidate items in which the same item can be picked multiple times. The phrase "with replacement" means that after each selection, the selected item is returned to the pool of candidate items. The inverse method, sampling without replacement , means that a candidate item can only be picked once.

For example, consider the following fruit set:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Suppose that the system randomly picks fig as the first item. If using sampling with replacement, then the system picks the second item from the following set:

fruit = {kiwi, apple, pear, fig, cherry, lime, mango}

Yes, that's the same set as before, so the system could potentially pick fig again.

If using sampling without replacement, once picked, a sample can't be picked again. For example, if the system randomly picks fig as the first sample, then fig can't be picked again. Therefore, the system picks the second sample from the following (reduced) set:

fruit = {kiwi, apple, pear, cherry, lime, mango}

SavedModel

#TensorFlow

The recommended format for saving and recovering TensorFlow models. SavedModel is a language-neutral, recoverable serialization format, which enables higher-level systems and tools to produce, consume, and transform TensorFlow models.

See the Saving and Restoring chapter in the TensorFlow Programmer's Guide for complete details.

پس انداز

#TensorFlow

A TensorFlow object responsible for saving model checkpoints.

اسکالر

A single number or a single string that can be represented as a tensor of rank 0. For example, the following lines of code each create one scalar in TensorFlow:

breed = tf.Variable("poodle", tf.string)
temperature = tf.Variable(27, tf.int16)
precision = tf.Variable(0.982375101275, tf.float64)

پوسته پوسته شدن

Any mathematical transform or technique that shifts the range of a label and/or feature value. Some forms of scaling are very useful for transformations like normalization .

Common forms of scaling useful in Machine Learning include:

  • linear scaling, which typically uses a combination of subtraction and division to replace the original value with a number between -1 and +1 or between 0 and 1.
  • logarithmic scaling, which replaces the original value with its logarithm.
  • Z-score normalization , which replaces the original value with a floating-point value representing the number of standard deviations from that feature's mean.

scikit-یادگیری

A popular open-source machine learning platform. See scikit-learn.org .

به ثمر رساندن

#recsystems

The part of a recommendation system that provides a value or ranking for each item produced by the candidate generation phase.

سوگیری انتخاب

#fairness

Errors in conclusions drawn from sampled data due to a selection process that generates systematic differences between samples observed in the data and those not observed. The following forms of selection bias exist:

  • coverage bias : The population represented in the dataset doesn't match the population that the machine learning model is making predictions about.
  • sampling bias : Data is not collected randomly from the target group.
  • non-response bias (also called participation bias ): Users from certain groups opt-out of surveys at different rates than users from other groups.

For example, suppose you are creating a machine learning model that predicts people's enjoyment of a movie. To collect training data, you hand out a survey to everyone in the front row of a theater showing the movie. Offhand, this may sound like a reasonable way to gather a dataset; however, this form of data collection may introduce the following forms of selection bias:

  • coverage bias: By sampling from a population who chose to see the movie, your model's predictions may not generalize to people who did not already express that level of interest in the movie.
  • sampling bias: Rather than randomly sampling from the intended population (all the people at the movie), you sampled only the people in the front row. It is possible that the people sitting in the front row were more interested in the movie than those in other rows.
  • non-response bias: In general, people with strong opinions tend to respond to optional surveys more frequently than people with mild opinions. Since the movie survey is optional, the responses are more likely to form a bimodal distribution than a normal (bell-shaped) distribution.

self-attention (also called self-attention layer)

#language

A neural network layer that transforms a sequence of embeddings (for example, token embeddings) into another sequence of embeddings. Each embedding in the output sequence is constructed by integrating information from the elements of the input sequence through an attention mechanism.

The self part of self-attention refers to the sequence attending to itself rather than to some other context. Self-attention is one of the main building blocks for Transformers and uses dictionary lookup terminology, such as "query", "key", and "value".

A self-attention layer starts with a sequence of input representations, one for each word. The input representation for a word can be a simple embedding. For each word in an input sequence, the network scores the relevance of the word to every element in the whole sequence of words. The relevance scores determine how much the word's final representation incorporates the representations of other words.

برای مثال جمله زیر را در نظر بگیرید:

The animal didn't cross the street because it was too tired.

The following illustration (from Transformer: A Novel Neural Network Architecture for Language Understanding ) shows a self-attention layer's attention pattern for the pronoun it , with the darkness of each line indicating how much each word contributes to the representation:

The following sentence appears twice: The animal didn't cross the
          street because it was too tired. Lines connect the pronoun it in
          one sentence to five tokens (The, animal, street, it, and
          the period) in the other sentence.  The line between the pronoun it
          and the word animal is strongest.

The self-attention layer highlights words that are relevant to "it". In this case, the attention layer has learned to highlight words that it might refer to, assigning the highest weight to animal .

For a sequence of n tokens , self-attention transforms a sequence of embeddings n separate times, once at each position in the sequence.

Refer also to attention and multi-head self-attention .

یادگیری خود نظارتی

A family of techniques for converting an unsupervised machine learning problem into a supervised machine learning problem by creating surrogate labels from unlabeled examples .

Some Transformer -based models such as BERT use self-supervised learning.

Self-supervised training is a semi-supervised learning approach.

self-training

A variant of self-supervised learning that is particularly useful when all of the following conditions are true:

Self-training works by iterating over the following two steps until the model stops improving:

  1. Use supervised machine learning to train a model on the labeled examples.
  2. Use the model created in Step 1 to generate predictions (labels) on the unlabeled examples, moving those in which there is high confidence into the labeled examples with the predicted label.

Notice that each iteration of Step 2 adds more labeled examples for Step 1 to train on.

یادگیری نیمه نظارتی

Training a model on data where some of the training examples have labels but others don't. One technique for semi-supervised learning is to infer labels for the unlabeled examples, and then to train on the inferred labels to create a new model. Semi-supervised learning can be useful if labels are expensive to obtain but unlabeled examples are plentiful.

Self-training is one technique for semi-supervised learning.

sensitive attribute

#fairness
A human attribute that may be given special consideration for legal, ethical, social, or personal reasons.

تحلیل احساسات

#language

Using statistical or machine learning algorithms to determine a group's overall attitude—positive or negative—toward a service, product, organization, or topic. For example, using natural language understanding , an algorithm could perform sentiment analysis on the textual feedback from a university course to determine the degree to which students generally liked or disliked the course.

sequence model

#seq

A model whose inputs have a sequential dependence. For example, predicting the next video watched from a sequence of previously watched videos.

sequence-to-sequence task

#language

A task that converts an input sequence of tokens to an output sequence of tokens. For example, two popular kinds of sequence-to-sequence tasks are:

  • Translators:
    • Sample input sequence: "I love you."
    • Sample output sequence: "Je t'aime."
  • Question answering:
    • Sample input sequence: "Do I need my car in New York City?"
    • Sample output sequence: "No. Please keep your car at home."

خدمت کردن

The process of making a trained model available to provide predictions through online inference or offline inference .

shape (Tensor)

The number of elements in each dimension of a tensor. The shape is represented as a list of integers. For example, the following two-dimensional tensor has a shape of [3,4]:

[[5, 7, 6, 4],
 [2, 9, 4, 8],
 [3, 6, 5, 1]]

TensorFlow uses row-major (C-style) format to represent the order of dimensions, which is why the shape in TensorFlow is [3,4] rather than [4,3] . In other words, in a two-dimensional TensorFlow Tensor, the shape is [ number of rows , number of columns ] .

A static shape is a tensor shape that is known at compile time.

A dynamic shape is unknown at compile time and is therefore dependent on runtime data. This tensor might be represented with a placeholder dimension in TensorFlow, as in [3, ?] .

خرده

#TensorFlow
#GoogleCloud

A logical division of the training set or the model . Typically, some process creates shards by dividing the examples or parameters into (usually) equal-sized chunks. Each shard is then assigned to a different machine.

Sharding a model is called model parallelism ; sharding data is called data parallelism .

انقباض

#df

A hyperparameter in gradient boosting that controls overfitting . Shrinkage in gradient boosting is analogous to learning rate in gradient descent . Shrinkage is a decimal value between 0.0 and 1.0. A lower shrinkage value reduces overfitting more than a larger shrinkage value.

sigmoid function

#fundamentals

A mathematical function that "squishes" an input value into a constrained range, typically 0 to 1 or -1 to +1. That is, you can pass any number (two, a million, negative billion, whatever) to a sigmoid and the output will still be in the constrained range. A plot of the sigmoid activation function looks as follows:

A two-dimensional curved plot with x values spanning the domain
          -infinity to +positive, while y values span the range almost 0 to
          almost 1. When x is 0, y is 0.5. The slope of the curve is always
          positive, with the highest slope at 0,0.5 and gradually decreasing
          slopes as the absolute value of x increases.

The sigmoid function has several uses in machine learning, including:

similarity measure

#clustering

In clustering algorithms, the metric used to determine how alike (how similar) any two examples are.

single program / multiple data (SPMD)

A parallelism technique where the same computation is run on different input data in parallel on different devices. The goal of SPMD is to obtain results more quickly. It is the most common style of parallel programming.

size invariance

#تصویر

In an image classification problem, an algorithm's ability to successfully classify images even when the size of the image changes. For example, the algorithm can still identify a cat whether it consumes 2M pixels or 200K pixels. Note that even the best image classification algorithms still have practical limits on size invariance. For example, an algorithm (or human) is unlikely to correctly classify a cat image consuming only 20 pixels.

See also translational invariance and rotational invariance .

طراحی

#clustering

In unsupervised machine learning , a category of algorithms that perform a preliminary similarity analysis on examples. Sketching algorithms use a locality-sensitive hash function to identify points that are likely to be similar, and then group them into buckets.

Sketching decreases the computation required for similarity calculations on large datasets. Instead of calculating similarity for every single pair of examples in the dataset, we calculate similarity only for each pair of points within each bucket.

skip-gram

#language

An n-gram which may omit (or "skip") words from the original context, meaning the N words might not have been originally adjacent. More precisely, a "k-skip-n-gram" is an n-gram for which up to k words may have been skipped.

For example, "the quick brown fox" has the following possible 2-grams:

  • "the quick"
  • "quick brown"
  • "brown fox"

A "1-skip-2-gram" is a pair of words that have at most 1 word between them. Therefore, "the quick brown fox" has the following 1-skip 2-grams:

  • "the brown"
  • "quick fox"

In addition, all the 2-grams are also 1-skip-2-grams, since fewer than one word may be skipped.

Skip-grams are useful for understanding more of a word's surrounding context. In the example, "fox" was directly associated with "quick" in the set of 1-skip-2-grams, but not in the set of 2-grams.

Skip-grams help train word embedding models.

softmax

#fundamentals

A function that determines probabilities for each possible class in a multi-class classification model . The probabilities add up to exactly 1.0. For example, the following table shows how softmax distributes various probabilities:

Image is a... احتمال
سگ .85
گربه .13
اسب .02

Softmax is also called full softmax .

Contrast with candidate sampling .

soft prompt tuning

#language
#generativeAI

A technique for tuning a large language model for a particular task, without resource intensive fine-tuning . Instead of retraining all the weights in the model, soft prompt tuning automatically adjusts a prompt to achieve the same goal.

Given a textual prompt, soft prompt tuning typically appends additional token embeddings to the prompt and uses backpropagation to optimize the input.

A "hard" prompt contains actual tokens instead of token embeddings.

sparse feature

#language
#fundamentals

A feature whose values are predominately zero or empty. For example, a feature containing a single 1 value and a million 0 values is sparse. In contrast, a dense feature has values that are predominantly not zero or empty.

In machine learning, a surprising number of features are sparse features. Categorical features are usually sparse features. For example, of the 300 possible tree species in a forest, a single example might identify just a maple tree . Or, of the millions of possible videos in a video library, a single example might identify just "Casablanca."

In a model, you typically represent sparse features with one-hot encoding . If the one-hot encoding is big, you might put an embedding layer on top of the one-hot encoding for greater efficiency.

sparse representation

#language
#fundamentals

Storing only the position(s) of nonzero elements in a sparse feature.

For example, suppose a categorical feature named species identifies the 36 tree species in a particular forest. Further assume that each example identifies only a single species.

You could use a one-hot vector to represent the tree species in each example. A one-hot vector would contain a single 1 (to represent the particular tree species in that example) and 35 0 s (to represent the 35 tree species not in that example). So, the one-hot representation of maple might look something like the following:

A vector in which positions 0 through 23 hold the value 0, position
          24 holds the value 1, and positions 25 through 35 hold the value 0.

Alternatively, sparse representation would simply identify the position of the particular species. If maple is at position 24, then the sparse representation of maple would simply be:

24

Notice that the sparse representation is much more compact than the one-hot representation.

sparse vector

#fundamentals

A vector whose values are mostly zeroes. See also sparse feature and sparsity .

پراکندگی

The number of elements set to zero (or null) in a vector or matrix divided by the total number of entries in that vector or matrix. For example, consider a 100-element matrix in which 98 cells contain zero. The calculation of sparsity is as follows:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

Feature sparsity refers to the sparsity of a feature vector; model sparsity refers to the sparsity of the model weights.

spatial pooling

#تصویر

See pooling .

تقسیم

#df

In a decision tree , another name for a condition .

splitter

#df

While training a decision tree , the routine (and algorithm) responsible for finding the best condition at each node .

SPMD

Abbreviation for single program / multiple data .

squared hinge loss

The square of the hinge loss . Squared hinge loss penalizes outliers more harshly than regular hinge loss.

squared loss

#fundamentals

Synonym for L 2 loss .

staged training

#language

A tactic of training a model in a sequence of discrete stages. The goal can be either to speed up the training process, or to achieve better model quality.

An illustration of the progressive stacking approach is shown below:

  • Stage 1 contains 3 hidden layers, stage 2 contains 6 hidden layers, and stage 3 contains 12 hidden layers.
  • Stage 2 begins training with the weights learned in the 3 hidden layers of Stage 1. Stage 3 begins training with the weights learned in the 6 hidden layers of Stage 2.

Three stages, which are labeled Stage 1, Stage 2, and Stage 3.
          Each stage contains a different number of layers: Stage 1 contains
          3 layers, Stage 2 contains 6 layers, and Stage 3 contains 12 layers.
          The 3 layers from Stage 1 become the first 3 layers of Stage 2.
          Similarly, the 6 layers from Stage 2 become the first 6 layers of
          Stage 3.

See also pipelining .

دولت

#rl

In reinforcement learning, the parameter values that describe the current configuration of the environment, which the agent uses to choose an action .

state-action value function

#rl

Synonym for Q-function .

ایستا

#fundamentals

Something done once rather than continuously. The terms static and offline are synonyms. The following are common uses of static and offline in machine learning:

  • static model (or offline model ) is a model trained once and then used for a while.
  • static training (or offline training ) is the process of training a static model.
  • static inference (or offline inference ) is a process in which a model generates a batch of predictions at a time.

Contrast with dynamic .

static inference

#fundamentals

Synonym for offline inference .

stationarity

#fundamentals

A feature whose values don't change across one or more dimensions, usually time. For example, a feature whose values look about the same in 2021 and 2023 exhibits stationarity.

In the real world, very few features exhibit stationarity. Even features synonymous with stability (like sea level) change over time.

Contrast with nonstationarity .

گام

A forward pass and backward pass of one batch .

See backpropagation for more information on the forward pass and backward pass.

اندازه گام

Synonym for learning rate .

stochastic gradient descent (SGD)

#fundamentals

A gradient descent algorithm in which the batch size is one. In other words, SGD trains on a single example chosen uniformly at random from a training set .

گام برداشتن

#تصویر

In a convolutional operation or pooling, the delta in each dimension of the next series of input slices. For example, the following animation demonstrates a (1,1) stride during a convolutional operation. Therefore, the next input slice starts one position to the right of the previous input slice. When the operation reaches the right edge, the next slice is all the way over to the left but one position down.

An input 5x5 matrix and a 3x3 convolutional filter. Because the
     stride is (1,1), a convolutional filter will be applied 9 times. The first
     convolutional slice evaluates the top-left 3x3 submatrix of the input
     matrix. The second slice evaluates the top-middle 3x3
     submatrix. The third convolutional slice evaluates the top-right 3x3
     submatrix.  The fourth slice evaluates the middle-left 3x3 submatrix.
     The fifth slice evaluates the middle 3x3 submatrix. The sixth slice
     evaluates the middle-right 3x3 submatrix. The seventh slice evaluates
     the bottom-left 3x3 submatrix.  The eighth slice evaluates the
     bottom-middle 3x3 submatrix. The ninth slice evaluates the bottom-right 3x3
     submatrix.

The preceding example demonstrates a two-dimensional stride. If the input matrix is three-dimensional, the stride would also be three-dimensional.

structural risk minimization (SRM)

An algorithm that balances two goals:

  • The need to build the most predictive model (for example, lowest loss).
  • The need to keep the model as simple as possible (for example, strong regularization).

For example, a function that minimizes loss+regularization on the training set is a structural risk minimization algorithm.

Contrast with empirical risk minimization .

subsampling

#تصویر

See pooling .

subword token

#language

In language models , a token that is a substring of a word, which may be the entire word.

For example, a word like "itemize" might be broken up into the pieces "item" (a root word) and "ize" (a suffix), each of which is represented by its own token. Splitting uncommon words into such pieces, called subwords, allows language models to operate on the word's more common constituent parts, such as prefixes and suffixes.

Conversely, common words like "going" might not be broken up and might be represented by a single token.

خلاصه

#TensorFlow

In TensorFlow, a value or set of values calculated at a particular step , usually used for tracking model metrics during training.

یادگیری ماشینی تحت نظارت

#fundamentals

Training a model from features and their corresponding labels . Supervised machine learning is analogous to learning a subject by studying a set of questions and their corresponding answers. After mastering the mapping between questions and answers, a student can then provide answers to new (never-before-seen) questions on the same topic.

Compare with unsupervised machine learning .

synthetic feature

#fundamentals

A feature not present among the input features, but assembled from one or more of them. Methods for creating synthetic features include the following:

  • Bucketing a continuous feature into range bins.
  • Creating a feature cross .
  • Multiplying (or dividing) one feature value by other feature value(s) or by itself. For example, if a and b are input features, then the following are examples of synthetic features:
    • ab
    • یک 2
  • Applying a transcendental function to a feature value. For example, if c is an input feature, then the following are examples of synthetic features:
    • sin(c)
    • ln(c)

Features created by normalizing or scaling alone are not considered synthetic features.

تی

T5

#language

A text-to-text transfer learning model introduced by Google AI in 2020 . T5 is an encoder - decoder model, based on the Transformer architecture, trained on an extremely large dataset. It is effective at a variety of natural language processing tasks, such as generating text, translating languages, and answering questions in a conversational manner.

T5 gets its name from the five T's in "Text-to-Text Transfer Transformer."

T5X

#language

An open-source, machine learning framework designed to build and train large-scale natural language processing (NLP) models. T5 is implemented on the T5X codebase (which is built on JAX and Flax ).

tabular Q-learning

#rl

In reinforcement learning , implementing Q-learning by using a table to store the Q-functions for every combination of state and action .

هدف

Synonym for label .

target network

#rl

In Deep Q-learning , a neural network that is a stable approximation of the main neural network, where the main neural network implements either a Q-function or a policy . Then, you can train the main network on the Q-values predicted by the target network. Therefore, you prevent the feedback loop that occurs when the main network trains on Q-values predicted by itself. By avoiding this feedback, training stability increases.

وظیفه

A problem that can be solved using machine learning techniques, such as:

دما

#language
#تصویر
#generativeAI

A hyperparameter that controls the degree of randomness of a model's output. Higher temperatures result in more random output, while lower temperatures result in less random output.

Choosing the best temperature depends on the specific application and the preferred properties of the model's output. For example, you would probably raise the temperature when creating an application that generates creative output. Conversely, you would probably lower the temperature when building a model that classifies images or text in order to improve the model's accuracy and consistency.

Temperature is often used with softmax .

temporal data

Data recorded at different points in time. For example, winter coat sales recorded for each day of the year would be temporal data.

تانسور

#TensorFlow

The primary data structure in TensorFlow programs. Tensors are N-dimensional (where N could be very large) data structures, most commonly scalars, vectors, or matrixes. The elements of a Tensor can hold integer, floating-point, or string values.

TensorBoard

#TensorFlow

The dashboard that displays the summaries saved during the execution of one or more TensorFlow programs.

TensorFlow

#TensorFlow

A large-scale, distributed, machine learning platform. The term also refers to the base API layer in the TensorFlow stack, which supports general computation on dataflow graphs.

Although TensorFlow is primarily used for machine learning, you may also use TensorFlow for non-ML tasks that require numerical computation using dataflow graphs.

TensorFlow Playground

#TensorFlow

A program that visualizes how different hyperparameters influence model (primarily neural network) training. Go to http://playground.tensorflow.org to experiment with TensorFlow Playground.

سرویس TensorFlow

#TensorFlow

A platform to deploy trained models in production.

واحد پردازش تانسور (TPU)

#TensorFlow
#GoogleCloud

An application-specific integrated circuit (ASIC) that optimizes the performance of machine learning workloads. These ASICs are deployed as multiple TPU chips on a TPU device .

Tensor rank

#TensorFlow

See rank (Tensor) .

Tensor shape

#TensorFlow

The number of elements a Tensor contains in various dimensions. For example, a [5, 10] Tensor has a shape of 5 in one dimension and 10 in another.

Tensor size

#TensorFlow

The total number of scalars a Tensor contains. For example, a [5, 10] Tensor has a size of 50.

TensorStore

A library for efficiently reading and writing large multi-dimensional arrays.

termination condition

#rl

In reinforcement learning , the conditions that determine when an episode ends, such as when the agent reaches a certain state or exceeds a threshold number of state transitions. For example, in tic-tac-toe (also known as noughts and crosses), an episode terminates either when a player marks three consecutive spaces or when all spaces are marked.

تست کنید

#df

In a decision tree , another name for a condition .

test loss

#fundamentals

A metric representing a model's loss against the test set . When building a model , you typically try to minimize test loss. That's because a low test loss is a stronger quality signal than a low training loss or low validation loss .

A large gap between test loss and training loss or validation loss sometimes suggests that you need to increase the regularization rate .

مجموعه تست

A subset of the dataset reserved for testing a trained model .

Traditionally, you divide examples in the dataset into the following three distinct subsets:

Each example in a dataset should belong to only one of the preceding subsets. For instance, a single example shouldn't belong to both the training set and the test set.

The training set and validation set are both closely tied to training a model. Because the test set is only indirectly associated with training, test loss is a less biased, higher quality metric than training loss or validation loss .

text span

#language

The array index span associated with a specific subsection of a text string. For example, the word good in the Python string s="Be good now" occupies the text span from 3 to 6.

tf.Example

#TensorFlow

A standard protocol buffer for describing input data for machine learning model training or inference.

tf.keras

#TensorFlow

An implementation of Keras integrated into TensorFlow .

threshold (for decision trees)

#df

In an axis-aligned condition , the value that a feature is being compared against. For example, 75 is the threshold value in the following condition:

grade >= 75

time series analysis

#clustering

A subfield of machine learning and statistics that analyzes temporal data . Many types of machine learning problems require time series analysis, including classification, clustering, forecasting, and anomaly detection. For example, you could use time series analysis to forecast the future sales of winter coats by month based on historical sales data.

مرحله زمانی

#seq

One "unrolled" cell within a recurrent neural network . For example, the following figure shows three timesteps (labeled with the subscripts t-1, t, and t+1):

Three timesteps in a recurrent neural network. The output of the
          first timestep becomes input to the second timestep. The output
          of the second timestep becomes input to the third timestep.

نشانه

#language

In a language model , the atomic unit that the model is training on and making predictions on. A token is typically one of the following:

  • a word—for example, the phrase "dogs like cats" consists of three word tokens: "dogs", "like", and "cats".
  • a character—for example, the phrase "bike fish" consists of nine character tokens. (Note that the blank space counts as one of the tokens.)
  • subwords—in which a single word can be a single token or multiple tokens. A subword consists of a root word, a prefix, or a suffix. For example, a language model that uses subwords as tokens might view the word "dogs" as two tokens (the root word "dog" and the plural suffix "s"). That same language model might view the single word "taller" as two subwords (the root word "tall" and the suffix "er").

In domains outside of language models, tokens can represent other kinds of atomic units. For example, in computer vision, a token might be a subset of an image.

برج

A component of a deep neural network that is itself a deep neural network. In some cases, each tower reads from an independent data source, and those towers stay independent until their output is combined in a final layer. In other cases, (for example, in the encoder and decoder tower of many Transformers ), towers have cross-connections to each other.

TPU

#TensorFlow
#GoogleCloud

Abbreviation for Tensor Processing Unit .

TPU chip

#TensorFlow
#GoogleCloud

A programmable linear algebra accelerator with on-chip high bandwidth memory that is optimized for machine learning workloads. Multiple TPU chips are deployed on a TPU device .

TPU device

#TensorFlow
#GoogleCloud

A printed circuit board (PCB) with multiple TPU chips , high bandwidth network interfaces, and system cooling hardware.

TPU master

#TensorFlow
#GoogleCloud

The central coordination process running on a host machine that sends and receives data, results, programs, performance, and system health information to the TPU workers . The TPU master also manages the setup and shutdown of TPU devices .

TPU node

#TensorFlow
#GoogleCloud

A TPU resource on Google Cloud with a specific TPU type . The TPU node connects to your VPC Network from a peer VPC network . TPU nodes are a resource defined in the Cloud TPU API .

TPU Pod

#TensorFlow
#GoogleCloud

A specific configuration of TPU devices in a Google data center. All of the devices in a TPU Pod are connected to one another over a dedicated high-speed network. A TPU Pod is the largest configuration of TPU devices available for a specific TPU version.

TPU resource

#TensorFlow
#GoogleCloud

A TPU entity on Google Cloud that you create, manage, or consume. For example, TPU nodes and TPU types are TPU resources.

TPU slice

#TensorFlow
#GoogleCloud

A TPU slice is a fractional portion of the TPU devices in a TPU Pod . All of the devices in a TPU slice are connected to one another over a dedicated high-speed network.

TPU type

#TensorFlow
#GoogleCloud

A configuration of one or more TPU devices with a specific TPU hardware version. You select a TPU type when you create a TPU node on Google Cloud. For example, a v2-8 TPU type is a single TPU v2 device with 8 cores. A v3-2048 TPU type has 256 networked TPU v3 devices and a total of 2048 cores. TPU types are a resource defined in the Cloud TPU API .

TPU worker

#TensorFlow
#GoogleCloud

A process that runs on a host machine and executes machine learning programs on TPU devices .

آموزش

#fundamentals

The process of determining the ideal parameters (weights and biases) comprising a model . During training, a system reads in examples and gradually adjusts parameters. Training uses each example anywhere from a few times to billions of times.

از دست دادن آموزش

#fundamentals

A metric representing a model's loss during a particular training iteration. For example, suppose the loss function is Mean Squared Error . Perhaps the training loss (the Mean Squared Error) for the 10th iteration is 2.2, and the training loss for the 100th iteration is 1.9.

A loss curve plots training loss versus the number of iterations. A loss curve provides the following hints about training:

  • A downward slope implies that the model is improving.
  • An upward slope implies that the model is getting worse.
  • A flat slope implies that the model has reached convergence .

For example, the following somewhat idealized loss curve shows:

  • A steep downward slope during the initial iterations, which implies rapid model improvement.
  • A gradually flattening (but still downward) slope until close to the end of training, which implies continued model improvement at a somewhat slower pace then during the initial iterations.
  • A flat slope towards the end of training, which suggests convergence.

The plot of training loss versus iterations. This loss curve starts
     with a steep downward slope. The slope gradually flattens until the
     slope becomes zero.

Although training loss is important, see also generalization .

training-serving skew

#fundamentals

The difference between a model's performance during training and that same model's performance during serving .

مجموعه آموزشی

#fundamentals

The subset of the dataset used to train a model .

Traditionally, examples in the dataset are divided into the following three distinct subsets:

Ideally, each example in the dataset should belong to only one of the preceding subsets. For example, a single example shouldn't belong to both the training set and the validation set.

خط سیر

#rl

In reinforcement learning , a sequence of tuples that represent a sequence of state transitions of the agent , where each tuple corresponds to the state, action , reward , and next state for a given state transition.

transfer learning

Transferring information from one machine learning task to another. For example, in multi-task learning, a single model solves multiple tasks, such as a deep model that has different output nodes for different tasks. Transfer learning might involve transferring knowledge from the solution of a simpler task to a more complex one, or involve transferring knowledge from a task where there is more data to one where there is less data.

Most machine learning systems solve a single task. Transfer learning is a baby step towards artificial intelligence in which a single program can solve multiple tasks.

ترانسفورماتور

#language

A neural network architecture developed at Google that relies on self-attention mechanisms to transform a sequence of input embeddings into a sequence of output embeddings without relying on convolutions or recurrent neural networks . A Transformer can be viewed as a stack of self-attention layers.

A Transformer can include any of the following:

An encoder transforms a sequence of embeddings into a new sequence of the same length. An encoder includes N identical layers, each of which contains two sub-layers. These two sub-layers are applied at each position of the input embedding sequence, transforming each element of the sequence into a new embedding. The first encoder sub-layer aggregates information from across the input sequence. The second encoder sub-layer transforms the aggregated information into an output embedding.

A decoder transforms a sequence of input embeddings into a sequence of output embeddings, possibly with a different length. A decoder also includes N identical layers with three sub-layers, two of which are similar to the encoder sub-layers. The third decoder sub-layer takes the output of the encoder and applies the self-attention mechanism to gather information from it.

The blog post Transformer: A Novel Neural Network Architecture for Language Understanding provides a good introduction to Transformers.

translational invariance

#تصویر

In an image classification problem, an algorithm's ability to successfully classify images even when the position of objects within the image changes. For example, the algorithm can still identify a dog, whether it is in the center of the frame or at the left end of the frame.

See also size invariance and rotational invariance .

سه گرام

#seq
#language

An N-gram in which N=3.

true negative (TN)

#fundamentals

An example in which the model correctly predicts the negative class . For example, the model infers that a particular email message is not spam , and that email message really is not spam .

true positive (TP)

#fundamentals

An example in which the model correctly predicts the positive class . For example, the model infers that a particular email message is spam, and that email message really is spam.

true positive rate (TPR)

#fundamentals

Synonym for recall . یعنی:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

True positive rate is the y-axis in an ROC curve .

U

unawareness (to a sensitive attribute)

#fairness

A situation in which sensitive attributes are present, but not included in the training data. Because sensitive attributes are often correlated with other attributes of one's data, a model trained with unawareness about a sensitive attribute could still have disparate impact with respect to that attribute, or violate other fairness constraints .

کم تناسب

#fundamentals

Producing a model with poor predictive ability because the model hasn't fully captured the complexity of the training data. Many problems can cause underfitting, including:

undersampling

Removing examples from the majority class in a class-imbalanced dataset in order to create a more balanced training set .

For example, consider a dataset in which the ratio of the majority class to the minority class is 20:1. To overcome this class imbalance, you could create a training set consisting of all of the minority class examples but only a tenth of the majority class examples, which would create a training-set class ratio of 2:1. Thanks to undersampling, this more balanced training set might produce a better model. Alternatively, this more balanced training set might contain insufficient examples to train an effective model.

Contrast with oversampling .

یک طرفه

#language

A system that only evaluates the text that precedes a target section of text. In contrast, a bidirectional system evaluates both the text that precedes and follows a target section of text. See bidirectional for more details.

unidirectional language model

#language

A language model that bases its probabilities only on the tokens appearing before , not after , the target token(s). Contrast with bidirectional language model .

unlabeled example

#fundamentals

An example that contains features but no label . For example, the following table shows three unlabeled examples from a house valuation model, each with three features but no house value:

تعداد اتاق خواب تعداد حمام House age
3 2 15
2 1 72
4 2 34

In supervised machine learning , models train on labeled examples and make predictions on unlabeled examples .

In semi-supervised and unsupervised learning, unlabeled examples are used during training.

Contrast unlabeled example with labeled example .

unsupervised machine learning

#clustering
#fundamentals

Training a model to find patterns in a dataset, typically an unlabeled dataset.

The most common use of unsupervised machine learning is to cluster data into groups of similar examples. For example, an unsupervised machine learning algorithm can cluster songs based on various properties of the music. The resulting clusters can become an input to other machine learning algorithms (for example, to a music recommendation service). Clustering can help when useful labels are scarce or absent. For example, in domains such as anti-abuse and fraud, clusters can help humans better understand the data.

Contrast with supervised machine learning .

uplift modeling

A modeling technique, commonly used in marketing, that models the "causal effect" (also known as the "incremental impact") of a "treatment" on an "individual." در اینجا دو نمونه وجود دارد:

  • Doctors might use uplift modeling to predict the mortality decrease (causal effect) of a medical procedure (treatment) depending on the age and medical history of a patient (individual).
  • Marketers might use uplift modeling to predict the increase in probability of a purchase (causal effect) due to an advertisement (treatment) on a person (individual).

Uplift modeling differs from classification or regression in that some labels (for example, half of the labels in binary treatments) are always missing in uplift modeling. For example, a patient can either receive or not receive a treatment; therefore, we can only observe whether the patient is going to heal or not heal in only one of these two situations (but never both). The main advantage of an uplift model is that it can generate predictions for the unobserved situation (the counterfactual) and use it to compute the causal effect.

upweighting

Applying a weight to the downsampled class equal to the factor by which you downsampled.

user matrix

#recsystems

In recommendation systems , an embedding vector generated by matrix factorization that holds latent signals about user preferences. Each row of the user matrix holds information about the relative strength of various latent signals for a single user. For example, consider a movie recommendation system. In this system, the latent signals in the user matrix might represent each user's interest in particular genres, or might be harder-to-interpret signals that involve complex interactions across multiple factors.

The user matrix has a column for each latent feature and a row for each user. That is, the user matrix has the same number of rows as the target matrix that is being factorized. For example, given a movie recommendation system for 1,000,000 users, the user matrix will have 1,000,000 rows.

V

اعتبار سنجی

#fundamentals

The initial evaluation of a model's quality. Validation checks the quality of a model's predictions against the validation set .

Because the validation set differs from the training set , validation helps guard against overfitting .

You might think of evaluating the model against the validation set as the first round of testing and evaluating the model against the test set as the second round of testing.

validation loss

#fundamentals

A metric representing a model's loss on the validation set during a particular iteration of training.

See also generalization curve .

مجموعه اعتبار سنجی

#fundamentals

The subset of the dataset that performs initial evaluation against a trained model . Typically, you evaluate the trained model against the validation set several times before evaluating the model against the test set .

Traditionally, you divide the examples in the dataset into the following three distinct subsets:

Ideally, each example in the dataset should belong to only one of the preceding subsets. For example, a single example shouldn't belong to both the training set and the validation set.

value imputation

The process of replacing a missing value with an acceptable substitute. When a value is missing, you can either discard the entire example or you can use value imputation to salvage the example.

For example, consider a dataset containing a temperature feature that is supposed to be recorded every hour. However, the temperature reading was unavailable for a particular hour. Here is a section of the dataset:

مهر زمان دما
1680561000 10
1680564600 12
1680568200 گم شده
1680571800 20
1680575400 21
1680579000 21

A system could either delete the missing example or impute the missing temperature as 12, 16, 18, or 20, depending on the imputation algorithm.

مشکل گرادیان ناپدید شدن

#seq

The tendency for the gradients of early hidden layers of some deep neural networks to become surprisingly flat (low). Increasingly lower gradients result in increasingly smaller changes to the weights on nodes in a deep neural network, leading to little or no learning. Models suffering from the vanishing gradient problem become difficult or impossible to train. Long Short-Term Memory cells address this issue.

Compare to exploding gradient problem .

variable importances

#df

A set of scores that indicates the relative importance of each feature to the model.

For example, consider a decision tree that estimates house prices. Suppose this decision tree uses three features: size, age, and style. If a set of variable importances for the three features are calculated to be {size=5.8, age=2.5, style=4.7}, then size is more important to the decision tree than age or style.

Different variable importance metrics exist, which can inform ML experts about different aspects of models.

رمزگذار خودکار متغیر (VAE)

#language

A type of autoencoder that leverages the discrepancy between inputs and outputs to generate modified versions of the inputs. Variational autoencoders are useful for generative AI .

VAEs are based on variational inference: a technique for estimating the parameters of a probability model.

بردار

Very overloaded term whose meaning varies across different mathematical and scientific fields. Within machine learning, a vector has two properties:

  • Data type: Vectors in machine learning usually hold floating-point numbers.
  • Number of elements: This is the vector's length or its dimension .

For example, consider a feature vector that holds eight floating-point numbers. This feature vector has a length or dimension of eight. Note that machine learning vectors often have a huge number of dimensions.

You can represent many different kinds of information as a vector. به عنوان مثال:

  • Any position on the surface of Earth can be represented as a 2-dimensional vector, where one dimension is the latitude and the other is the longitude.
  • The current prices of each of 500 stocks can be represented as a 500-dimensional vector.
  • A probability distribution over a finite number of classes can be represented as a vector. For example, a multiclass classification system that predicts one of three output colors (red, green, or yellow) could output the vector (0.3, 0.2, 0.5) to mean P[red]=0.3, P[green]=0.2, P[yellow]=0.5 .

Vectors can be concatenated; therefore, a variety of different media can be represented as a single vector. Some models operate directly on the concatenation of many one-hot encodings .

Specialized processors such as TPUs are optimized to perform mathematical operations on vectors.

A vector is a tensor of rank 1.

دبلیو

ضرر واسرشتاین

One of the loss functions commonly used in generative adversarial networks , based on the earth mover's distance between the distribution of generated data and real data.

وزن

#fundamentals

A value that a model multiplies by another value. Training is the process of determining a model's ideal weights; inference is the process of using those learned weights to make predictions.

Weighted Alternating Least Squares (WALS)

#recsystems

An algorithm for minimizing the objective function during matrix factorization in recommendation systems , which allows a downweighting of the missing examples. WALS minimizes the weighted squared error between the original matrix and the reconstruction by alternating between fixing the row factorization and column factorization. Each of these optimizations can be solved by least squares convex optimization . For details, see the Recommendation Systems course .

weighted sum

#fundamentals

The sum of all the relevant input values multiplied by their corresponding weights. For example, suppose the relevant inputs consist of the following:

مقدار ورودی input weight
2 -1.3
-1 0.6
3 0.4

The weighted sum is therefore:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

A weighted sum is the input argument to an activation function .

wide model

A linear model that typically has many sparse input features . We refer to it as "wide" since such a model is a special type of neural network with a large number of inputs that connect directly to the output node. Wide models are often easier to debug and inspect than deep models . Although wide models cannot express nonlinearities through hidden layers , wide models can use transformations such as feature crossing and bucketization to model nonlinearities in different ways.

Contrast with deep model .

عرض

The number of neurons in a particular layer of a neural network .

wisdom of the crowd

#df

The idea that averaging the opinions or estimates of a large group of people ("the crowd") often produces surprisingly good results. For example, consider a game in which people guess the number of jelly beans packed into a large jar. Although most individual guesses will be inaccurate, the average of all the guesses has been empirically shown to be surprisingly close to the actual number of jelly beans in the jar.

Ensembles are a software analog of wisdom of the crowd. Even if individual models make wildly inaccurate predictions, averaging the predictions of many models often generates surprisingly good predictions. For example, although an individual decision tree might make poor predictions, a decision forest often makes very good predictions.

word embedding

#language

Representing each word in a word set within an embedding vector ; that is, representing each word as a vector of floating-point values between 0.0 and 1.0. Words with similar meanings have more-similar representations than words with different meanings. For example, carrots , celery , and cucumbers would all have relatively similar representations, which would be very different from the representations of airplane , sunglasses , and toothpaste .

X

XLA (Accelerated Linear Algebra)

An open-source machine learning compiler for GPUs, CPUs, and ML accelerators.

The XLA compiler takes models from popular ML frameworks such as PyTorch , TensorFlow , and JAX , and optimizes them for high-performance execution across different hardware platforms including GPUs, CPUs, and ML accelerators .

ز

zero-shot learning

A type of machine learning training where the model infers a prediction for a task that it was not specifically already trained on. In other words, the model is given zero task-specific training examples but asked to do inference for that task.

zero-shot prompting

#language
#generativeAI

A prompt that does not provide an example of how you want the large language model to respond. به عنوان مثال:

Parts of one prompt یادداشت ها
What is the official currency of the specified country? The question you want the LLM to answer.
هند: The actual query.

The large language model might respond with any of the following:

  • روپیه
  • INR
  • روپیه هند
  • The rupee
  • The Indian rupee

All of the answers are correct, though you might prefer a particular format.

Compare and contrast zero-shot prompting with the following terms:

Z-score normalization

#fundamentals

A scaling technique that replaces a raw feature value with a floating-point value representing the number of standard deviations from that feature's mean. For example, consider a feature whose mean is 800 and whose standard deviation is 100. The following table shows how Z-score normalization would map the raw value to its Z-score:

ارزش خام امتیاز Z
800 0
950 +1.5
575 -2.25

The machine learning model then trains on the Z-scores for that feature instead of on the raw values.

،

این واژه نامه، اصطلاحات کلی یادگیری ماشین، به اضافه اصطلاحات خاص TensorFlow را تعریف می کند.

الف

فرسایش

تکنیکی برای ارزیابی اهمیت یک ویژگی یا جزء با حذف موقت آن از یک مدل . سپس مدل را بدون آن ویژگی یا مؤلفه مجدداً آموزش می دهید، و اگر مدل بازآموزی شده به طور قابل توجهی بدتر عمل می کند، احتمالاً ویژگی یا مؤلفه حذف شده مهم است.

به عنوان مثال، فرض کنید یک مدل طبقه بندی را بر روی 10 ویژگی آموزش می دهید و به دقت 88 درصد در مجموعه آزمایشی دست می یابید. برای بررسی اهمیت ویژگی اول، می توانید مدل را تنها با استفاده از 9 ویژگی دیگر دوباره آموزش دهید. اگر مدل بازآموزی شده به طور قابل توجهی بدتر عمل کند (به عنوان مثال، دقت 55 درصد)، احتمالاً ویژگی حذف شده مهم است. برعکس، اگر مدل بازآموزی شده به همان اندازه خوب عمل کند، احتمالاً آن ویژگی چندان مهم نبوده است.

فرسایش همچنین می تواند به تعیین اهمیت موارد زیر کمک کند:

  • اجزای بزرگتر، مانند کل زیرسیستم یک سیستم ML بزرگتر
  • فرآیندها یا تکنیک ها، مانند مرحله پیش پردازش داده ها

در هر دو مورد، مشاهده خواهید کرد که چگونه عملکرد سیستم پس از حذف مؤلفه تغییر می کند (یا تغییر نمی کند).

تست A/B

روشی آماری برای مقایسه دو (یا بیشتر) تکنیک - A و B. به طور معمول، A یک تکنیک موجود است و B یک تکنیک جدید است. تست A/B نه تنها تعیین می‌کند که کدام تکنیک بهتر عمل می‌کند، بلکه مشخص می‌کند که آیا تفاوت از نظر آماری معنی‌دار است یا خیر.

تست A/B معمولاً یک معیار واحد را در دو تکنیک مقایسه می‌کند. به عنوان مثال، چگونه دقت مدل برای دو تکنیک مقایسه می شود؟ با این حال، آزمایش A/B می‌تواند هر تعداد محدودی از معیارها را با هم مقایسه کند.

تراشه شتاب دهنده

‎#GoogleCloud

دسته ای از اجزای سخت افزاری تخصصی که برای انجام محاسبات کلیدی مورد نیاز برای الگوریتم های یادگیری عمیق طراحی شده اند.

تراشه های شتاب دهنده (یا فقط شتاب دهنده ها ، به طور خلاصه) می توانند سرعت و کارایی وظایف آموزش و استنتاج را در مقایسه با یک CPU همه منظوره به میزان قابل توجهی افزایش دهند. آنها برای آموزش شبکه های عصبی و کارهای مشابه محاسباتی بسیار ایده آل هستند.

نمونه هایی از تراشه های شتاب دهنده عبارتند از:

  • واحدهای پردازش تنسور Google ( TPU ) با سخت افزار اختصاصی برای یادگیری عمیق.
  • پردازنده‌های گرافیکی NVIDIA که اگرچه در ابتدا برای پردازش گرافیکی طراحی شده‌اند، برای فعال کردن پردازش موازی طراحی شده‌اند که می‌تواند سرعت پردازش را به میزان قابل توجهی افزایش دهد.

دقت

#مبانی

تعداد پیش‌بینی‌های طبقه‌بندی صحیح تقسیم بر تعداد کل پیش‌بینی‌ها. یعنی:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

به عنوان مثال، مدلی که 40 پیش‌بینی درست و 10 پیش‌بینی نادرست داشته باشد، دقتی برابر با:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

طبقه بندی باینری نام های خاصی را برای دسته های مختلف پیش بینی های صحیح و پیش بینی های نادرست ارائه می دهد. بنابراین، فرمول دقت برای طبقه بندی باینری به شرح زیر است:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

کجا:

مقایسه و مقایسه دقت با دقت و یادآوری .

برای اطلاعات بیشتر به طبقه بندی: دقت، یادآوری، دقت و معیارهای مرتبط در دوره تصادف یادگیری ماشین مراجعه کنید.

اقدام

#rl

در یادگیری تقویتی ، مکانیزمی است که توسط آن عامل بین حالات محیط تغییر می کند. عامل با استفاده از یک خط مشی اقدام را انتخاب می کند.

عملکرد فعال سازی

#مبانی

تابعی که شبکه های عصبی را قادر می سازد تا روابط غیرخطی (پیچیده) بین ویژگی ها و برچسب را بیاموزند.

توابع فعال سازی محبوب عبارتند از:

نمودار توابع فعال سازی هرگز خطوط مستقیم منفرد نیستند. به عنوان مثال، نمودار تابع فعال سازی ReLU از دو خط مستقیم تشکیل شده است:

طرح دکارتی از دو خط. خط اول دارای یک مقدار ثابت y برابر با 0 است که در امتداد محور x از -infinity,0 تا 0,-0 قرار دارد.           خط دوم از 0.0 شروع می شود. این خط دارای شیب 1+ است، بنابراین از 0،0 تا + بی نهایت، + بی نهایت است.

نمودار تابع فعال سازی سیگموئید به صورت زیر است:

یک نمودار منحنی دو بعدی با مقادیر x که دامنه -بی نهایت تا + مثبت را در بر می گیرد، در حالی که مقادیر y محدوده تقریباً 0 تا تقریبا 1 را در بر می گیرد. وقتی x 0 باشد، y 0.5 است. شیب منحنی همیشه مثبت است، با بیشترین شیب 0.5 و به تدریج با افزایش مقدار مطلق x شیب ها کاهش می یابد.

برای اطلاعات بیشتر ، شبکه‌های عصبی: توابع فعال‌سازی را در دوره آموزشی تصادفی یادگیری ماشین ببینید.

یادگیری فعال

یک رویکرد آموزشی که در آن الگوریتم برخی از داده هایی را که از آنها می آموزد انتخاب می کند . یادگیری فعال به ویژه زمانی ارزشمند است که نمونه‌های برچسب‌گذاری شده کمیاب یا گران هستند. به جای جستجوی کورکورانه طیف متنوعی از مثال‌های برچسب‌گذاری شده، یک الگوریتم یادگیری فعال به طور انتخابی به دنبال طیف خاصی از مثال‌هایی است که برای یادگیری نیاز دارد.

آداگراد

یک الگوریتم نزولی شیب پیچیده که گرادیان های هر پارامتر را مجدداً مقیاس می دهد و به طور مؤثر به هر پارامتر یک نرخ یادگیری مستقل می دهد. برای توضیح کامل، این مقاله آداگراد را ببینید.

عامل

#rl

در یادگیری تقویتی ، نهادی که از سیاستی برای به حداکثر رساندن بازده مورد انتظار حاصل از انتقال بین حالت های محیط استفاده می کند.

به طور کلی تر، یک عامل نرم افزاری است که به طور مستقل مجموعه ای از اقدامات را در تعقیب یک هدف، با توانایی سازگاری با تغییرات محیط خود، برنامه ریزی و اجرا می کند. به عنوان مثال، یک عامل مبتنی بر LLM ممکن است به جای اعمال سیاست یادگیری تقویتی، از LLM برای تولید یک طرح استفاده کند.

خوشه بندی تجمعی

#خوشه بندی

به خوشه بندی سلسله مراتبی مراجعه کنید.

تشخیص ناهنجاری

فرآیند شناسایی نقاط پرت . به عنوان مثال، اگر میانگین برای یک ویژگی خاص 100 با انحراف استاندارد 10 باشد، تشخیص ناهنجاری باید مقدار 200 را به عنوان مشکوک علامت گذاری کند.

AR

مخفف واقعیت افزوده .

ناحیه زیر منحنی PR

به PR AUC (منطقه زیر منحنی PR) مراجعه کنید.

ناحیه زیر منحنی ROC

AUC (مساحت زیر منحنی ROC) را ببینید.

هوش عمومی مصنوعی

مکانیزمی غیر انسانی که طیف وسیعی از حل مسئله، خلاقیت و سازگاری را نشان می دهد. به عنوان مثال، برنامه ای که هوش عمومی مصنوعی را نشان می دهد می تواند متن را ترجمه کند، سمفونی بسازد و در بازی هایی که هنوز اختراع نشده اند برتری یابد.

هوش مصنوعی

#مبانی

یک برنامه یا مدل غیر انسانی که می تواند کارهای پیچیده را حل کند. برای مثال، برنامه یا مدلی که متن را ترجمه می کند یا برنامه یا مدلی که بیماری ها را از تصاویر رادیولوژیک شناسایی می کند، هر دو هوش مصنوعی را نشان می دهند.

به طور رسمی، یادگیری ماشین زیر شاخه هوش مصنوعی است. با این حال، در سال‌های اخیر، برخی از سازمان‌ها شروع به استفاده از اصطلاحات هوش مصنوعی و یادگیری ماشینی کرده‌اند.

توجه

#زبان

مکانیزمی که در شبکه عصبی استفاده می شود و اهمیت یک کلمه یا بخشی از یک کلمه را نشان می دهد. توجه، مقدار اطلاعاتی را که یک مدل برای پیش‌بینی رمز/کلمه بعدی نیاز دارد، فشرده می‌کند. یک مکانیسم توجه معمولی ممکن است شامل یک جمع وزنی بر روی مجموعه‌ای از ورودی‌ها باشد، جایی که وزن هر ورودی توسط بخش دیگری از شبکه عصبی محاسبه می‌شود.

رجوع به خود توجهی و خودتوجهی چند سر نیز شود که اجزای سازنده ترانسفورماتورها هستند.

به LLMs مراجعه کنید: مدل زبان بزرگ چیست؟ برای اطلاعات بیشتر در مورد توجه به خود، در دوره تصادف یادگیری ماشینی.

ویژگی

#انصاف

مترادف برای ویژگی .

در عدالت یادگیری ماشینی، ویژگی ها اغلب به ویژگی های مربوط به افراد اشاره می کنند.

نمونه گیری ویژگی

#df

تاکتیکی برای آموزش یک جنگل تصمیم که در آن هر درخت تصمیم تنها یک زیرمجموعه تصادفی از ویژگی های ممکن را در هنگام یادگیری شرایط در نظر می گیرد. به طور کلی، زیر مجموعه متفاوتی از ویژگی ها برای هر گره نمونه برداری می شود. در مقابل، هنگام آموزش یک درخت تصمیم بدون نمونه گیری ویژگی، تمام ویژگی های ممکن برای هر گره در نظر گرفته می شود.

AUC (مساحت زیر منحنی ROC)

#مبانی

عددی بین 0.0 و 1.0 نشان دهنده توانایی یک مدل طبقه بندی باینری برای جداسازی کلاس های مثبت از کلاس های منفی است. هر چه AUC به 1.0 نزدیکتر باشد، مدل توانایی بهتری برای جداسازی کلاس ها از یکدیگر دارد.

برای مثال، تصویر زیر یک مدل طبقه‌بندی کننده را نشان می‌دهد که کلاس‌های مثبت (بیضی سبز) را از کلاس‌های منفی (مستطیل‌های بنفش) کاملاً جدا می‌کند. این مدل غیرواقعی کامل دارای AUC 1.0 است:

یک خط اعداد با 8 مثال مثبت در یک طرف و 9 مثال منفی در طرف دیگر.

برعکس، تصویر زیر نتایج یک مدل طبقه‌بندی کننده را نشان می‌دهد که نتایج تصادفی ایجاد می‌کند. این مدل دارای AUC 0.5 است:

یک خط اعداد با 6 مثال مثبت و 6 مثال منفی.           دنباله مثال ها مثبت، منفی، مثبت، منفی، مثبت، منفی، مثبت، منفی، مثبت، مثبت، منفی است.

بله، مدل قبلی دارای AUC 0.5 است، نه 0.0.

اکثر مدل ها جایی بین دو حالت افراطی هستند. به عنوان مثال، مدل زیر موارد مثبت را تا حدودی از منفی جدا می کند و بنابراین دارای AUC بین 0.5 و 1.0 است:

یک خط اعداد با 6 مثال مثبت و 6 مثال منفی.           دنباله مثال ها منفی، منفی، منفی، منفی، مثبت، منفی، مثبت، مثبت، منفی، مثبت، مثبت، مثبت است.

AUC هر مقداری را که برای آستانه طبقه بندی تنظیم کرده اید نادیده می گیرد. در عوض، AUC تمام آستانه های طبقه بندی ممکن را در نظر می گیرد.

برای اطلاعات بیشتر به طبقه بندی: ROC و AUC در دوره تصادف یادگیری ماشینی مراجعه کنید.

واقعیت افزوده

#تصویر

فناوری ای که یک تصویر تولید شده توسط کامپیوتر را بر روی دید کاربر از دنیای واقعی قرار می دهد و بنابراین یک نمای ترکیبی ارائه می دهد.

رمزگذار خودکار

#زبان
#تصویر

سیستمی که یاد می گیرد مهم ترین اطلاعات را از ورودی استخراج کند. رمزگذارهای خودکار ترکیبی از رمزگذار و رمزگشا هستند. رمزگذارهای خودکار بر فرآیند دو مرحله ای زیر متکی هستند:

  1. رمزگذار ورودی را به یک قالب (معمولا) با ابعاد پایین تر (متوسط) ترسیم می کند.
  2. رمزگشا با نگاشت قالب با ابعاد پایین تر به فرمت ورودی با ابعاد بالاتر، یک نسخه با اتلاف از ورودی اصلی ایجاد می کند.

رمزگذارهای خودکار با تلاش رمزگشا برای بازسازی ورودی اصلی از فرمت میانی رمزگذار تا حد امکان به صورت سرتاسر آموزش داده می شوند. از آنجایی که فرمت میانی کوچکتر (بُعد پایین) از فرمت اصلی است، رمزگذار خودکار مجبور است اطلاعاتی را که در ورودی ضروری است، بیاموزد و خروجی کاملاً با ورودی یکسان نخواهد بود.

به عنوان مثال:

  • اگر داده های ورودی گرافیکی باشد، کپی غیر دقیق شبیه به گرافیک اصلی است، اما تا حدودی تغییر یافته است. شاید کپی غیر دقیق، نویز را از گرافیک اصلی حذف می کند یا برخی از پیکسل های از دست رفته را پر می کند.
  • اگر داده ورودی متن باشد، یک رمزگذار خودکار متن جدیدی تولید می کند که متن اصلی را تقلید می کند (اما مشابه نیست).

رمزگذارهای خودکار متغیر را نیز ببینید.

تعصب اتوماسیون

#انصاف

هنگامی که یک تصمیم گیرنده انسانی توصیه های ارائه شده توسط یک سیستم تصمیم گیری خودکار را بر اطلاعاتی که بدون اتوماسیون انجام می شود ترجیح می دهد، حتی زمانی که سیستم تصمیم گیری خودکار خطا می کند.

برای اطلاعات بیشتر به Fairness: Types of Bias in Machine Learning Crash Course مراجعه کنید.

AutoML

هر فرآیند خودکار برای ساخت مدل های یادگیری ماشینی . AutoML می تواند به طور خودکار کارهایی مانند موارد زیر را انجام دهد:

AutoML برای دانشمندان داده مفید است زیرا می تواند در زمان و تلاش آنها در توسعه خطوط لوله یادگیری ماشین صرفه جویی کند و دقت پیش بینی را بهبود بخشد. همچنین برای افراد غیرمتخصص مفید است، زیرا وظایف پیچیده یادگیری ماشینی را برای آنها در دسترس تر می کند.

برای اطلاعات بیشتر ، آموزش ماشین خودکار (AutoML) را در دوره تصادف یادگیری ماشین ببینید.

مدل خود رگرسیون

#زبان
#تصویر
#تولید هوش مصنوعی

مدلی که پیش بینی را بر اساس پیش بینی های قبلی خود استنباط می کند. برای مثال، مدل‌های زبان رگرسیون خودکار ، نشانه‌های بعدی را بر اساس نشانه‌های پیش‌بینی‌شده قبلی پیش‌بینی می‌کنند. همه مدل‌های زبان بزرگ مبتنی بر Transformer دارای رگرسیون خودکار هستند.

در مقابل، مدل‌های تصویر مبتنی بر GAN معمولاً رگرسیون خودکار نیستند، زیرا آنها یک تصویر را در یک گذر به جلو و نه به صورت تکراری در مراحل تولید می‌کنند. با این حال، برخی از مدل‌های تولید تصویر دارای رگرسیون خودکار هستند ، زیرا آنها یک تصویر را در مراحل تولید می‌کنند.

از دست دادن کمکی

یک تابع از دست دادن - که در ارتباط با تابع تلفات اصلی یک مدل شبکه عصبی استفاده می شود - که به تسریع تمرین در طی تکرارهای اولیه هنگامی که وزن ها به طور تصادفی مقداردهی اولیه می شوند کمک می کند.

توابع از دست دادن کمکی، گرادیان های موثر را به لایه های قبلی هدایت می کنند. این امر با مبارزه با مشکل شیب ناپدید شدن، همگرایی را در طول تمرین تسهیل می کند.

دقت متوسط

معیاری برای خلاصه کردن عملکرد یک دنباله رتبه بندی شده از نتایج. دقت متوسط ​​با در نظر گرفتن میانگین مقادیر دقت برای هر نتیجه مرتبط (هر نتیجه در فهرست رتبه‌بندی شده که در آن فراخوان نسبت به نتیجه قبلی افزایش می‌یابد) محاسبه می‌شود.

همچنین به ناحیه زیر منحنی PR مراجعه کنید.

وضعیت هم تراز با محور

#df

در درخت تصمیم ، شرایطی که فقط شامل یک ویژگی است. برای مثال، اگر ناحیه یک ویژگی است، شرایط زیر یک شرط تراز محور است:

area > 200

کنتراست با حالت مایل .

ب

پس انتشار

#مبانی

الگوریتمی که نزول گرادیان را در شبکه های عصبی پیاده سازی می کند.

آموزش یک شبکه عصبی شامل تکرارهای زیادی از چرخه دو پاس زیر است:

  1. در طول پاس رو به جلو ، سیستم دسته‌ای از نمونه‌ها را پردازش می‌کند تا پیش‌بینی (های) را به دست آورد. سیستم هر پیش بینی را با هر برچسب مقایسه می کند. تفاوت بین مقدار پیش‌بینی و برچسب، ضرر آن مثال است. سیستم تلفات را برای همه نمونه‌ها جمع‌آوری می‌کند تا مجموع ضرر را برای دسته فعلی محاسبه کند.
  2. در طول گذر به عقب (انتشار عقب)، سیستم با تنظیم وزن تمام نورون ها در تمام لایه(های) پنهان، تلفات را کاهش می دهد.

شبکه‌های عصبی اغلب حاوی نورون‌های زیادی در لایه‌های پنهان بسیاری هستند. هر یک از این نورون ها به روش های مختلفی در از دست دادن کلی نقش دارند. انتشار معکوس تعیین می کند که آیا وزن اعمال شده روی نورون های خاص افزایش یا کاهش یابد.

نرخ یادگیری یک ضریب است که میزان افزایش یا کاهش هر وزنه توسط هر پاس به عقب را کنترل می کند. نرخ یادگیری زیاد هر وزن را بیش از یک نرخ یادگیری کوچک افزایش یا کاهش می دهد.

از نظر حساب دیفرانسیل و انتگرال، پس انتشار قانون زنجیره را اجرا می کند. از حساب دیفرانسیل و انتگرال یعنی پس انتشار مشتق جزئی خطا را با توجه به هر پارامتر محاسبه می کند.

سال‌ها پیش، تمرین‌کنندگان ML مجبور بودند کدی را برای پیاده‌سازی انتشار پس‌انداز بنویسند. API های مدرن ML مانند Keras اکنون پس انتشار را برای شما پیاده سازی می کنند. اوه!

برای اطلاعات بیشتر، شبکه های عصبی را در دوره آموزشی تصادفی یادگیری ماشین ببینید.

بسته بندی

#df

روشی برای آموزش یک گروه که در آن هر مدل سازنده بر روی یک زیرمجموعه تصادفی از نمونه‌های آموزشی نمونه‌برداری شده با جایگزینی تمرین می‌کند. به عنوان مثال، یک جنگل تصادفی مجموعه ای از درختان تصمیم گیری است که با کیسه بندی آموزش دیده اند.

اصطلاح bagging مخفف b ootstrap agg regat ing است .

برای اطلاعات بیشتر به جنگل های تصادفی در دوره جنگل های تصمیم گیری مراجعه کنید.

کیسه کلمات

#زبان

نمایشی از کلمات در یک عبارت یا متن، صرف نظر از ترتیب. به عنوان مثال، کیسه کلمات سه عبارت زیر را به طور یکسان نشان می دهد:

  • سگ می پرد
  • سگ را می پرد
  • سگ می پرد

هر کلمه به یک شاخص در یک بردار پراکنده نگاشت می شود، که در آن بردار برای هر کلمه در واژگان یک شاخص دارد. به عنوان مثال، عبارت dog jumps در یک بردار ویژگی با مقادیر غیر صفر در سه شاخص مربوط به کلمات the , dog و jumps نگاشت می شود. مقدار غیر صفر می تواند یکی از موارد زیر باشد:

  • A 1 برای نشان دادن وجود یک کلمه.
  • تعداد دفعاتی که یک کلمه در کیسه ظاهر می شود. به عنوان مثال، اگر عبارت were the maroon dog یک سگ با خز قهوه ای است ، هر دو قهوه ای و سگ به صورت 2 نشان داده می شوند، در حالی که کلمات دیگر به عنوان 1 نمایش داده می شوند.
  • مقدار دیگری مانند لگاریتم تعداد دفعاتی که یک کلمه در کیسه ظاهر می شود.

خط پایه

مدلی که به عنوان یک نقطه مرجع برای مقایسه عملکرد یک مدل دیگر (معمولاً پیچیده تر) استفاده می شود. به عنوان مثال، یک مدل رگرسیون لجستیک ممکن است به عنوان یک پایه خوب برای یک مدل عمیق عمل کند.

برای یک مشکل خاص، خط مبنا به توسعه دهندگان مدل کمک می کند تا حداقل عملکرد مورد انتظاری را که یک مدل جدید باید به آن دست پیدا کند تا مدل جدید مفید باشد، کمّی کنند.

دسته ای

#مبانی

مجموعه مثال های مورد استفاده در یک تکرار آموزشی. اندازه دسته تعداد نمونه ها را در یک دسته تعیین می کند.

برای توضیح نحوه ارتباط یک دسته با یک دوره، به epoch مراجعه کنید.

برای اطلاعات بیشتر به رگرسیون خطی: Hyperparameters in Machine Learning Crash Course مراجعه کنید.

استنتاج دسته ای

#TensorFlow
‎#GoogleCloud

فرآیند استنباط پیش‌بینی‌ها در چندین مثال بدون برچسب که به زیرمجموعه‌های کوچک‌تر ("مجموعه") تقسیم می‌شوند.

استنتاج دسته ای می تواند از ویژگی های موازی سازی تراشه های شتاب دهنده استفاده کند. به این معنا که شتاب‌دهنده‌های متعدد می‌توانند به طور همزمان پیش‌بینی‌هایی را بر روی دسته‌های مختلف نمونه‌های بدون برچسب استنباط کنند و تعداد استنتاج‌ها را به‌طور چشمگیری در هر ثانیه افزایش دهند.

برای اطلاعات بیشتر به سیستم‌های تولید ML: استنتاج استاتیک در مقابل پویا در دوره تصادف یادگیری ماشین مراجعه کنید.

عادی سازی دسته ای

عادی کردن ورودی یا خروجی توابع فعالسازی در یک لایه پنهان . نرمال سازی دسته ای می تواند مزایای زیر را ارائه دهد:

اندازه دسته

#مبانی

تعداد نمونه ها در یک دسته . به عنوان مثال، اگر اندازه دسته 100 باشد، مدل در هر تکرار 100 نمونه را پردازش می کند.

استراتژی های اندازه دسته ای محبوب زیر هستند:

  • نزول گرادیان تصادفی (SGD) که در آن اندازه دسته 1 است.
  • دسته کامل، که در آن اندازه دسته، تعداد نمونه‌های کل مجموعه آموزشی است. به عنوان مثال، اگر مجموعه آموزشی حاوی یک میلیون مثال باشد، اندازه دسته ای یک میلیون نمونه خواهد بود. دسته کامل معمولا یک استراتژی ناکارآمد است.
  • مینی بچ که در آن اندازه دسته معمولا بین 10 تا 1000 است. مینی بچ معمولا کارآمدترین استراتژی است.

برای اطلاعات بیشتر به ادامه مطلب مراجعه کنید:

شبکه عصبی بیزی

یک شبکه عصبی احتمالی که عدم قطعیت در وزن ها و خروجی ها را محاسبه می کند. یک مدل رگرسیون شبکه عصبی استاندارد معمولاً یک مقدار اسکالر را پیش‌بینی می‌کند . به عنوان مثال، یک مدل استاندارد قیمت خانه را 853000 پیش بینی می کند. در مقابل، یک شبکه عصبی بیزی توزیع مقادیر را پیش بینی می کند. به عنوان مثال، یک مدل بیزی قیمت خانه 853000 را با انحراف معیار 67200 پیش بینی می کند.

یک شبکه عصبی بیزی برای محاسبه عدم قطعیت در وزن ها و پیش بینی ها بر قضیه بیز متکی است. یک شبکه عصبی بیزی زمانی می‌تواند مفید باشد که تعیین کمیت عدم قطعیت، مانند مدل‌های مرتبط با داروها، مهم باشد. شبکه‌های عصبی بیزی نیز می‌توانند به جلوگیری از برازش بیش از حد کمک کنند.

بهینه سازی بیزی

یک تکنیک مدل رگرسیون احتمالی برای بهینه‌سازی توابع هدف محاسباتی گران قیمت با بهینه‌سازی جایگزینی که عدم قطعیت را با استفاده از تکنیک یادگیری بیزی تعیین می‌کند. از آنجایی که بهینه سازی بیزی به خودی خود بسیار گران است، معمولاً برای بهینه سازی وظایف گران قیمت که دارای تعداد کمی پارامتر هستند، مانند انتخاب فراپارامترها استفاده می شود.

معادله بلمن

#rl

در یادگیری تقویتی، هویت زیر با تابع Q بهینه برآورده می شود:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

الگوریتم های یادگیری تقویتی این هویت را برای ایجاد یادگیری Q از طریق قانون به روز رسانی زیر اعمال می کنند:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

فراتر از یادگیری تقویتی، معادله بلمن کاربردهایی در برنامه نویسی پویا دارد. به مدخل ویکی پدیا برای معادله بلمن مراجعه کنید.

BERT (نمایش رمزگذار دوطرفه از ترانسفورماتورها)

#زبان

معماری مدلی برای نمایش متن یک مدل BERT آموزش دیده می تواند به عنوان بخشی از یک مدل بزرگتر برای طبقه بندی متن یا سایر وظایف ML عمل کند.

BERT دارای ویژگی های زیر است:

انواع BERT عبارتند از:

برای مروری بر BERT به منبع باز BERT: پیش‌آموزش پیشرفته برای پردازش زبان طبیعی مراجعه کنید.

تعصب (اخلاق / انصاف)

#انصاف
#مبانی

1. کلیشه سازی، تعصب یا طرفداری نسبت به برخی چیزها، افراد یا گروه ها نسبت به دیگران. این سوگیری ها می توانند بر جمع آوری و تفسیر داده ها، طراحی یک سیستم و نحوه تعامل کاربران با یک سیستم تأثیر بگذارند. اشکال این نوع سوگیری عبارتند از:

2. خطای سیستماتیک معرفی شده توسط یک روش نمونه گیری یا گزارش. اشکال این نوع سوگیری عبارتند از:

نباید با اصطلاح سوگیری در مدل‌های یادگیری ماشین یا سوگیری پیش‌بینی اشتباه گرفته شود.

برای اطلاعات بیشتر به Fairness: Types of Bias in Machine Learning Crash Course مراجعه کنید.

تعصب (ریاضی) یا اصطلاح سوگیری

#مبانی

رهگیری یا جبران از مبدأ. تعصب یک پارامتر در مدل های یادگیری ماشینی است که با یکی از موارد زیر نشان داده می شود:

  • ب
  • w 0

به عنوان مثال، بایاس b در فرمول زیر است:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

در یک خط دوبعدی ساده، بایاس فقط به معنای «قطعه y» است. به عنوان مثال، بایاس خط در تصویر زیر 2 است.

نمودار یک خط با شیب 0.5 و بایاس (برق y) 2.

تعصب وجود دارد زیرا همه مدل ها از مبدا (0,0) شروع نمی شوند. به عنوان مثال، فرض کنید یک پارک تفریحی برای ورود به آن 2 یورو و برای هر ساعت اقامت مشتری 0.5 یورو اضافی هزینه دارد. بنابراین، مدلی که هزینه کل را نگاشت می کند، بایاس 2 دارد زیرا کمترین هزینه 2 یورو است.

سوگیری نباید با سوگیری در اخلاق و انصاف یا سوگیری پیش بینی اشتباه شود.

برای اطلاعات بیشتر به رگرسیون خطی در دوره تصادف یادگیری ماشین مراجعه کنید.

دو طرفه

#زبان

اصطلاحی که برای توصیف سیستمی استفاده می‌شود که متنی را که هم قبل و هم بعد از یک بخش هدف از متن است، ارزیابی می‌کند. در مقابل، یک سیستم یک طرفه فقط متنی را که قبل از بخش هدفی از متن قرار دارد ارزیابی می کند.

به عنوان مثال، یک مدل زبان پوشانده شده را در نظر بگیرید که باید احتمالات کلمه یا کلماتی را که نشان دهنده خط زیر در سؤال زیر هستند تعیین کند:

_____ با شما چیست؟

یک مدل زبانی یک طرفه باید احتمالات خود را فقط بر اساس زمینه ارائه شده توسط کلمات "What"، "is" و "the" استوار کند. در مقابل، یک مدل زبان دوطرفه همچنین می‌تواند زمینه را از «با» و «شما» به دست آورد، که ممکن است به مدل کمک کند پیش‌بینی‌های بهتری ایجاد کند.

مدل زبان دو طرفه

#زبان

یک مدل زبان که احتمال وجود یک نشانه داده شده در یک مکان معین در گزیده ای از متن را بر اساس متن قبلی و بعدی تعیین می کند.

بیگرام

#دنباله
#زبان

یک N گرم که در آن N=2 است.

طبقه بندی باینری

#مبانی

یک نوع کار طبقه بندی که یکی از دو کلاس منحصر به فرد را پیش بینی می کند:

به عنوان مثال، دو مدل یادگیری ماشین زیر، هر کدام دسته بندی باینری را انجام می دهند:

  • مدلی که تعیین می‌کند پیام‌های ایمیل هرزنامه هستند (کلاس مثبت) یا اسپم نیستند (کلاس منفی).
  • مدلی که علائم پزشکی را ارزیابی می کند تا مشخص کند آیا یک فرد دارای یک بیماری خاص (طبقه مثبت) است یا آن بیماری (طبقه منفی) را ندارد.

در تقابل با طبقه بندی چند طبقه .

همچنین به رگرسیون لجستیک و آستانه طبقه بندی مراجعه کنید.

برای اطلاعات بیشتر به طبقه بندی در دوره تصادف یادگیری ماشین مراجعه کنید.

شرایط باینری

#df

در درخت تصمیم ، شرایطی که فقط دو نتیجه ممکن دارد، معمولاً بله یا خیر . به عنوان مثال، شرایط زیر یک شرط باینری است:

temperature >= 100

کنتراست با شرط غیر باینری .

برای اطلاعات بیشتر به انواع شرایط در دوره Decision Forests مراجعه کنید.

بنینگ

مترادف کلمه سطل .

BLEU (دو زبانه ارزیابی ارزشیابی)

#زبان

امتیازی بین 0.0 تا 1.0، شامل کیفیت ترجمه بین دو زبان انسانی (مثلاً بین انگلیسی و روسی) است. نمره BLEU 1.0 نشان دهنده ترجمه کامل است. نمره BLEU 0.0 نشان دهنده یک ترجمه وحشتناک است.

تقویت

یک تکنیک یادگیری ماشینی که به طور مکرر مجموعه‌ای از طبقه‌بندی‌کننده‌های ساده و نه چندان دقیق (که به آنها طبقه‌بندی‌کننده‌های ضعیف گفته می‌شود) را در یک طبقه‌بندی با دقت بالا (یک طبقه‌بندی‌کننده قوی) با بالا بردن نمونه‌هایی که مدل در حال حاضر طبقه‌بندی اشتباه می‌کند، ترکیب می‌کند.

درختان تصمیم تقویت شده با گرادیان را ببینید؟ برای اطلاعات بیشتر در دوره Decision Forests.

جعبه مرزی

#تصویر

در یک تصویر، مختصات ( x ، y ) یک مستطیل در اطراف ناحیه مورد نظر، مانند سگ در تصویر زیر.

عکس سگی که روی مبل نشسته است. یک کادر سبز رنگ با مختصات بالا سمت چپ (275، 1271) و مختصات پایین سمت راست (2954، 2761) بدن سگ را مشخص می کند.

پخش

گسترش شکل یک عملوند در یک عملیات ریاضی ماتریس به ابعاد سازگار با آن عملیات. برای مثال، جبر خطی مستلزم این است که دو عملوند در یک عملیات جمع ماتریس باید ابعاد یکسانی داشته باشند. در نتیجه، نمی توانید یک ماتریس شکل (m, n) را به بردار با طول n اضافه کنید. پخش این عملیات را با گسترش عملی بردار طول n به یک ماتریس شکل (m, n) با تکرار همان مقادیر در پایین هر ستون، فعال می کند.

به عنوان مثال، با توجه به تعاریف زیر، جبر خطی A+B را ممنوع می کند زیرا A و B دارای ابعاد مختلف هستند:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

با این حال، پخش عملیات A+B را با گسترش عملی B به موارد زیر فعال می کند:

 [[2, 2, 2],
  [2, 2, 2]]

بنابراین، A+B اکنون یک عملیات معتبر است:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

برای جزئیات بیشتر به شرح زیر در مورد پخش در NumPy مراجعه کنید.

سطل سازی

#مبانی

تبدیل یک ویژگی واحد به چندین ویژگی باینری به نام سطل یا bins ، که معمولاً بر اساس یک محدوده مقدار است. ویژگی خرد شده معمولاً یک ویژگی پیوسته است.

به عنوان مثال، به جای نمایش دما به عنوان یک ویژگی ممیز شناور منفرد، می توانید محدوده دما را به سطل های مجزا تقسیم کنید، مانند:

  • <= 10 درجه سانتیگراد سطل "سرد" خواهد بود.
  • 11 تا 24 درجه سانتیگراد سطل "معتدل" خواهد بود.
  • >= 25 درجه سانتیگراد سطل "گرم" خواهد بود.

مدل با هر مقدار در یک سطل یکسان رفتار می کند. به عنوان مثال ، مقادیر 13 و 22 هر دو در سطل معتدل هستند ، بنابراین مدل دو مقدار را به طور یکسان درمان می کند.

برای اطلاعات بیشتر به داده های عددی مراجعه کنید: برای کسب اطلاعات بیشتر در دوره Crash Learning Machine.

سی

لایه کالیبراسیون

یک تنظیم پس از پیش بینی ، به طور معمول برای پیش بینی تعصب . پیش بینی ها و احتمالات تنظیم شده باید با توزیع مجموعه ای از برچسب ها مطابقت داشته باشد.

تولید نامزد

#سیستم ها

مجموعه اولیه توصیه های انتخاب شده توسط یک سیستم توصیه . به عنوان مثال ، یک کتابفروشی را در نظر بگیرید که 100000 عنوان ارائه می دهد. مرحله تولید نامزد لیستی بسیار کوچکتر از کتابهای مناسب را برای یک کاربر خاص ایجاد می کند ، می گویند 500. اما حتی 500 کتاب نیز بسیار زیاد است که به کاربر توصیه می کند. مراحل بعدی ، گرانتر از یک سیستم توصیه (مانند امتیاز دهی و رتبه بندی مجدد ) این 500 را به مجموعه توصیه های بسیار کوچکتر و مفیدتر کاهش می دهد.

برای اطلاعات بیشتر به نمای کلی تولید نامزد در دوره سیستم های توصیه مراجعه کنید.

نمونه گیری نامزد

بهینه سازی زمان آموزش که احتمال آن را برای همه برچسب های مثبت محاسبه می کند ، به عنوان مثال SoftMax ، اما فقط برای یک نمونه تصادفی از برچسب های منفی. به عنوان مثال ، با توجه به نمونه ای با برچسب Beagle و Dog ، نمونه گیری نامزد احتمالات پیش بینی شده و شرایط ضرر مربوطه را برای: محاسبه می کند:

  • بیگل
  • سگ
  • یک زیر مجموعه تصادفی از کلاسهای منفی باقیمانده (به عنوان مثال ، CAT ، Lollipop ، حصار ).

ایده این است که طبقات منفی می توانند از تقویت منفی کمتر مکرر یاد بگیرند تا زمانی که طبقات مثبت همیشه تقویت مثبت مثبت شوند ، و این در واقع به صورت تجربی مشاهده می شود.

نمونه گیری کاندیداها از نظر محاسباتی نسبت به الگوریتم های آموزش که پیش بینی را برای همه کلاس های منفی محاسبه می کنند ، به ویژه هنگامی که تعداد کلاس های منفی بسیار زیاد باشد ، محاسباتی است.

داده های طبقه بندی شده

#فونداستال ها

ویژگی های دارای مجموعه خاصی از مقادیر ممکن. به عنوان مثال ، یک ویژگی طبقه بندی شده به نام traffic-light-state را در نظر بگیرید ، که فقط می تواند یکی از سه مقدار ممکن زیر را داشته باشد:

  • red
  • yellow
  • green

با نمایندگی از traffic-light-state به عنوان یک ویژگی طبقه بندی ، یک مدل می تواند تأثیرات متفاوت از رفتار red ، green و yellow را بر رفتار راننده بیاموزد.

ویژگی های طبقه بندی شده گاهی اوقات ویژگی های گسسته ای نامیده می شوند.

تضاد با داده های عددی .

برای اطلاعات بیشتر به کار با داده های طبقه بندی شده در دوره Crash Learning Machine مراجعه کنید.

الگوی زبان علی

#زبان

مترادف برای مدل زبان یک طرفه .

برای تضاد رویکردهای مختلف جهت در مدل سازی زبان ، به مدل زبان دو طرفه مراجعه کنید.

مرکز

#خوشه ای

مرکز یک خوشه که توسط یک الگوریتم k-means یا k-median تعیین می شود. به عنوان مثال ، اگر K 3 باشد ، الگوریتم K-Means یا K-Median 3 Centroids پیدا می کند.

برای اطلاعات بیشتر به الگوریتم های خوشه بندی در دوره خوشه بندی مراجعه کنید.

خوشه بندی مبتنی بر سانتروئید

#خوشه ای

دسته ای از الگوریتم های خوشه بندی که داده ها را در خوشه های غیرشی سازماندهی می کنند. K-Means پرکاربردترین الگوریتم خوشه بندی مبتنی بر سانتروئید است.

تضاد با الگوریتم های خوشه بندی سلسله مراتبی .

برای اطلاعات بیشتر به الگوریتم های خوشه بندی در دوره خوشه بندی مراجعه کنید.

تکیه گاه به فکر

#زبان
#Generativeai

یک تکنیک سریع مهندسی که یک مدل بزرگ زبان (LLM) را برای توضیح استدلال خود ، گام به گام تشویق می کند. به عنوان مثال ، فوری زیر را در نظر بگیرید ، با توجه ویژه به جمله دوم:

یک راننده در یک اتومبیل که از 0 تا 60 مایل در ساعت در 7 ثانیه می رود ، چند نیرو G را تجربه می کند؟ در پاسخ ، تمام محاسبات مربوطه را نشان دهید.

پاسخ LLM احتمالاً:

  • دنباله ای از فرمول های فیزیک را نشان دهید ، و مقادیر 0 ، 60 و 7 را در مکان های مناسب وصل کنید.
  • توضیح دهید که چرا این فرمول ها را انتخاب کرده و متغیرهای مختلف را به چه معنی دارد.

با فکر زنجیره ای ، LLM را وادار می کند تا تمام محاسبات را انجام دهد ، که ممکن است منجر به پاسخ صحیح تر شود. علاوه بر این ، برانگیختگی زنجیره ای از کاربر ، کاربر را قادر می سازد تا مراحل LLM را بررسی کند تا مشخص شود که آیا این پاسخ معنی دارد یا خیر.

چت کردن

#زبان
#Generativeai

محتویات یک گفتگوی عقب و جلو با یک سیستم ML ، به طور معمول یک مدل زبان بزرگ . تعامل قبلی در یک گپ (آنچه شما تایپ کرده اید و چگونه مدل زبان بزرگ پاسخ داده اید) زمینه ای برای قسمت های بعدی گپ تبدیل می شود.

chatbot کاربرد یک مدل بزرگ زبان است.

ایست بازرسی

داده هایی که وضعیت پارامترهای یک مدل را در طول آموزش یا بعد از اتمام آموزش ضبط می کنند. به عنوان مثال ، در حین آموزش ، می توانید:

  1. آموزش را متوقف کنید ، شاید عمداً یا شاید به دلیل خطاهای خاص.
  2. پاسگاه را ضبط کنید.
  3. بعداً ، بازرسی را بارگذاری کنید ، احتمالاً در سخت افزار مختلف.
  4. آموزش مجدداً

کلاس

#فونداستال ها

مقوله ای که یک برچسب می تواند به آن تعلق داشته باشد. به عنوان مثال:

  • در یک مدل طبقه بندی باینری که اسپم را تشخیص می دهد ، ممکن است دو کلاس هرزنامه باشد و نه اسپم .
  • در یک مدل طبقه بندی چند کلاس که نژادهای سگ را مشخص می کند ، کلاس ها ممکن است پودل ، بیگل ، میناکاری و غیره باشند.

یک مدل طبقه بندی یک کلاس را پیش بینی می کند. در مقابل ، یک مدل رگرسیون به جای یک کلاس یک عدد را پیش بینی می کند.

برای اطلاعات بیشتر به طبقه بندی در دوره Crash Learning Machine مراجعه کنید.

مدل طبقه بندی

#فونداستال ها

مدلی که پیش بینی آن یک کلاس است. به عنوان مثال ، موارد زیر همه مدل های طبقه بندی هستند:

  • مدلی که زبان یک جمله ورودی را پیش بینی می کند (فرانسوی؟ اسپانیایی؟ ایتالیایی؟).
  • مدلی که گونه های درختی را پیش بینی می کند (افرا؟ بلوط؟ باباب؟).
  • مدلی که کلاس مثبت یا منفی را برای یک وضعیت پزشکی خاص پیش بینی می کند.

در مقابل ، مدل های رگرسیون تعداد را به جای کلاس ها پیش بینی می کنند.

دو نوع متداول از مدل های طبقه بندی عبارتند از:

آستانه طبقه بندی

#فونداستال ها

در یک طبقه بندی باینری ، تعدادی بین 0 تا 1 که خروجی خام یک مدل رگرسیون لجستیک را به یک پیش بینی کلاس مثبت یا کلاس منفی تبدیل می کند. توجه داشته باشید که آستانه طبقه بندی ارزشی است که یک انسان انتخاب می کند ، نه یک ارزش انتخاب شده توسط آموزش مدل.

یک مدل رگرسیون لجستیک یک مقدار خام را بین 0 تا 1. انجام می دهد:

  • اگر این مقدار خام از آستانه طبقه بندی بیشتر باشد ، کلاس مثبت پیش بینی می شود.
  • اگر این مقدار خام کمتر از آستانه طبقه بندی باشد ، کلاس منفی پیش بینی می شود.

به عنوان مثال ، فرض کنید آستانه طبقه بندی 0.8 است. اگر مقدار خام 0.9 باشد ، مدل کلاس مثبت را پیش بینی می کند. اگر مقدار خام 0.7 باشد ، مدل کلاس منفی را پیش بینی می کند.

انتخاب آستانه طبقه بندی به شدت بر تعداد مثبت کاذب و منفی های دروغین تأثیر می گذارد.

برای اطلاعات بیشتر به آستانه ها و ماتریس سردرگمی در دوره Crash Learning Machine مراجعه کنید.

مجموعه داده های کلاس متعادل

#فونداستال ها

یک مجموعه داده برای یک مشکل طبقه بندی که در آن تعداد کل برچسب های هر کلاس به طور قابل توجهی متفاوت است. به عنوان مثال ، یک مجموعه داده طبقه بندی باینری را در نظر بگیرید که دو برچسب آن به شرح زیر تقسیم شده است:

  • 1000،000 برچسب منفی
  • 10 برچسب مثبت

نسبت برچسب های منفی به مثبت 100000 به 1 است ، بنابراین این یک مجموعه داده با کلاس تعادل است.

در مقابل ، مجموعه داده های زیر از کلاس تعادل نیست زیرا نسبت برچسب های منفی به برچسب های مثبت نسبتاً نزدیک به 1 است:

  • 517 برچسب منفی
  • 483 برچسب مثبت

مجموعه داده های چند طبقه نیز می توانند کلاس تعادل باشند. به عنوان مثال ، مجموعه داده های طبقه بندی چند کلاس زیر نیز با کلاس تعادل است زیرا یک برچسب نمونه های بسیار بیشتری نسبت به دو مورد دیگر دارد:

  • 1،000،000 برچسب با کلاس "سبز"
  • 200 برچسب با کلاس "بنفش"
  • 350 برچسب با کلاس "نارنجی"

همچنین به آنتروپی ، کلاس اکثریت و کلاس اقلیت مراجعه کنید.

بریدن

#فونداستال ها

تکنیکی برای دستیابی به خارج از کشور با انجام یا هر دو مورد زیر:

  • کاهش مقادیر ویژگی که بیشتر از حداکثر آستانه در آن آستانه حداکثر است.
  • افزایش مقادیر ویژگی که کمتر از حداقل آستانه تا حداقل آستانه است.

به عنوان مثال ، فرض کنید که <0.5 ٪ مقادیر برای یک ویژگی خاص در خارج از محدوده 40-60 قرار دارد. در این حالت ، می توانید موارد زیر را انجام دهید:

  • کلیپ تمام مقادیر بیش از 60 (حداکثر آستانه) دقیقاً 60 باشد.
  • کلیپ تمام مقادیر زیر 40 (حداقل آستانه) دقیقاً 40 باشد.

Outliers می تواند به مدل ها آسیب برساند و گاهی اوقات باعث افزایش وزن در هنگام تمرین می شود. برخی از فضای باز نیز می توانند معیارهایی مانند دقت را خراب کنند. قطع یک روش متداول برای محدود کردن آسیب است.

مقادیر شیب شیب شیب در طول آموزش در محدوده مشخص شده است.

برای اطلاعات بیشتر به داده های عددی: عادی سازی در دوره Crash Learning Machine مراجعه کنید.

Cloud TPU

#tensorflow
#GOOGLECLOUD

یک شتاب دهنده سخت افزاری تخصصی برای سرعت بخشیدن به بارهای یادگیری ماشین در Google Cloud طراحی شده است.

خوشه بندی

#خوشه ای

نمونه های مرتبط با گروه بندی ، به ویژه در هنگام یادگیری بدون نظارت . پس از گروه بندی همه نمونه ها ، یک انسان می تواند به صورت اختیاری به معنای هر خوشه باشد.

بسیاری از الگوریتم های خوشه بندی وجود دارند. به عنوان مثال ، خوشه های الگوریتم K-Means بر اساس نزدیکی آنها به یک مرکز سرود ، مانند نمودار زیر:

یک نمودار دو بعدی که در آن محور x دارای عرض درخت است ، و محور y دارای برچسب ارتفاع درخت است. این نمودار شامل دو مرکز و ده ها نقطه داده است. نقاط داده بر اساس نزدیکی آنها طبقه بندی می شوند. یعنی نقاط داده نزدیک به یک سانتروئید به عنوان خوشه 1 طبقه بندی می شوند ، در حالی که نزدیکترین آنها به سانتروئید دیگر به عنوان خوشه 2 طبقه بندی می شوند.

سپس یک محقق انسانی می تواند خوشه ها را مرور کند و به عنوان مثال ، خوشه 1 را به عنوان "درختان کوتوله" و خوشه 2 به عنوان "درختان با اندازه کامل" بررسی کند.

به عنوان مثال دیگر ، یک الگوریتم خوشه بندی را بر اساس فاصله یک مثال از یک نقطه مرکزی در نظر بگیرید ، به شرح زیر است:

ده ها نقطه داده در محافل متحد المرکز ، تقریباً مانند سوراخ های اطراف مرکز یک تخته دارت ترتیب داده شده است. حلقه درونی نقاط داده به عنوان خوشه 1 طبقه بندی می شود ، حلقه میانی به عنوان خوشه 2 طبقه بندی می شود و بیرونی ترین حلقه به عنوان خوشه 3.

برای اطلاعات بیشتر به دوره خوشه بندی مراجعه کنید.

همکاری مشترک

هنگامی که نورون ها به جای تکیه بر رفتار شبکه به عنوان یک کل ، با تکیه بر خروجی های نورون های خاص دیگر ، الگوهای آموزش داده ها را پیش بینی می کنند. هنگامی که الگوهای ایجاد کننده همبستگی در داده های اعتبار سنجی وجود ندارند ، پس سازگاری باعث ایجاد بیش از حد می شود. تنظیم مجدد ترک تحصیل باعث کاهش همبستگی می شود زیرا ترک تحصیل تضمین می کند که سلولهای عصبی نمی توانند صرفاً به سلولهای عصبی خاص دیگر متکی باشند.

فیلتر مشارکتی

#سیستم ها

پیش بینی در مورد علایق یک کاربر بر اساس علایق بسیاری از کاربران دیگر. از فیلتر مشارکتی اغلب در سیستم های توصیه استفاده می شود.

برای اطلاعات بیشتر به فیلتر مشترک در دوره سیستم های توصیه مراجعه کنید.

حرکت مفهومی

تغییر در رابطه بین ویژگی ها و برچسب. با گذشت زمان ، Concept Drift کیفیت یک مدل را کاهش می دهد.

در طول آموزش ، مدل رابطه بین ویژگی ها و برچسب های آنها را در مجموعه آموزش می آموزد. اگر برچسب های موجود در مجموعه آموزش پروکسی های خوبی برای دنیای واقعی باشند ، پس از آن باید پیش بینی های دنیای واقعی خوبی را انجام دهد. با این حال ، به دلیل رانش مفهومی ، پیش بینی های مدل با گذشت زمان تخریب می شود.

به عنوان مثال ، یک مدل طبقه بندی باینری را در نظر بگیرید که پیش بینی می کند مدل خاص خودرو "کارآمد سوخت" باشد یا خیر. یعنی ویژگی ها می توانند:

  • وزن ماشین
  • فشرده سازی موتور
  • نوع انتقال

در حالی که برچسب هم است:

  • سوخت کارآمد
  • سوخت کارآمد نیست

با این حال ، مفهوم "ماشین کارآمد سوخت" در حال تغییر است. یک مدل اتومبیل با عنوان سوخت در سال 1994 تقریباً مطمئناً در سال 2024 با سوخت کارآمد نیست. مدلی که از مفهوم رنج می برد ، تمایل دارد پیش بینی های کم و کمتری را با گذشت زمان انجام دهد.

مقایسه و تضاد با غیر ایستگاه .

وضعیت

#DF

در یک درخت تصمیم ، هر گره ای که یک عبارت را ارزیابی می کند. به عنوان مثال ، بخش زیر از یک درخت تصمیم گیری شامل دو شرط است:

یک درخت تصمیم گیری متشکل از دو شرط: (x> 0) و (y> 0).

یک شرط نیز تقسیم یا آزمایش نامیده می شود.

شرایط کنتراست با برگ .

همچنین ببینید:

برای اطلاعات بیشتر به انواع شرایط موجود در دوره جنگل های تصمیم گیری مراجعه کنید.

confabulation

#زبان

مترادف برای توهم .

Confabulation احتمالاً یک اصطلاح فنی دقیق تر از توهم است. با این حال ، توهم در ابتدا محبوب شد.

پیکربندی

فرایند اختصاص مقادیر اولیه خاصیت مورد استفاده برای آموزش یک مدل ، از جمله:

در پروژه های یادگیری ماشین ، پیکربندی را می توان از طریق یک فایل پیکربندی ویژه یا با استفاده از کتابخانه های پیکربندی مانند موارد زیر انجام داد:

سوگیری تایید

#فریبی

تمایل به جستجوی ، تفسیر ، لطف و به یاد آوردن اطلاعات به روشی که اعتقادات یا فرضیه های از قبل موجود را تأیید می کند. توسعه دهندگان یادگیری ماشین ممکن است سهواً داده ها را به روش هایی که بر نتیجه حمایت از اعتقادات موجود خود تأثیر می گذارد ، جمع آوری یا برچسب گذاری کند. تعصب تأیید نوعی تعصب ضمنی است.

تعصب آزمایشگر نوعی تعصب تأیید است که در آن یک آزمایشگر مدلهای آموزش را ادامه می دهد تا اینکه یک فرضیه از قبل موجود تأیید شود.

ماتریس سردرگمی

#فونداستال ها

یک جدول NXN که تعداد پیش بینی های صحیح و نادرست را که یک مدل طبقه بندی ساخته شده است خلاصه می کند. به عنوان مثال ، ماتریس سردرگمی زیر را برای یک مدل طبقه بندی باینری در نظر بگیرید:

تومور (پیش بینی شده) غیر تومور (پیش بینی شده)
تومور (حقیقت زمین) 18 (TP) 1 (FN)
غیر تومور (حقیقت زمین) 6 (FP) 452 (TN)

ماتریس سردرگمی قبلی موارد زیر را نشان می دهد:

  • از 19 پیش بینی که حقیقت زمین تومور بود ، مدل به درستی 18 طبقه بندی شده و به طور نادرست طبقه بندی می شود 1.
  • از 458 پیش بینی که در آن حقیقت زمین غیر تومور بود ، مدل به درستی 452 طبقه بندی و نادرست طبقه بندی می شود.

ماتریس سردرگمی برای یک مشکل طبقه بندی چند طبقه می تواند به شما در شناسایی الگوهای اشتباه کمک کند. به عنوان مثال ، ماتریس سردرگمی زیر را برای یک مدل طبقه بندی چند طبقه 3 طبقه که سه نوع عنبیه مختلف را طبقه بندی می کند (Virginica ، Versicolor و Setosa) در نظر بگیرید. هنگامی که حقیقت زمین ویرجینیکا بود ، ماتریس سردرگمی نشان می دهد که این مدل به احتمال زیاد به اشتباه پیش بینی Versicolor از Setosa را پیش بینی می کند:

setosa (پیش بینی شده) بررسیکولور (پیش بینی شده) Virginica (پیش بینی شده)
setosa (حقیقت زمین) 88 12 0
برقی (حقیقت زمین) 6 141 7
ویرجینیکا (حقیقت زمین) 2 27 109

به عنوان مثال دیگر ، یک ماتریس سردرگمی می تواند نشان دهد که مدلی که برای تشخیص رقم های دستنویس آموزش دیده است ، تمایل دارد به جای 4 به اشتباه 9 را پیش بینی کند ، یا به اشتباه 1 را به جای 7 پیش بینی کند.

ماتریس های سردرگمی حاوی اطلاعات کافی برای محاسبه انواع معیارهای عملکرد از جمله دقت و فراخوان هستند.

حوزه انتخابیه

#زبان

تقسیم یک جمله به ساختارهای گرامری کوچکتر ("ترکیبات"). قسمت بعدی سیستم ML ، مانند یک مدل درک زبان طبیعی ، می تواند ترکیبات را راحت تر از جمله اصلی تجزیه کند. برای مثال جمله زیر را در نظر بگیرید:

دوست من دو گربه را پذیرفت.

یک تجزیه کننده حوزه انتخابیه می تواند این جمله را به دو مؤلفه زیر تقسیم کند:

  • دوست من یک عبارت اسم است.
  • دو گربه پذیرفته شده یک عبارت فعل است.

این ترکیبات را می توان بیشتر به ترکیبات کوچکتر تقسیم کرد. به عنوان مثال ، عبارت فعل

دو گربه را پذیرفت

می توان بیشتر به زیر تقسیم شد:

  • اتخاذ شده یک فعل است.
  • دو گربه یک عبارت دیگر است.

تعبیه زبان متنی

#زبان
#Generativeai

تعبیه شده ای که به "درک" کلمات و عبارات نزدیک می شود به طریقی که بلندگوهای بومی بشر می توانند. تعبیه زبان متنی می تواند نحو ، معناشناسی و متن پیچیده را درک کند.

به عنوان مثال ، تعبیه های کلمه انگلیسی گاو را در نظر بگیرید. تعبیهات قدیمی تر مانند Word2VEC می تواند کلمات انگلیسی را نشان دهد به گونه ای که فاصله در فضای تعبیه شده از گاو به گاو شبیه به فاصله میش (گوسفند زن) تا قوچ (گوسفند نر) یا از زن به مرد است. تعبیه زبان متنی می تواند با تشخیص اینکه بلندگوهای انگلیسی گاهی اوقات از کلمه گاو به معنای گاو یا گاو استفاده می کنند ، یک قدم جلوتر بروند.

پنجره متن

#زبان
#Generativeai

تعداد نشانه های یک مدل می تواند در یک فوریت مشخص پردازش شود. هرچه پنجره زمینه بزرگتر باشد ، اطلاعات بیشتری از مدل می تواند برای ارائه پاسخ های منسجم و مداوم به سریع استفاده کند.

ویژگی مداوم

#فونداستال ها

یک ویژگی نقطه شناور با دامنه نامتناهی از مقادیر ممکن ، مانند دما یا وزن.

تضاد با ویژگی گسسته .

نمونه گیری آسان

به منظور انجام آزمایشات سریع ، استفاده از مجموعه داده های علمی جمع نشده است. بعداً ، تغییر به یک مجموعه داده جمع آوری شده علمی ضروری است.

همگرایی

#فونداستال ها

هنگامی که مقادیر ضرر با هر تکرار بسیار کم تغییر کند یا اصلاً تغییر کند. به عنوان مثال ، منحنی ضرر زیر همگرایی را در حدود 700 تکرار نشان می دهد:

طرح دکارتی. محور x ضرر است. محور y تعداد تکرارهای آموزش است. ضرر در طی چند تکرار اول بسیار زیاد است ، اما به شدت کاهش می یابد. پس از حدود 100 تکرار ، ضرر هنوز نزولی است اما به تدریج به تدریج. پس از حدود 700 تکرار ، ضرر مسطح می ماند.

هنگامی که آموزش های اضافی مدل را بهبود نمی بخشد ، یک مدل همگرا می شود .

در یادگیری عمیق ، ارزش های از دست دادن گاهی اوقات برای بسیاری از تکرارها قبل از نزول ، ثابت یا تقریباً تقریباً باقی می مانند. در یک دوره طولانی از مقادیر ضرر مداوم ، ممکن است به طور موقت حس کاذب از همگرایی بدست آورید.

همچنین توقف زود هنگام را ببینید.

برای کسب اطلاعات بیشتر ، منحنی های همگرایی و از دست دادن مدل را در دوره Crash Learning Machine مشاهده کنید.

تابع محدب

تابعی که در آن منطقه بالاتر از نمودار عملکرد یک مجموعه محدب است. عملکرد محدب نمونه اولیه چیزی مانند حرف U شکل گرفته است. به عنوان مثال ، موارد زیر همه توابع محدب هستند:

منحنی های U شکل ، هر یک با حداقل یک نقطه.

در مقابل ، عملکرد زیر محدب نیست. توجه کنید که چگونه منطقه بالای نمودار یک مجموعه محدب نیست:

یک منحنی W شکل با دو نقطه حداقل محلی مختلف.

یک عملکرد کاملاً محدب دقیقاً یک نقطه حداقل محلی دارد ، که همچنین حداقل نقطه جهانی است. توابع کلاسیک U شکل عملکردهای کاملاً محدب هستند. با این حال ، برخی از توابع محدب (به عنوان مثال ، خطوط مستقیم) U شکل نیستند.

برای کسب اطلاعات بیشتر به عملکردهای همگرایی و محدب در دوره Crash Learning Machine مراجعه کنید.

بهینه سازی محدب

فرایند استفاده از تکنیک های ریاضی مانند نزول شیب برای یافتن حداقل عملکرد محدب . تحقیقات زیادی در زمینه یادگیری ماشینی بر تدوین مشکلات مختلف به عنوان مشکلات بهینه سازی محدب و حل کارآمدتر این مشکلات متمرکز شده است.

برای جزئیات کامل ، به بهینه سازی Boyd و Vandenberghe ، بهینه سازی محدب مراجعه کنید.

مجموعه محدب

زیر مجموعه ای از فضای اقلیدسی به گونه ای که خطی بین هر دو نقطه در زیر مجموعه کاملاً در زیر مجموعه باقی می ماند. به عنوان مثال ، دو شکل زیر مجموعه محدب هستند:

یک تصویر از مستطیل. تصویر دیگری از یک بیضی.

در مقابل ، دو شکل زیر مجموعه محدب نیستند:

یک تصویر از یک نمودار پای با یک برش گمشده.           تصویر دیگری از یک چند ضلعی وحشی نامنظم.

پیچیدگی

#تصویر

در ریاضیات ، به طور اتفاقی ، ترکیبی از دو کارکرد. در یادگیری ماشین ، یک حلقوی فیلتر حلقوی و ماتریس ورودی را به منظور آموزش وزنه ها مخلوط می کند.

اصطلاح "Convolution" در یادگیری ماشین اغلب یک روش کوتاه برای مراجعه به عملکرد حلقوی یا لایه حلقوی است.

بدون پیچیدگی ، یک الگوریتم یادگیری ماشین باید برای هر سلول در یک تانسور بزرگ ، یک وزن جداگانه یاد بگیرد. به عنوان مثال ، یک آموزش الگوریتم یادگیری ماشین بر روی تصاویر 2K x 2K مجبور به یافتن وزن 4M جداگانه می شود. به لطف پیچیدگی ها ، یک الگوریتم یادگیری ماشین فقط باید برای هر سلول در فیلتر حلقوی ، وزنه هایی پیدا کند و حافظه مورد نیاز برای آموزش مدل را به طرز چشمگیری کاهش می دهد. هنگامی که فیلتر حلقوی اعمال می شود ، به سادگی در سلولها تکرار می شود به گونه ای که هر یک توسط فیلتر ضرب می شود.

برای اطلاعات بیشتر به معرفی شبکه های عصبی Convolutional در دوره طبقه بندی تصویر مراجعه کنید.

فیلتر حلقوی

#تصویر

یکی از دو بازیگر در یک عملیات حلقوی . (بازیگر دیگر یک قطعه از یک ماتریس ورودی است.) یک فیلتر حلقوی یک ماتریس است که دارای رتبه مشابه ماتریس ورودی است ، اما شکل کمتری دارد. به عنوان مثال ، با توجه به یک ماتریس ورودی 28x28 ، فیلتر می تواند هر ماتریس 2D کوچکتر از 28x28 باشد.

در دستکاری عکاسی ، تمام سلولهای موجود در یک فیلتر حلقوی به طور معمول به یک الگوی ثابت از آنهایی و صفرها تنظیم می شوند. در یادگیری ماشین ، فیلترهای حلقوی به طور معمول با شماره های تصادفی بذر می شوند و سپس شبکه مقادیر ایده آل را آموزش می دهد .

برای اطلاعات بیشتر به Convolution در دوره طبقه بندی تصویر مراجعه کنید.

لایه حلقوی

#تصویر

لایه ای از یک شبکه عصبی عمیق که در آن یک فیلتر حلقوی در امتداد یک ماتریس ورودی عبور می کند. به عنوان مثال ، فیلتر Convolutional 3x3 زیر را در نظر بگیرید:

یک ماتریس 3x3 با مقادیر زیر: [[0،1،0] ، [1،0،1] ، [0،1،0]]

انیمیشن زیر یک لایه حلقوی متشکل از 9 عملیات حلقوی شامل ماتریس ورودی 5x5 را نشان می دهد. توجه کنید که هر عملیات حلقوی روی یک قطعه 3x3 متفاوت از ماتریس ورودی کار می کند. ماتریس 3x3 حاصل (در سمت راست) شامل نتایج 9 عملیات حلقوی است:

انیمیشن که دو ماتریس را نشان می دهد. ماتریس اول ماتریس 5x5 است: [[128،97،53،201،198] ، [35،225،200،195] ، [37،24،28،197،182] ، [33،28،92،92،195،179] ، [31،140،100،100،100،100،1777777           ماتریس دوم ماتریس 3x3 است: [[181،303،618] ، [115،338،605] ، [169،351،560]].           ماتریس دوم با استفاده از فیلتر حلقوی [[0 ، 1 ، 0] ، [1 ، 0 ، 1] ، [0 ، 1 ، 0]] در زیر مجموعه های مختلف 3x3 ماتریس 5x5 محاسبه می شود.

برای اطلاعات بیشتر به لایه های کاملاً متصل در دوره طبقه بندی تصویر مراجعه کنید.

شبکه عصبی کانولوشنال

#تصویر

یک شبکه عصبی که در آن حداقل یک لایه یک لایه حلقوی است. یک شبکه عصبی Convolutional معمولی شامل ترکیبی از لایه های زیر است:

شبکه های عصبی Convolutional در انواع خاصی از مشکلات مانند تشخیص تصویر موفقیت بزرگی داشته اند.

عمل جغرافیایی

#تصویر

عملیات ریاضی دو مرحله ای زیر:

  1. ضرب عناصر عاقلانه فیلتر حلقوی و یک قطعه از ماتریس ورودی. (برش ماتریس ورودی دارای رتبه و اندازه یکسان با فیلتر حلقوی است.)
  2. جمع بندی تمام مقادیر موجود در ماتریس محصول حاصل.

به عنوان مثال ، ماتریس ورودی 5x5 زیر را در نظر بگیرید:

The 5x5 matrix: [[128,97,53,201,198], [35,22,25,200,195],
          [37,24,28,197,182], [33,28,92,195,179], [31,40,100,192,177]].

اکنون فیلتر Convolutional 2x2 زیر را تصور کنید:

ماتریس 2x2: [[1 ، 0] ، [0 ، 1]]

هر عملیات حلقوی شامل یک قطعه 2x2 منفرد از ماتریس ورودی است. به عنوان مثال ، فرض کنید ما از برش 2x2 در سمت چپ ماتریس ورودی استفاده می کنیم. بنابراین ، عملیات Convolution در این برش به شرح زیر است:

با استفاده از فیلتر حلقوی [[1 ، 0] ، [0 ، 1]] در قسمت بالای چپ 2x2 ماتریس ورودی ، که [[128،97] ، [35،22]] است.           فیلتر حلقوی 128 و 22 دست نخورده را ترک می کند ، اما 97 و 35 را صفر می کند. در نتیجه ، عملکرد حلقوی مقدار 150 را به دست می آورد (22 128).

یک لایه حلقوی از یک سری عملیات حلقوی تشکیل شده است که هر یک بر روی یک قطعه متفاوت از ماتریس ورودی عمل می کنند.

هزینه

مترادف برای از دست دادن .

آموزش مشترک

یک رویکرد یادگیری نیمه تحت نظارت به ویژه هنگامی که همه شرایط زیر صحیح باشد مفید است:

آموزش مشترک اساساً سیگنال های مستقل را به یک سیگنال قوی تر تقویت می کند. به عنوان مثال ، یک مدل طبقه بندی را در نظر بگیرید که اتومبیل های استفاده شده فردی را خوب یا بد طبقه بندی می کند. یک مجموعه از ویژگی های پیش بینی کننده ممکن است بر خصوصیات کل مانند سال ، ساخت و مدل ماشین متمرکز شود. مجموعه دیگری از ویژگی های پیش بینی کننده ممکن است روی سابقه رانندگی مالک قبلی و سابقه نگهداری خودرو متمرکز شود.

مقاله اصلی در مورد آموزش همزمان با ترکیب داده های برچسب زده و بدون برچسب با آموزش همزمان توسط بلوم و میچل ترکیب شده است.

انصاف ضد خلاف

#فریبی

یک متریک انصاف که بررسی می کند که آیا طبقه بندی کننده نتیجه یکسان را برای یک فرد تولید می کند ، همانطور که برای فرد دیگری که با اولی یکسان است ، به جز با توجه به یک یا چند ویژگی حساس است. ارزیابی یک طبقه بندی کننده برای انصاف ضد عملی ، یکی از روشها برای گسترش منابع بالقوه تعصب در یک مدل است.

برای اطلاعات بیشتر به هر یک از موارد زیر مراجعه کنید: