זהו שור.
איור 19. שור.
בשנת 1906 התקיימה תחרות לשיפוט משקלים באנגליה. 787 משתתפים ניסו לנחש את המשקל של שור. השגיאה החציונית של השערות נפרדות הייתה 17 ק"ג (שגיאה של 3.1%). עם זאת, החציון הכולל של התשובות היה שגוי רק ב-4 ק"ג מהמשקל האמיתי של השור (499 ק"ג), כלומר שגיאה של 0.7% בלבד.
איור 20. היסטוגרמה של השערות המשקל הנפרדות.
הסיפור הזה מדגים את חוכמת ההמונים: במצבים מסוימים, דעה קולקטיבית מספקת שיקול דעת טוב מאוד.
מבחינה מתמטית, אפשר ליצור מודל של 'חוכמת ההמונים' באמצעות משפט המגבלה המרכזית: באופן לא רשמי, השגיאה הריבונית בין ערך מסוים לבין הממוצע של N אומדנים רועשים של הערך הזה נוטה לאפס עם גורם של 1/N. עם זאת, אם המשתנים לא עצמאיים, השונות גדולה יותר.
בלמידת מכונה, אנסמבל הוא אוסף של מודלים שהתחזיות שלהם ממוצעות (או נצברות בדרך כלשהי). אם המודלים ב-ensemble שונים מספיק בלי להיות גרועים מדי בנפרד, בדרך כלל האיכות של ה-ensemble טובה יותר מהאיכות של כל אחד מהמודלים הנפרדים. אימון של אנסמבל ותהליך ההסקה שלו נמשכים יותר זמן מאשר אימון של מודל יחיד. אחרי הכל, צריך לבצע אימון והסקה בכמה מודלים במקום במודל אחד.
באופן לא רשמי, כדי שהאנסמבל יפעל בצורה הטובה ביותר, המודלים הנפרדים צריכים להיות עצמאיים. לדוגמה, אנסמבל שמורכב מ-10 מודלים זהים לחלוטין (כלומר, לא עצמאיים בכלל) לא יהיה טוב יותר מהמודל הבודד. מצד שני, אם תכריחו את המודלים להיות עצמאיים, יכול להיות שהם יהיו גרועים יותר. כדי ליצור קבוצות מודלים יעילות, צריך למצוא איזון בין העצמאות של המודל לבין האיכות של מודלי המשנה שלו.