מלכודות מנתחים

"כל המודלים שגויים, אבל חלקם שימושיים." — ג'ורג' בוקס, 1978

למרות שהן מתקדמות, יש מגבלות לסטטיסטיקה. הבנה המגבלות האלה יכולות לעזור לחוקרים להימנע מגפתיות ומטענות לא מדויקות, הטענה של בי. סקינר שלפיה שייקספיר לא השתמש בהליטרציה יותר תגרום לכך שהרנדומיזציה שלהם תחזית. (המחקר של סקינר היה חלשה.¹)

עמודות אי-ודאות ושגיאות

חשוב לציין אי-ודאות בניתוח. חשוב באותה מידה כדי לכמת את אי-הוודאות בניתוחים של אנשים אחרים. נקודות נתונים שמופיעות להצגת מגמה בתרשים, אבל עמודות שגיאה חופפות. או דפוס כלשהו. גם חוסר הוודאות גבוה מדי מכדי להפיק תועלת מסקנות ממחקר מסוים או מבדיקה סטטיסטית. אם במחקר דורש דיוק ברמת הרבה, מערך נתונים גיאו-מרחבי עם אי ודאות של +/- 500 מ' יש יותר מדי אי ודאות שאי אפשר להשתמש בו.

לחלופין, רמות אי-ודאות עשויות להיות שימושיות בתהליך קבלת ההחלטות תהליכים. נתונים שתומכים בטיפול מים מסוים עם אי-ודאות של 20% התוצאות עשויות להוביל להמלצה לגבי השימוש במים האלה מעקב מתמשך אחר התוכנית, כדי להתמודד עם אי-הוודאות הזו.

רשתות נוירונים בייסיאניות יכול לכמת את אי-הוודאות על ידי חיזוי של התפלגויות של ערכים במקום ערכים.

חוסר רלוונטיות

כפי שצוין במבוא, תמיד יש לפחות פער קטן בין והאמת. בעל המקצוע המיומן בלמידת מכונה צריך לקבוע אם רלוונטי לשאלה הנשאלת.

האף מתאר מחקר מוקדם של דעת קהל, שמצא כי אמריקאים לבנים תשובות לשאלה כמה קל היה לאמריקאים שחורים ליצור היו קשורים באופן ישיר והפוכה לרמה שבה הם בחרו מגלים אהדה כלפי אמריקאים שחורים. ככל שהאנימוס הגזעי גדל, התגובות בנוגע להזדמנויות כלכליות צפויות הפכו ליותר ויותר אופטימיות. אפשר היה להבין את זה באופן שגוי כסימן להתקדמות. עם זאת, המחקר יכול להראות שום דבר לגבי היו הזדמנויות כלכליות שהיו זמינות לאמריקאים שחורים באותו זמן, מתאימים להסקת מסקנות לגבי המציאות של שוק העבודה — הדעות של המגיבים לסקר. הנתונים שנאספים למעשה, לא הייתה רלוונטית למצב שוק העבודה.²

תוכלו לאמן מודל על נתוני סקרים כמו שתוארו למעלה, כאשר הפלט מודד בפועל אופטימיות ולא הזדמנות. אבל כי ההזדמנויות החזויות לא רלוונטיות להזדמנויות בפועל, טענו שהמודל חוזה הזדמנויות בפועל, ולא להציג מצג שווא של החיזוי של המודל.

בלבול

משתנה מבלבל, confound או cofactor,הוא משתנה לא במחקר משפיעה על המשתנים שנמצאים במחקר ועלולה לעוות את התוצאות. לדוגמה, נבחן מודל למידת מכונה שצופה את שיעורי התמותה לפי התכונות של מדיניות בריאות הציבור. נניח שהחציון גיל הוא לא מאפיין. בנוסף, נניח שבחלק מהמדינות יש של אנשים אחרים. אם מתעלמים מהמשתנה המהימן של גיל חציוני, המודל הזה יכול לחזות שיעורי תמותה שגויים.

בארצות הברית, לגזע יש קשר הדוק עם המאפיינים הסוציו-אקונומיים הוא מתועד במערכת לגבי נתוני תמותה, אבל רק גזע, ולא כיתה. נושאים שקשורים למעמד, כמו גישה לשירותי בריאות, לתזונה, לעבודה מסוכנת, לדיור מאובטח, עשויה להיות השפעה גדולה יותר על שיעורי התמותה מאשר על גזע, אבל להשמיט אותן כי הם לא כלולים במערכי הנתונים.³ זיהוי והשליטה בגורמים האלה היא חיונית ליצירת מודלים מועילים הסקת מסקנות משמעותיות ומדויקות.

אם מודל מאומן על נתוני תמותה קיימים, שכוללים גזע אבל לא היא עשויה לחזות תמותה על סמך גזע, גם אם השיעור חיזוי תמותה. זה עלול להוביל להנחות לא מדויקות לגבי סיבתיות ותחזיות לא מדויקות לגבי תמותה של מטופלים. מומחים בלמידת מכונה הם צריכים לשאול אם יש בנתונים שלהם עובדות מאכזבות, וגם מה המשמעות עשויים להיות חסרים במערך הנתונים שלהם.

ב-1985, מחקר בריאות, מחקר קבוצתי בעל מאפיינים משותפים מתוך הרווארד בבית הספר לרפואה ובבית הספר לבריאות הציבור באוניברסיטת הרווארד גילו שחברים בקבוצה בעלת המאפיינים המשותפים במקרה של שימוש בטיפול חלופי באסטרוגן, היה שיעור נמוך יותר של התקפי לב בהשוואה לחברים בקבוצה בעלת המאפיינים המשותפים שמעולם לא השתמשו באסטרוגן. כתוצאה מכך, רופאים תיעדו אסטרוגן ל עבור אנשים בתקופת המחלה ולאחר המנואה במשך עשרות שנים, עד למחקר קליני בשנת 2002 זוהו סיכונים בריאותיים שנוצרו בטיפול ארוך באסטרוגן. התרגול הרישום של אסטרוגן לנשים אחרי המנופה הופסק, אבל לא לפני כן כעשרות אלפי מקרי מוות בטרם עת.

ייתכן שהיו כמה סיבות לשיוך. נמצאו אפידמיולוגים שנשים שנעזרות בטיפול באמצעות תחליפי הורמונים בהשוואה לנשים שלא מקבלות טיפול כזה, הם רזים יותר, מיומנים יותר, עשירים יותר, מודעים יותר לבריאות שלהם, גבוהה יותר בפעילות גופנית. במחקרים שונים, החינוך והעושר שמפחית את הסיכון למחלות לב. ההשפעות האלה היו מבלבלות על הקורלציה לכאורה בין טיפול באסטרוגן להתקפי לב.⁴

אחוזים עם מספרים שליליים

יש להימנע משימוש באחוזים כאשר קיימים מספרים שליליים.⁵ ניתן לטשטש רווחים והפסדים משמעותיים. נניח, לצורך הפשטות עובדה מתמטית, שבתעשיית המסעדות יש 2 מיליון משרות. אם התעשייה מפסידה 1 מיליון מהמשרות האלה בסוף מרץ 2020, לא היה שינוי נטו ב-10 והוא צבר 900,000 משרות בתחילת פברואר 2021, בהשוואה לשנה הקודמת לעומת תחילת מרץ 2021, סימן לאובדן של 5% בלבד במספר המשרות במסעדות. בהנחה שלא בוצעו שינויים אחרים, השוואה בין הנתונים לשנה קודמת בסוף פברואר בשנת 2022 צפויה עלייה של 90% במספר המשרות במסעדות, וזו עלייה שונה מאוד תמונת מציאות.

העדפה למספרים ממשיים, מנורמלים לפי הצורך. למידע נוסף, ראו עבודה עם מספרים Cata לקבלת מידע נוסף.

כשל פוסט-הוק ומתאמים שלא ניתנים לשימוש

הכשל פוסט-הוק הוא ההנחה שבגלל אירוע א' גרם אירוע ב', אירוע א' גרם לאירוע ב'. במילים פשוטות יותר, ההנחה היא קשרי סיבה ותוצאה שבהם אין ייצוג כזה. ואפילו יותר פשוט: מתאמים לא מוכיחים סיבתיות.

בנוסף לקשר ברור בין סיבה ותוצאה, מתאמים יכולים גם לעלות מ:

• סיכוי טהור (אפשר לעיין במאמר של טיילר ויג'ן) מתאמים שקריים לאיורים, כולל קשר חזק בין שיעור הגירושין בצריכת מיין ומרגרינה).
• קשר אמיתי בין שני משתנים, למרות שלא ברור איזה מהם הוא סיבתי ואיזה מהם מושפע.
• סיבה שלישית נפרדת שמשפיעה על שני המשתנים, למרות משתנים מתואמים אינם קשורים זה לזה. אינפלציה גלובלית, למשל, יכול להעלות את המחירים של יאכטות וגם של סלרי.⁶

כמו כן, מסוכן מאוד לבצע אקסטרפולציה של קורלציה מעבר לנתונים הקיימים. המשחק מדגיש את העובדה שחלק מהגשם ישפר את היבולים, אבל יותר מדי גשם יפגע אותם; הקשר בין גשם לתוצאות חיתוך הוא לא ליניארי.⁷ (ראו בשני הקטעים הבאים למידע נוסף על קשרים לא ליניאריים). ג'ונס מציין שהעולם מלא באירועים בלתי צפויים, כמו מלחמות ורעב, כדי לקבל תחזיות עתידיות לגבי נתונים על סדרות זמנים כמויות עצומות של אי-ודאות.⁸

יתרה מכך, גם אם יש מתאם אמיתי המבוסס על סיבה ותוצאה, לא בטוח שיעזרו בקבלת החלטות. לדוגמה, המעטפת מספקת את הקורלציה בין נשואים והשכלה במכללות בשנות ה-50 של המאה ה-20. נשים שהולכות ל היה סיכוי נמוך יותר להתחתן במכללה, אבל זה יכול להיות שנשים שלמדו במכללה נטו פחות להישען מלכתחילה. אם זה היה המצב, ההשכלה במכללה לא שינתה את הסבירות שלה של חתונה.⁹

אם ניתוח מזהה התאמה בין שני משתנים במערך נתונים, צריך לשאול את השאלות הבאות:

• מהו סוג הקורלציה: סיבה ותוצאה, שקריות, לא ידועות או נגרמו על ידי משתנה שלישי?
• עד כמה עלולה להיות אקסטרפולציה על סמך הנתונים? כל חיזוי של מודל על נתונים בפועל, לא במערך הנתונים לאימון. על סמך הנתונים האלה.
• האם ניתן להשתמש בקורלציה כדי לקבל החלטות מועילות? לדוגמה, אופטימיות יכולה להיות קשורה לעלייה בשכר, אבל ניתוח סנטימנטים על מאגר גדול של נתוני טקסט, כמו רשתות חברתיות פוסטים של משתמשים במדינה מסוימת, לא יעזרו לחזות העלאת השכר במדינה הזו.

כשאימון מודל, מתאמנים של למידת מכונה בדרך כלל מחפשים תכונות קשור מאוד לתווית. אם הקשר בין התכונות והתווית לא מובנת היטב, זה עלול להוביל לבעיות שתוארו בקטע הזה, כולל מודלים שמבוססים על מתאמים ומודלים מזויפים ההנחה היא שהמגמות ההיסטוריות ימשיכו להימשך בעתיד, כשלמעשה הן לא צריך.

ההטיה הלינארית

לחשבון "חשיבה לינארית בעולם לא ליניארי", בארט דה לנגה, סטפנו פונטוני וריצ'רד לאריק מתארים הטיה לינארית לנטייה של המוח האנושי לצפות ולחפש קשרים ליניאריים, על אף תופעות רבות הן לא ליניאריות. הקשר בין גישות אנושיות התנהגות, לדוגמה, היא עקומה קמורה ולא קו. ב-2007 Journal of מאמר בנושא מדיניות הצרכנות שצוטט על ידי de Langhe et al., Jenny van Doorn et al. שיצרה את הקשר בין המשיבים לסקר לגבי על הסביבה רכישות של מוצרים אורגניים. עסקים עם החששות הקיצוניים ביותר לגבי הסביבה קנו יותר מוצרים אורגניים, אבל היו מאוד הבדל קטן בין כל שאר המשיבים.

תרשים של רכישות אורגניות לעומת ציון בעיה סביבתית, פשוט והותאם מ-van Doorn et al. נייר

במהלך תכנון מודלים או מחקרים, כדאי לשקול את האפשרות של מודלים לא ליניאריים מערכות יחסים. כי בדיקות A/B עלול להחמיץ קשרים לא ליניאריים, מומלץ לבדוק גם מודל ביניים מצב, C. כדאי גם לשקול אם ההתנהגות הראשונית שמופיעה הלינארי ימשיך להיות ליניארי, או אם נתונים עתידיים מראה יותר התנהגות לוגריתמית או לא ליניארית אחרת.

דוגמה להתאמה לינארית נמוכה לנתונים לוגריתמיים

הדוגמה ההיפותטית הזו ממחישה התאמה ליניארית שגויה לנתונים לוגריתמיים. אם רק הנקודות הראשונות על הגרף היו זמינות, זה היה מפתה ולא נכונה להניח שיש קשר ליניארי מתמשך בין משתנים.

אינטרפולציה לינארית

לבדוק כל אינטרפולציה בין נקודות נתונים, מכיוון שאינטרפולציה מציע נקודות בדיוניות, והמרווחים בין מדידות אמיתיות עשויים להכיל תנודות משמעותיות. כדוגמה, נבחן את הנושאים הבאים תצוגה חזותית של ארבע נקודות נתונים שמקושרות עם אינטרפולציות ליניאריות:

דוגמה לאינטרפולציה לינארית.

נבחן את הדוגמה הזו לתנודות בין נקודות נתונים ש נמחק באמצעות אינטרפולציה ליניארית:

דוגמה לתנודות משמעותיות (רעידת אדמה) בין נקודות על הגרף.

דוגמה זו מתקבלת מפני שסייסמוגרפים אוספים נתונים רציפים, את רעידת האדמה הזו שלא תפספסו. אבל היא שימושית לצורך המחשה הנחות שמבוצעות על ידי אינטרפולציות, והתופעות האמיתיות של נתונים בעלי מקצוע עלולים לפספס.

התופעה של רונג'

התופעה של Runge, וגם שנקרא "ההתאמה הפולינומית", היא בעיה בקצה הנגדי של מכל טווח שהוא מאינטרפולציה לינארית ומהטיה לינארית. כשמתאימים פולינום אינטרפולציה לנתונים, ייתכן להשתמש בפולינום בדרגה גבוהה מדי (מעלה או סדר – המעריך הגבוה ביותר במשוואה הפולינומית). הזה יוצרת תנודות אי-זוגיות בקצוות. לדוגמה, החלת אינטרפולציה פולינומית של רמה 11, כלומר המונח מהסדר הגבוה ביותר במשוואה הפולינומית יש \(x^{11}\), עד שנתונים לינאריים פחות או יותר, התוצאה חיזויים גרועים במיוחד בהתחלה ובסוף טווח נתונים:

דוגמה לכיווץ פולינומי

בהקשר של למידת מכונה, יש תופעה אנלוגית התאמת יתר.

כשלים סטטיסטיים בזיהוי

לפעמים בדיקה סטטיסטית עשויה להיות חלשה מדי מכדי לזהות אפקט קטן. עוצמה נמוכה בניתוח סטטיסטי משמעותה סיכוי נמוך זיהוי אירועים אמיתיים, ולכן יש סיכוי גבוה לתוצאות שליליות כוזבות. קתרין כפתור ואחרים כתב בטבע: "כשמחקרים בתחום נתון בחזקת 20%, זה אומר שאם יש 100 ערכים אמיתיים של null את ההשפעה שתהיה בתחום הזה, הם צפויים לגלות רק 20 מתוכם." לפעמים הגדלה של הדגימה יכולה לעזור, כי זה יכול לעזור. מחקר מודלים.

בעיה מקבילה בלמידת מכונה classification וגם בחירה של סף הסיווג. בחירה בסף גבוה יותר תוביל פחות תוצאות חיוביות מוטעות ויותר תוצאות שליליות מוטעות, ובמקביל סף נמוך יותר של תוצאות ביותר תוצאות חיוביות מוטעות ופחות תוצאות שליליות מוטעות.

בנוסף לבעיות עם עוצמה סטטיסטית, מכיוון שמתאם מיועד לזיהוי קשרים ליניאריים, מתאמים לא ליניאריים כמה משתנים, באופן דומה, משתנים יכולים להיות קשורים אחר אך ללא קורלציה סטטיסטית. משתנים יכולים להיות גם יוצרים קורלציה שלילית אבל לגמרי לא קשורים, הפרדוקס של ברקסון או הכשל של ברקסון. הדוגמה הקלאסית כשל הוא מתאם שלילי מובהק בין כל סיכון גורם למחלה קשה וחמורה כאשר מסתכלים על אוכלוסיית חולים בבית חולים (כמו בהשוואה לאוכלוסייה הכללית), שנובעת מתהליך הבחירה ( חמורה מספיק כדי לאפשר כניסה לבית חולים).

כדאי לבדוק אם אחד מהמצבים האלה רלוונטי.

מודלים מיושנים והנחות לא חוקיות

אפילו מודלים טובים יכולים לרדת עם הזמן, כי ההתנהגות (והעולם כולו) של העניין) עשוי להשתנות. המודלים החזויים המוקדמים של Netflix היו צריכים להוציא משימוש בסיס הלקוחות השתנה ממשתמשים צעירים שמבינים בטכנולוגיה למשתמשים כלליים אוכלוסייה.¹⁰

מודלים יכולים גם להכיל הנחות שקטות ולא מדויקות שעלולות להישאר מוסתרות עד לכישלון הקטסטרופלי של המודל, כמו בקריסת השוק ב-2008. מודלים של ערך בסיכון (VaR) בתחום הפיננסים, שנטען לגביהם הערכה מדויקת את ההפסד המקסימלי בתיק כל עסק, נניח הפסד מקסימלי של $100,000 צפויים ב-99% מהמקרים. אבל במצבים חריגים מהקריסה, שיטת בידינג כוללת עם הפסד מקסימלי צפוי של $100,000 לפעמים הולכים לאיבוד $1,000,000 או יותר.

המודלים של VaR מבוססים על הנחות שגויות, כולל:

• שינויים שבוצעו בעבר בשוק חוזים שינויים עתידיים בשוק.
• התפלגות נורמלית (זנבית דקת), ולכן צפויה, הייתה שבבסיס התשואות החזויות.

תרשים של התפלגות פון מיזוז, עם זנב קצר ב-K ו-זנב, נמוך ב-K.

למעשה, ההתפלגות הבסיסית הייתה "פרועה", או פרקטלים, כלומר, יש סיכון גבוה בהרבה למילים "זנב ארוך", "זנב ארוך", אירועים נדירים ממה שחזתה התפלגות נורמלית. אופי הזנב השמן של ההתפלגות האמיתית הייתה ידועה, אבל לא ננקטה פעולה לגביה. מה היה פחות טוב כמה תופעות שונות היו מורכבות ובצימוד צמוד, כולל מסחר מבוסס-מחשב עם מבצעי מכירה אוטומטיים.¹¹

בעיות בצבירת נתונים

נתונים נצברים, שכוללים את רוב המאפיינים הדמוגרפיים והאפידמיולוגיים כפופים לקבוצה מסוימת של מלכודות. הפרדוקס של סימפסון, או פרדוקס השילוב מתרחש בנתונים נצברים שבהם מגמות גלויות ייעלמו או ישתנו כשהנתונים נצברים ברמה שונה, עקב גורמים מטרידים וקשרים סיבתיים.

הכשל האקולוגי כולל ביצוע אקסטרפולציה (אקסטרפולציה) של מידע על מרמת צבירה אחת לרמת צבירה אחרת, כאשר ייתכן שהתלונה לא חוקית. מחלה שפוגעת ב-40% מהעובדים בחקלאות פרובינציה אחת אינה יכולה להיכלל באותה שכיחות אוכלוסייתו. סביר גם מאוד שיהיו חוות מבודדות יישובים חקלאיים במחוז הזה שלא נהנים מעלייה דומה את השכיחות של המחלה הזו. להעריך השכיחות של 40% בקבוצות המושפעות גם מקומות מסוימים יהיו שגויים.

הבעיה של יחידה מקומית שניתנת לשינוי (MAUP) היא בעיה ידועה ב- נתונים גיאו-מרחביים, שמתוארים על ידי סטאן Openshaw ב-1984 CATMOG 38. בהתאם לצורות ולגדלים של האזורים שבהם נעשה שימוש נתונים נצברים, בעלי מקצוע בתחום הנתונים גיאו-מרחביים יכולים להקים כמעט בין המשתנים בנתונים. הצבעה בשרטוטים מחוזות שמעדיפים מפלגה אחת או אחרת הם דוגמה ל-MAUP.

כל המצבים האלה כוללים אקסטרפולציה בלתי הולמת מרמת צבירה לרמה אחרת. רמות שונות של ניתוח עשויות לדרוש צבירת נתונים או אפילו מערכי נתונים שונים לחלוטין.¹²

לתשומת ליבכם: בדרך כלל הנתונים לגבי מפקד אוכלוסין, מאפיינים דמוגרפיים ואפידמיולוגיים מצטברים לפי אזורים מטעמי פרטיות, ולעיתים קרובות שרירותיות, כלומר לא מבוססות על גבולות משמעותיים בעולם האמיתי. מתי עם נתונים מהסוגים האלה, מתאמנים של למידת מכונה צריכים לבדוק אם הביצועים והחיזויים משתנים בהתאם לגודל ולצורה של התחומים רמת הצבירה או את רמת הצבירה, ואם כן, האם החיזויים של המודל מושפעים מאחת מבעיות הצבירה האלה.

קובצי עזר

כפתור, Katharine et al. "כשל כוח: מדוע דגימה קטנה פוגעת של מדעי המוח." טבע ביקורות בתחום מדעי המוח – כרך 14 (2013), 365 עד 376. DOI: https://doi.org/10.1038/nrn3475

קהיר, אלברטו. How Charts Lie: Getting Smarter about Visual Information. ניו יורק: W.W. Norton, 2019.

דבנפורט, תומס ה. "A Predictive Analytics Primer". ב-HBR – מדריך לנתונים Analytics Basics for Managers (Boston: HBR Press, 2018) 81-86.

דה לנגה, בארט, סטפנו פונטוני וריצ'רד לאריק. "חשיבה לינארית בעולם לא ליניארי". במאמר HBR Guide to Data Analytics Basics for Managers (מדריך HBR) למנהלים (Boston: HBR Press, 2018) 131-154.

אלנברג, ירדן. איך לא לטעות: כוחה של החשיבה המתמטית. ניו יורק: פינגווין, 2014.

האף, דארל. איך להסתמך על נתונים סטטיסטיים. ניו יורק: W.W. נורטון, 1954.

ג'ונס, בן. הימנעות ממלכודות נתונים. הובוקן, ניו ג'רזי: Wiley, 2020.

Openshaw, Stan. "The In-Redifiability Enterprise שתוצג ", CATMOG 38 (נוריץ', אנגליה: Geo Books 1984) 37.

The Risks of Financial Modeling: VaR and the Economic Meltdown, 111th Congress (2009) (עדויות של Nassim N. טאלב וריצ'רד בוקסטאבר).

ריטר, דיוויד. "מתי לפעול על בסיס מתאם, ומתי לא." במדריך ל-HBR עקרונות בסיסיים בנושא ניתוח נתונים למנהלים (Boston: HBR Press, 2018) 103-109.

טולצ'ינסקי, Theodore H. ואלנה א. ורביקובה. "פרק 3: מדידה, מעקב והערכה של בריאות האוכלוסייה" בתוך The New Public Health, מהדורה 3. San דייגו: Academic Press, 2014, pp 91-147. DOI: https://doi.org/10.1016/B978-0-12-415766-8.00003-3.

ואן דורן, ג'ני, פיטר סי. Verhoef, and Tammo H. א. ביג'מולט. "החשיבות של קשרים לא ליניאריים בין גישה להתנהגות במדיניות מחקר". Journal of Consumer Policy 30 (2007) 75-90. DOI: https://doi.org/10.1007/s10603-007-9028-3

הפניה לתמונה

מבוסס על 'הפצת Von Mises'. Rainald62, 2018. מקור

---

1. Ellenברג 125.↩

2. הקשת 77-79. האף מצטט את המשרד למחקר דעת קהל של פרינסטון, אבל שיכול להיות שהוא חשב דוח של אפריל 1944 מאת המרכז הלאומי למחקר דעות באוניברסיטת דנוור.↩

3. טולצ'ינסקי ורוביקובה.↩

4. גרי טאוב, Do We Really Know מה הופך אותנו לבריאים?" ב-The New York Times Magazine, 16 בספטמבר 2007.↩

5. אלנברג 78.↩

6. הקשת 91-92.↩

7. המפף 93.↩

8. Jones 157-167.↩

9. המפף 95.↩

10. דבנפורט 84.↩

11. לצפייה בעדות של Nassim N. Taleb and Richard Bookstaber בתוך The Risks of Financial Modeling: VaR and the Economic Meltdown, 111th Congress (2009) 11-67.↩

12. Cairo 155, 162.↩