הערות פתיחה
Yvette Nameth (Google)
נאום הפתיחה
Jürgen Allgayer (Google)
האתגר האוניברסלי בבדיקות בין אפליקציות או במכשירים שונים
Apple Chow (Uber) ו-Bian Jiang (Uber)
זמן קצר לאחר ההצטרפות ל-Uber במרץ 2015, נתקלנו באתגר ייחודי של Uber בזמן שחקרנו כלים לבדיקת ממשק המשתמש באפליקציות שלנו לנייד. בחלק גדול מבדיקות ההיגיון שלנו אנחנו צריכים להפעיל את אפליקציית הנוסע ואת האפליקציה של הנהג כדי לתקשר או לתאם בין הפעולות שלהם, כדי להשלים את תרחיש הבדיקה מקצה לקצה. בהרצאה זו נציג את הפתרון האגנוסטי של הפלטפורמה שלנו, בשם Octopus, ונדבר על האופן שבו היא מתאם את התקשורת בין אפליקציות שונות במכשירים שונים. אפשר ליישם את הפתרון הזה בכל בדיקה שמחייבת תיאום או תקשורת בין אפליקציות או מכשירים שונים (למשל: משחק רב-משתתפים, אפליקציית הודעות מרובת-משתמשים, תקשורת ועוד)
אוטומציה של בדיקות בסיוע רובוט
Hans Koosmanen (OptoFidelity) ו-Natalia Leinonen (OptoFidelity)
OptoFidelity היא חברה היי-טק בפינלנד בעלת 10 שנות ניסיון בפיתוח ובמתן של פתרונות לאוטומציה של מחקר ופיתוח. בדיון נציג את החוויות שלנו ואת ההשקות העתידיות שלנו בשיטות בדיקה שהן לא פולשניות, שמשמשות לבדיקת הביצועים של ממשק המשתמש של מכשירים ניידים. ידעת שהצוות של Chrome OS משתמש בפתרון רובוטי של OptoFidelity כדי למדוד את זמן האחזור מקצה לקצה במכשירי Android ו-ChromeOS?
שרשראות לכיף ולרווח: שיעורים שנלמדו מבדיקות אינטגרציה של פלטפורמות שונות לניידים
Dan Giovannelli (Google)
ההתפתחות של מכשירים ניידים היא קשה. קשה לבנות תשתית לבדיקה. קשה לעבוד בין פלטפורמות שונות. משלבים בין שלושת המתכונים ומקבלים מתכון לאסון. בשיחה זו, דן ג'ובנלי יספר על החוויות שלו בעבודה על פרויקט תשתית לניידים בפלטפורמות שונות. הוא ידבר על מה שהשתבש, על מה שהשתבש (מאוד) ועל מה שהוא רוצה שהוא ידע בהתחלה. בואו לקבל תובנות על תכנון כלים לנייד עבור מהנדסים שאינם ניידים, להישאר ולגלות בדיוק מה זה ה'מטריקס' ואיך לנצח במשחק הזה.
אוטומציה של בדיקת משחקים לנייד באמצעות מכשירים אמיתיים
Jouko Kaasila (Bitbar/Testdroid)
משחקים לנייד הם הקטגוריה הרווחית ביותר בחנויות האפליקציות של היום, ולכן לכל גרסה של המשחק יש עדיפות גבוהה בכל מפתח משחק. למרות שיש חשיבות לאימות הנתונים האלה, יש מעט מאוד דוגמאות או מסגרות שמשמשות לאוטומציה של בדיקות של משחקים לנייד, והן מאלצות את מפתחי המשחקים לנקוט בבדיקות ידניות שלא בקנה מידה גדול כמו שחברות המשחקים צריכות לכסות את השוק הגלובלי שלהן. אחת הסיבות העיקריות היא האופי הייחודי של משחקים בתור אפליקציות לנייד, כי הם ניגשים למסך ישירות ועוקפים את כל שירותי ממשק המשתמש שסופקו על ידי מערכת ההפעלה. הם מעבדים את רוב מסגרות האוטומציה לבדיקה, מפני שהן לא חשופות אובייקטים מסורתיים.
למרבה המזל, יש דרכים להשתמש במסגרות סטנדרטיות לאוטומציה של בדיקות בנייד כדי להניע אוטומציה של בדיקות במכשירים ניידים אמיתיים למשחקים. לשם כך, עליך להשתמש בחלק מהיצירתיות ובספריות הציבוריות. במצגת שלו, ג'וקו קאסילה מ-testdroid יתאר שלוש גישות שונות עם דוגמאות מהעולם ועם קוד לדוגמה.
איך מרכיבים כופתאות מרק בדיקה
טוני צ'אנג (Google)
אנשים שהוציאו יותר מדי זמן על ייצוב של בדיקות לא יציבות יסכימו שעלינו לנתח בדיקות. עם זאת, חלק מהאנשים מתקשים ולא בטוחים כיצד לעשות זאת, ואחרים מתמודדים עם אתגרים מסוימים, שלדעתם מחייבים בדיקת E2E לאימות כל התרחישים. לפעמים קשה להבין את הרעיון כשלא רגילים לצפות ברכיבים שלו, אבל נשתמש בדוגמה מופשטת של כופתאות מרק כדי להסביר איך נראה לרכיב מורכב ולא ניתן להחיל עליו בדיקות.
אני אדריך אותך בתהליך מהנה של תרגום בדיקת E2E לבדיקת רכיבים, שתיתן לך אמון במוצר הסופי. אני מקווה שזה ייתן לך פרספקטיבה רעננה כשתסתכל על המוצר שלך.
אוטומציה של בדיקת Chromecast
Brian Gogan (Google)
האינטרנט של הדברים הוביל להתרבות של מכשירים מחוברים. אימות ההתנהגות במכשירים שונים עם יכולת פעולה הדדית הוא אתגר משמעותי בבדיקות. כדי לבדוק את Chromecast, בוצעו מספר גישות. אנחנו מתארים מסגרות בדיקה, תשתיות מעבדה וכלי בדיקה שפיתחנו במטרה לייצר אותות איכות מהימנים מהמוצר. אנחנו מפרטים את האתגרים של בדיקת מוצר שפועל בסביבות רועשות ברשת. אנחנו מציעים שכלי בדיקה למכשירים כמו Chromecast נמצאים בתחילת דרכם, ומציעים הזדמנויות לחדשנות בהנדסת בדיקות התוכנה.
שימוש ברובוטים לבדיקת אפליקציות של Android
Dr.Shauvik Roy Choudhary (ג'ורג'יה טק/צ'קדרויד)
ניתן להשתמש ברובוט תוכנה, כמו Monkey, כדי לבדוק אפליקציות ל-Android ללא מאמץ ידני רב. באקדמיה מוצעים כמה כלים כאלה, והמטרה שלהם היא ליצור אוטומטית קלט לבדיקה כדי לקדם אפליקציות ל-Android. בהרצאה הזו אציג קבוצה של כלים מייצגים לקליטת נתונים ואציג מחקר השוואתי שידגיש את נקודות החוזק והמגבלות שלהם. תלמדו על הרכיבים הפנימיים של הכלים האלה ואיך תוכלו להשתמש בהם כדי לבדוק את האפליקציה שלכם. פרטי המחקר, לצד הגדרת VM בעזרת הכלים, זמינים בכתובת: http://bear.cc.gatech.edu/~shauvik/androtest/
הבדיקות שלך לא רעועות
Alister Scott (אוטומטי אוטומטי)
בדיקות בעייתיות הן כל מה שמדבר על מהנדס בדיקה אוטומטי, כמו שמישהו (אולי אליסטר) אמר פעם "השעשוע מריץ את אותן הבדיקות שוב ושוב ומקבל תוצאות שונות". בדיקות רעועות לא גורמות לייבש, אבל אולי אין משהו רע כמו מבחן רעוע, אבל אולי אנחנו צריכים לבחון את הבעיה דרך עדשה אחרת. אנחנו צריכים להשקיע יותר זמן ביצירת מערכות דטרמיניסטיות ו שניתן לבדוק אותן יותר, מאשר להשקיע זמן בפיתוח בדיקות עמידות ועקביות. אליסט תשתפו כמה דוגמאות למצבים שבהם בדיקות פתיחות הסתירו בעיות אמיתיות מתחת למערכת, ואיך אפשר לפתור בעיה הקשורה לבדיקה על ידי בניית מערכות טובות יותר.
בדיקות חזותיות אוטומטיות בקנה מידה גדול
אדם כרמי (Applitools)
בדיקות חזותיות אוטומטיות הן מגמה מתפתחת משמעותית בקהילת המפתחים / הבודקים. בשיחה הזו נלמד על בדיקה חזותית ולמה כדאי להשתמש בה באופן אוטומטי. נבחן לעומק כמה מהאתגרים הטכנולוגיים הקשורים לאוטומציה חזותית של בדיקות, ונדגים איך עושים זאת בעזרת כלים מודרניים. נדגים טכנולוגיות חדשניות שמאפשרות להריץ בדיקות חזותיות בדפדפנים שונים ובמכשירים שונים, ונספק טיפים חשובים להצלחה עם בדיקות ויזואליות בקנה מידה גדול.
מבצע בדיקות רגרסיה
Karin Lundberg (Twitter) ו-Puneet Khanduri (Twitter)
הצוות שלך סיים זה עתה גורם משמעותי משמעותי לשירות, וכל הבדיקות של היחידה ושילובי הבדיקה הסתיימו. נהדר, אבל עדיין לא סיימתם. עכשיו אתם צריכים לוודא שלא שברתם משהו, ושאין באגים שעדיין לא נקלטו במערכת. הגיע הזמן להפעיל את Diffie.
בניגוד לכלים שמבטיחים שהקוד שלך תקין, כמו בדיקות של יחידות או שילוב, Diffy עורכת השוואה בין ההתנהגות של השירות ששונה על ידי הצגת מופעים של השירות החדש ושל השירות הישן שלך זה לצד זה, ניתוב בקשות לדוגמה לכל אחת מהן, השוואה בין התגובות והחזרת רגרסיות שמקורן בהשוואות האלה.
כמו כן, השקנו את הכלי בקוד פתוח ועכשיו הוא הופך לאחד מהפופולריים ביותר בפרויקטים של הקוד הפתוח של Twitter.
בדיקות נגישות אוטומטיות לאפליקציות ל-Android
Casey Borkhardt (Google)
אחרי שנדבר על תכונות הנגישות העיקריות בפלטפורמת Android, נציג כמה מלכודות נפוצות למפתחים הקשורות לנגישות. תלמדו על המסגרת החדשה לבדיקת הנגישות ב-Android ועל השילוב שלה במסגרות הבדיקה Espresso ו-Robolectric. לסיום, נראה כמה קל להוסיף בדיקת נגישות אוטומטית לבדיקות של הפרויקטים הקיימים שלך ב-Android.
דגימת נתונים סטטיסטיים
Celal Ziftci (Google) ו-Ben Greenberg (סטודנטים מצטיינים ב-MIT)
מקובל להשתמש בדגימה של נתוני ייצור בבדיקות. דוגמאות:
- בדיקת שפיות: הזנה של דגימה מנתוני הייצור במערכת שלך כדי לראות אם משהו נכשל.
- בדיקת A/B: יש לקחת חלק גדול מנתוני הייצור, להריץ אותם בגרסאות הנוכחיות והחדשות של המערכת ולהקטין את הפלט לצורך בדיקה.
כדי לקבל דוגמה של נתוני הפקה, הצוותים משתמשים בדרך כלל בפתרונות אד-הוק, כמו:
- מעיינים באופן ידני בהפצה של שדות ספציפיים (למשל שדות מספריים),
- בחירת דוגמה אקראית לחלוטין
עם זאת, לגישות האלה יש חסרונות רציניים: הן עלולות לפספס אירועים נדירים (למשל, קצה הבעיה), וכך להגדיל את הסיכון לבאגים שלא נלכדו בסביבת הייצור. כדי להקטין את הסיכון, הצוותים בוחרים דוגמאות גדולות מאוד. עם זאת, עם דגימות גדולות כל כך, יש עוד כמה חסרונות:
- עדיין ייתכן שהמערכת תפספס אירועים נדירים,
- זמן הריצה של בדיקות גדל מאוד,
- ההבדלים משמעותיים מבחינת האנושות להבין, ויש גם חזרות רבות.
בשיחה זו, אנחנו מציעים טכניקה חדשה לדגימת נתונים סטטיסטיים, כדי לבחור 'בחכמה' דגימה 'טובה' מנתוני ההפקה:
- הבטחה שאירועים נדירים לא יפספסו,
- מצמצם את גודל הדגימה שנבחרה על ידי ביטול כפילויות.
הטכניקה שלנו מתייחסת למקרים נדירים/גבוליים, שומרת על גודל דגימה מינימלי וחוסכת באופן מפורש את הנטל הידני של בחינת פלטים/הבדלים בבדיקה למפתחים. הוא תומך גם בהפעלה מקבילה (למשל, מיפוי וצמצום) כך שניתן יהיה לעבד כמויות גדולות של נתונים בפרק זמן קצר כדי לבחור את הדוגמה.
תשתית האוטומציה של Nest
אוסמן עבדאללה (Nest), ג'וליה גיידי (Nest) ו- סאם גורדון (Nest)
החזון של Nest עבור 'המחשבה המתוחכמת' כולל מכשירים חכמים המחוברים זה לזה, שעובדים יחד כדי להפוך את הבית שלכם לבטוח יותר, חסכוני יותר באנרגיה וממוקד מוּדָעוּת. דיון זה יתמקד בתשתית של האוטומציה ובכלי הבדיקה שנבנו כדי להפוך את החזון הזה למציאות. צוותים שונים ב-Nest עבדו על מערכות ספציפיות בפלטפורמות שונות ובמכשירים ספציפיים/פיצ'רים שונים, במטרה לבדוק ולנתח רגרסיה אוטומטית. בהמשך מובאות דוגמאות ספציפיות לבדיקות של מוצרים בעולם האמיתי, ונתייחס לחומרה של מוצרים שונים בתשתית של בדיקות הלולאה ובכלים לניתוח רגרסיה כוחית, יחד עם קבוצות כלים ספציפיות למצלמה ולזיהוי תנועה.
מחוללי אירועים
Russi Roussev (Splunk)
בדיון זה מתוארות החוויות שלנו בפיתוח ובשימוש במחוללי אירועים ב-Splunk. בהשראת פיזיקלית חלקיקים שבה מחוללי אירועים היו חיוניים להבנת העולם הפיזי בלי להפעיל מכונות ניסיוניות גדולות, מחוללי היומנים שיפרו את הדרך שבה אנחנו בודקים את השילובים הרבים עם תוכנות צד שלישי מדור קודם ותוכנות מודרניות מדור קודם. ההרצאה עוסקת בפונקציונליות הבסיסית ובאתגרים של יצירת יומנים מציאותיים.
סינתזת בדיקה מרובת שרשורים
מוראלי קרישנה רמנטן (המכון ההודי למדע, בנגלור)
לעיתים קרובות, שגיאות מתוחכמות בו-זמניות בספריות מרובות-שרשורים שנובעות מסנכרון שגוי או לקוי עלולות להקשות על הזיהוי המדויק באמצעות טכניקות סטטיות בלבד. מצד שני, האפקטיביות של מזהים דינמיים תלויה באופן קריטי בחבילות בדיקה המחולקות לשרשורים מרובים, שניתן להשתמש בהן לצורך זיהוי והפעלת באגים בו-זמניים, כולל מערכות לניהול מערכי נתונים, נפילות נתונים והפרות בסביבה. בדרך כלל, בדיקות עם שרשור אחד צריכות להפעיל שילוב ספציפי של שיטות עם אובייקטים שמשויכים להפעלה, כדי לחשוף באג. ללא ידע מראש על הבאג, הבנייה של בדיקות כאלה יכולה להיות מאתגרת.
בשיחה הזו אציג שיטה קלה ופשוטה להתאמה לסינתזת בדיקות לזיהוי הפרות של בטיחות בשרשור. בזכות ספרייה עם כמה שרשורים וחבילת בדיקות רציפות, אני אתאר ניתוח אוטומטי לגמרי שבוחן את העוקבות של ביצוע רציף, ויוצר כפלט תוכנית בו-זמנית שמפעילה אובייקטים משותפים באמצעות קריאות לשיטה של ספרייה, כדי להפעיל באג בו-זמני. תוצאות ניסיוניות במגוון ספריות Java שנבדקו היטב ממחישות את היעילות של הגישה שלנו בחשיפת באגים מורכבים רבים.
הפעלת ניסויים בסטרימינג ב-Netflix
Mina Mishra (Netflix)
לחוויית הסטרימינג של יותר מ-69 מיליון משתמשים יש חשיבות עליונה ל-Netflix. כדי לשפר אותם במהירות, העברנו את האלגוריתמים של הסטרימינג המותאם לשכבת JavaScript. האתגר הזה עמד בפני אתגר ייחודי של הפצת תוכנת JavaScript של לקוח, שהשפיעה ישירות על חוויית הסטרימינג של הצרכן. השאלנו את הפרדיגמה של פיתוח רציף (continuous delivery) שאומצה באופן נרחב ומוצלח עבור אפליקציות שירות, והשתמשנו בה כדי לפרוץ לסיכונים במהלך מחזור החיים של צ'ק-אין, ולספק עדכונים בתדירות גבוהה. בשיחה הזו נתאר את המרכיב העיקרי של הפרדיגמה הזו כדי להפעיל עדכוני תוכנה. נבחן לעומק את תהליך ההשקה של לקוח JavaScript והכלים הרלוונטיים, כדי להשוות בצורה מדויקת בין מצב הבריאות לגרסה הנוכחית. כמו כן, נשתף את האתגרים שעומדים בפני תהליך זה.
לשער האינטרנט
Yabin Kang (LinkedIn)
אפשר לדמות את האינטרנט ולדבר על מערכת מדומה חדשה שנועדה לדמות את כל התנועה היוצאת לבדיקות אינטגרציה ברמת השירות. זהו גם הסבר קצר על הסקירה הכללית של LinkedIn ב הדמיה. חולקים את הידע ואת הידע שלמדנו עם כולם.
בדיקה יעילה של מקלט לתחנת GPS
Andrew Knodt (לוקהיד מרטין)
התחנות הקיימות של ניטור ה-GPS שמשמשות את חיל האוויר קשה לתחזוקה, ונעשה כעת מאמץ להחליף אותן בתחנת רדיו עם האצת תוכנה (SDR) ל-GPU. תוצג סקירה כללית של אתגרי הבדיקה הייחודיים של מקלט GPS המיוחד הזה, יחד עם סקירה של מספר גישות בדיקה. האפליקציה הזו מתמקדת באפליקציית GPS, אבל היא מאפשרת להחיל אותה בקלות במאמצי SDR אחרים בסביבת הייצור.
אוטומציה בגאדג'טים לבישים
Anurag Routroy (Intel)
ככל שהטכנולוגיה לבישה נמצאת במגמת עלייה בשימוש אישי ועסקי, כל החברות שיש להן מקום יציב בשוק Android העבירו את המיקוד שלהן לטכנולוגיה הזו. לכן, היא יוצרת אפליקציות לבישות עם תמיכה לבישה, ומגבירה את המאמץ לבדיקת האפליקציה במכשירים לבישים. לכן יש חשיבות רבה לבנייה של אוטומציה בגאדג'טים לבישים ולגבות את היעילות.
בדיקת אינטגרציה אחידה בין תשתית אינפרה-אדומה (CI) (מתקן העגינה)
Maxim Guenis (Supersonic)
המפתחים מתקשים מדי יום להכין סביבת פיתוח מקומית פעילה לצורך פיתוח, ניפוי באגים ומחזור ההמשך המתמשך.אנחנו יכולים לפתור את זה על ידי שילוב Docker ו נעזרים ב-CI. השילוב הזה מאפשר לשלוט באפליקציות ברמת הערימה במכונות פיתוח, תוך שימוש באותה ערימה בבדיקות השילוב. בדיון זה נדבר על הנושאים הבאים:
- שימוש ב-Docker בבדיקות השילוב של CI
- שליטה בערימה במקום באפליקציה או בעגינה אחת.
- שליטה בגרסאות של סביבות פיתוח ובדיקה, שמופצות בקלות באמצעות כלי git ו-Docker.
- תמיכה חלקה להפעלת Docker ב-Mac וב-Windows.
הסרת ביטים לבדיקה חסרי תועלת
Patrick Lam (אוניברסיטת ווטרלו)
התמחות בטכניקות ניתוח סטטיות לחבילות בדיקה מניבה תוצאות מעניינות. קודם לכן למדנו שרוב הבדיקות הן קוד פשוט - כלומר, רצף הצהרות על הגדרות ואחריו מטען ייעודי (payload) שכולל טענות. אנחנו מראים איך ניתוח סטטי יכול לזהות הצהרות ללא צורך בשימוש, כדי לאפשר למפתחים לפשט ולזרז את השימוש בתרחישים לדוגמה שלהם.
הכיסוי לא מאוד אפקטיבי עם הבדיקה של חבילה
Laura Inozemtseva (אוניברסיטת ווטרלו)
כיסוי של חבילת בדיקה משמש לעיתים קרובות כשרת proxy ליכולת שלו לזהות פגמים. עם זאת, מחקרים קודמים שבדקו את המתאם בין כיסוי קוד לבין יעילות של בדיקת חבילה לא הצליחו להגיע להסכמה לגבי אופי וחוזק הקשר בין המאפיינים של חבילת הבדיקה. בנוסף, רבים מהמחקרים הסתיימו בתוכנות קטנות או סינתטיות, ולכן לא היה ברור אם התוצאות שלהם מכלילות בתוכניות גדולות יותר, וחלק מהמחקרים לא הביאו בחשבון את ההשפעה הבעייתית של גודל בדיקת הבדיקה. הרחבנו את המחקרים האלה על ידי הערכת הקשר בין גודל חבילת הבדיקה, הכיסוי והיעילות של תוכניות Java מציאותיות. המחקר שלנו הוא הגדול ביותר עד כה בספרות. מדדנו את כיסוי ההצהרות, כיסוי ההחלטות וכיסוי התנאים שהשתנו בחבילות האלה, והשתמשנו בבדיקות מוטציה כדי להעריך את יעילותן לאיתור תקלות. גילינו כי יש התאמה נמוכה עד בינונית בין הכיסוי ליעילות של מספר מקרי הבדיקה בחבילה. נוסף לכך, גילינו שצורות כיסוי חזקות יותר לא מספקות יותר תובנות לגבי היעילות של החבילה.
קצה עורפי מזויף באמצעות RpcReplay
מאט גארט (Google)
חשוב מאוד להקפיד על בדיקות מהירות ויציבות. קשה לעשות זאת, כשהשרתים תלויים בכמה קצוות עורפיים. המפתחים צריכים לבחור בין בדיקה ארוכה לבדיקת בדיקות, או לכתוב ולשמור על הטמעות מזויפות. במקום זאת, אפשר להריץ בדיקות בעזרת התנועה המוקלטת מהקצוות העורפיים. כך מקבלים את היתרונות של שני העולמות ומאפשרים למפתחים להיבדק במהירות מול הקצה העורפי האמיתי.
מעבדת אוטומציה לבדיקה של ChromeOS
Simran Basi (Google) ו-Chris Sosa (Google)
מערכת ChromeOS שולחת כרגע יותר מ-60 קופסות/תיבות שונות, ולכל אחת מהן יש תוכנה משלה. בשטח, הלקוחות מקבלים מערכת חדשה כל 6 שבועות. לא ניתן היה לעשות זאת באמצעות בדיקות קפדניות של יותר מ-200 מפתחים. בהרצאה זו תיארנו את הארכיטקטורה הכללית בדגש על מעבדת האוטומציה שלנו לבדיקה. בנוסף, אנחנו מדברים על Moblab (קיצור של שיעור ה-Lab לנייד) – על כל התשתית שלנו לאוטומציה של בדיקות, שפועלת מ-Chromebox אחד. רבים מהשותפים שלנו משתמשים במערכת הזו כדי שגם הם יוכלו להריץ בדיקות.