XRAY for Jira: סוגי הדוחות השונים (בהיי לבל)

ישנם סוגים שונים של דוחות, כאן נעבור על הסוגים השונים בכדי שתהיה לנו אוריינטציה כללית.

אם יהיה ביקוש אעבור על הדוחות עצמם.

XRAY for Jira: מהרפוזיטורי לאקסקיושן

 ה-XRAY, בהיותו בנוי בתוך הג'ירה ויורש של תכונות רבות שלה, הוא גמיש ומאפשר לעשות את אותו הדבר בדרכים שונות.

למשל, כל העניין של יצירת Test Plan וכן Test Execution אפשרי במגוון דרכים (כפתור, תפריט קונטקסט וכד'). קל לאבד את הדרך בשל כך ולעבוד בצורה לא יעילה אם לא מכירים. אגב, המסמכים של XRAY לא בהכרח יביאו את הישועה. אולי כל המידע קיים שם, אבל לא כפלואים, אלא כאוסף של אפשרויות.

בשך כך בניתי סרטון הדרכה שבו ניתן לראות דרך שנראית לי מאוד נוחה שבה ניתן לעשות את התהליך הזה:

מטסט ריפוזיטורי להעביר טסטים לטסט פלן ומשם ליצור טסט אקסקיושן.

XRAY for Jira: Parameterized Tests הסבר על הפיצ'ר החדש (וידאו)

בדיקות פרמטר הן פיצ'ר חדש שהוצג בגרסת XRAY 5. מתוך התיעוד שלהם: "פרמטריזציה של בדיקות היא תרגול רב עוצמה המאפשר לבצע אותה בדיקה מספר פעמים עם פרמטרים שונים. פרמטרים דומים לערכי קלט (משתנים) שיכולים להשתנות עם כל ביצוע ". יצרתי 2 סרטוני הסבר קצרים.

חלק ראשון - פרמטרים רגילים:

חלק שני - פרמטרים קומבינטוריאלים:

מיגרציה מ-Quality Center ל-Jira חלק ראשון: אסטרטגיה

הגיע היום גם אצלנו לעבור מה-Quality Center, להלן QC, שהיה בעבר של מרקיורי, אח"כ של HP וכיום של מיקרופוקוס, לג'ירה.

הסיבה המרכזית למעבר היא שהג'ירה כשלעצמה, ובוודאי בסיוע של שאר הכלים של חברת Atlassian כמו ה-Confluence וה-Bitbucket, הולכת ותופסת מקום מרכזי בניהול פיתוחי תוכנה בארץ ובעולם. הג'ירה היא בעצם מקום אחד שבו ניתן לנהל, בעיקר עם חיבור לשאר הכלים שציינתי, את כל מחזור חיי הפיתוח.

בנוסף, ה-QC מיושן גם בראיית העולם שלו (הארגיון שלי עבר לאג'ייל לא מזמן) וגם בניראות שלו. ולבסוף, ממילא צריך לקנות רישיונות לכולם בג'ירה, אז למה לבזבז רישיונות גם ל-QC?

מצד שני, אין ספק שה-QC כמערכת בעל יותר יכולות מאשר לג'ירה, ותמיד קשה לעבור בין כלים.

כאחראי על מתודולוגיות ה-QA בארגון והמנהל של רוב הכלים שציינתי למעלה (חוץ מה-Bitbucket) אני מוביל את התהליך הזה. דבר ראשון הקמתי פורום של בודקים ומפתחים שיעזרו לי במעבר, ויתנו לנו ראיית עולם רחבה יותר. זו רק יומרנות והיבריס לחשוב שאני אראה את כל הבעיות והפתרונות בעצמי בלבד. פורום זה למשל קבע אילו שדות נעביר ואילו לא (ראו להלן).

חשוב להבין שהמערכת בארגון שלנו היא מאוד מורכבת (הכי מורכבת שאני עבדתי בה בעשרות שנותי בתחום) וזה משקף על הכלים שאנו עובדים בהם, כולל על ה-QC. כלומר סדרת המאמרים רלוונטית לכל הארגונים, מכאלה שתהליך העבודה והמוצר פשוטים יותר עד לאלו המורכבים ביותר.

חלק ראשון: אסטרטגיה

החלטנו על מעבר בשתי פעימות: דיווחי הבאגים קודם, כיוון שזה קל יותר וחשוב לכל הארגון, והטסטים וניהולם אח"כ. כתבה זו והבאות אחריה מוקדשות תחילה לבאגים.

מבחינת תוכן המעבר החלטנו שלא כל דיווחי הבאגים יעברו, אלא רק מה שמעניין - כלומר שיש לפתור, או שהוא לימיטציה שחשוב לזכור או באמצע תהליך (לימיטציות הוא תהליך שמנוהל אצלנו ב-QC) או שייך לגרסאות "חיות". לא נעביר באגים היסטוריים רק לשם שמירה עליהם. בנוסף נשאיר יוזר ל-QC ותמיד נוכל לעשות מיגרציה לבאגים אחרים שחשובים לנו.

נקודה זו היא גם בעלת ערך לבדיקת דברים אחרים שאנו מיישמים לאורך השנים ואולי לא רלוונטיים היום או שאולי יש פתרונות חדשים או אולי פשוט ראיית עולם שהשתנתה. ואני מתכוון ל-workflow ולשדות שיש למלא בכל דיווח.

ה-QC נמצא אצלנו בשימוש שנים רבות שבמהלכם ערכנו שינויים רבים למערכת, כמו שינויי קוד, שימוש במאות רשימות חלקן מקושרות וכד'.

אז כמו שלא נעביר את כל הבאגים לא נעביר את כל השדות.

ריכזתי ב-Confluence את כל סוגי ה-defects שיש לנו, את כל הפרוצדורות וה-workflows שאנו משתמשים בהם.

הבנו שלא פחות חשוב מכל אלה הם הדוחות. ב-QC יש דוחות מובנים לא רעים בכלל, ודוחות אקסל שניתן ליצור בעזרת SQL. הג'ירה די עלוב ביחס, ויש צורך באד-אונים שהם יקרים ולא תמיד נוחים או קלים למימוש. לקבלת עזרה בדוחות (ואח"כ בתחליפים לניהול הבדיקות) שכרנו את חברת מאטריקס שיעזרו לנו, בתור חברה שמייצגת את אטלסיאן וגם ניהלה כמה מעברים כאלה בעבר.

בחלק הבא נעסוק בחלק היותר טכני של המעבר.

כמה טיפים לעבודה עם מכונות וירטואליות

מה זו מכונה וירטואלית?

מכונה וירטואלית זו בעצם תוכנה שמתקינים על מחשב והיא מחקה מערכת הפעלה שלמה. דבר זה יכול לעורר חוויה של שימוש במערכת הפעלה אמיתית, כזו שמותקנת על המחשב הפיזי עצמו.

ניתן להשתמש במכונות וירטואליות בשרתים, כך ששרת חזק אחד מריץ כמה שרתים שונים במקביל (למשל אחד מהשרתים הווירטואליים יכול להיות לינוקס, אחר יריץ חלונות וכד').

בנוסף ניתן להריץ לצרכים אחרים גם על מחשבים אישיים, למשל - כמו בשרתים - מערכת הפעלה שונה (אצלנו בחברה יש כמה שמריצים חלונות על מק משום-מה). זה יכול להיות נחמד גם במקרה שלא רוצים להתקין תוכנות מסויימות על המחשב עצמו בגלל שהן מסוכנות ועוד, בעצם להשתמש בו כ-sandbox.

בבדיקות דסקטופ השימוש במכונות וירטואליות, להלן VM או Virtual Machine, הוא נרחב ושימושי מאוד.

יש מספר חברות שמייצרות VMs, אני מכיר יותר את VMware אבל רוב הטיפים להלן נכונים לכולם.

VMware באה עם גרסה חינמית שבה תמיד אפשר לחזור לנקודה הראשונית, וגרסה בתשלום שבה ניתן לשמור כמה snapshots (כלומר שמירה של מצב מסויים) שרוצים.

הנה דוגמא לעץ של snapshots שנשמרו במכונה וירטואלית המדמה ווינדואוס 10. ניתן לבחור להפעיל כל אחד מה-snapshots בעץ ללא קשר למיקומו

בסביבת בדיקות טובה הבודקים בד"כ מחוברים לשרת עם מכונות וירטואליות. מכונות אלה מייצרות סביבות לבדיקות ידניות ואוטומאטיות.

ניתן להכין מערכות הפעלה מקבצי ISO.

  

טיפים לשימוש: 

1. מכיוון שלאט לאט נוצר עץ מסועף, אם בשלב מאוחר ניזכר שיש כלי שאנו צריכים בכל הבדיקות, אנו נאלץ להתקין אותו על כל snapshot שנפתח. לכן חשוב מאוד להתקין על ההתחלה את כל הכלים אנו יכולים לחשוב עלים, עדיף להתקין יותר ממה שצריכים בהתקנה אחת מאשר הרבה פעמים מאוחר יותר. למטה ריכזתי מספר רעיונות.

2. אם מריצים מכונות במחשב האישי, הוא צריך להיות חזק, ומאוד מומלץ להשתמש בכונני SSD.

3. השתמשו כמה שיותר ב-snapshots בזמן הבדיקות. לפעמים יש באגים שרק בעזרת שמירה העל snapshot יהיה ניתן לשחזר!

למשל: אתם מבצעים סנריו מסויים: התקנה, פתיחה של המוצר, פעולות מסויימות וכד'. אחרי כל כמה פעולות, שמרו snapshot, למשל כאשר הסביבה להתקנה מוכנה, כאשר ההתקנה הסתיימה וכד'. ייתכן שתעלו על באג מסויים כיוון שביצעתם פעולה לא מודעת, או שהמחשב עצמו ביצע משהו, ולא תדעו מה ולא תצליחו לשחזר לעולם.

בנוסף, אם אתם רוצים לנסות לשחזר באג בפעולה מסויימת, אתם פשוט תחזרו למצב שלפני ביצוע הפעולה ולא תתקינו מחדש כל פעם.

יצא לי לעבוד עם מישהו שגם נהג להכריז בקולות שהוא מצא באג כזה או אחר מבלי לבדוק את עצמו, וגם לא שמר snapshots. היה די מתסכל לשבת לידו דקות ארוכות כשהוא מתחיל בהעברת קובץ ההתקנה למכונה הוירטואלית, מתקין, לא מצליח לשחזר, ומתחיל שוב.

4. קרה משהו? אתם לא בטוחים אם כן או אם לא - תשמרו snapshot. לדעתי כל באג מלבד הברורים מאליהם צריך להישמר ב-snapshots לפחות עד לתיקונו (בכדי שיהיה מקום שהמפתחים יוכלו לדאבג).

5. מצד שני כל snapshot יתפוס לכם מקום, אז מידי פעם תמחקו את מה שאתם לא צריכים.

6. שמות משמעותיים ל-snapshots. אף אחד לא יזכור מה 59snapshot אומר.

7. כן, נדיר אבל אפשרי שיהיה מצב שה-VM לא מתנהג בדיוק כמו PC ובאג שנמצא שם אינו אמיתי. נדיר, אבל תדעו שאפשרי.

8. לכו להגדרות. יש שם דברים חשובים שאפשר לקנפג כמו זיכרון (הגדלה והקטנה), רשת (גישה ישירה או לפי הקונפיגורציה של המחשב) ועוד.

9. אפשר להסריט מתוך ה-VM וגם לצלם את המסך.

10. שימו לב לאייקונים למעלה - הם יכולים להועיל. 

When you have a new Image, this is what you want to install to prepare for the tests to come:

1. If you don't have a user with admin rights or a user with user rights, create them (start, right click on computer, manage, local users).

2. If you want a set that the users will not require passwords.

3. Login to the user, open the browsers, log off and relogin to the admin.

4. Make sure the VM configurations are set to get OS updates. From time to time update the OS.

5. Install any tool you think you might need, for example: install fiddler, install 7zip.

6. Set on the desktop or in windows explorer shortcuts to any directory you know that are going to use in the tests.

7. Save a snapshot.

8. If you use different divisions (for example one with IE & Firefox, one with IE and Chrome save them now.

קישורים מעניינים:

How to Install and Use VMWare Virtual Machine in Software Testing

מכונות וירטואליות בוויקי

ביקורת מוצר: KeyNote

המוצר - או נכון יותר השירות - הזה, הkeynote (http://www.keynote.com/), מיועד בעצם למי שאחראי על אתר וחשוב לו שהאתר יהיה זמין 24X7, יעלה במהירות סבירה ומכל העולם.

יש שני שלבים עיקריים בתפעולו:

1.      מורידים תכנה בשם KITE (http://kite.keynote.com/).

2.      מקליטים סנריו וובי בסיסי על דפדפן מבוסס אקספלורר או דפדפן פרופרייטי שלהם. למשל: פתיחת האתר, ביצוע חיפוש, מעבר לכמה עמודים. שומרים את הסקריפט אחרי שמוודאים שהוא אכן עובד.

3.      אח"כ מקימים חשבון בכתובת http://my.keynote.com ונכנסים ל-dashboard. משם לטאב ה-test, מעלים את הסקריפט ומריצים אותו. גם בגרסה הזו יש נתונים מעניינים אך היא כמובן מוגבלת מבחינת המיקומים מהם בוחנים את האתר (יש חמישה) ומבחינת המידע וכמובן שלא ניתן לתזמן את זה.

עד כאן בחינם.

השירות המלא כולל בתוכו את הדברים האלה:

רשימה ארוכה של מיקומים מהם ניתן לבדוק וכן רשימה של ISP.

מדידות מדוייקות כמו למשל: זמן התנסות המשתמש (זמן טעינת הדף), זמן התקשורת וכמה זמן לוקח כל חלק בה (חיפוש DNS, הורדת הבייט הראשון / האחרון), כמה זמן לקח לכל אובייקט לרדת ועוד.

alarms: די מפורט: למי, אחרי כמה זמן ואנשי קשר נוספים במדה והאדם שהוא הברירה הראשונה אינו מגיב.

דוחות: די מפורט, ויש גם "כפתור בוס": אם יש זמן שהאתר לא מגיב אפשר לסמן אותו כ"תחת תחזוקה" וזה לא ייכנס לדוח, אם זה מעניין מישהו.

דוגמא לדוח. אפשר לבחור בנקודה ולקבל מידע רלוונטי.

חסרונות:

א.      הכלי שמייצר את הסקריפטים מאוד מוגבל. למשל אין כפתור back ולכן יש להשתמש ב-back של המקלדת. בנוסף יש אובייקטים שהוא לא מזהה - למשל DIV. אם רוצים לוודא שאובייקטים מסויימים קיימים/עולים בדף צריך קינפוג נוסף.

ב.      ה-alarms לא מגיעים ב-S.M.S. וגם היום זהו חסרון.

ג.       המחיר. למשל לחודש של בדיקה של עשרה עמודים פעם בשעה מחמישה מקומות (2 ארה"ב, 2 אירופה ואחד המזרח הרחוק) משלמים 431$. ברור שזה לא מספק כי אתה רוצה לדעת בזמן אמת שיש בעייה בשירות, ואולי ליותר דפים. למשל ל-20 דפים כל 5 דקות אפשר לעבור את ה-3k וזה בלירות שטרלינג.

ד.      אין תמחור אחיד – צריך לדבר עם אנשי מכירות.

סיכום:

לא בדקתי מתחרים וכד'. דבר אחד ברור – זה לא כלי שמיועד לדיווח בזמן אמת אם יש בעייה באתר אבל יעיל לדעת איך מתנהג האתר שלך כשאתה לא מסתכל.

ביקורת תוכנה: פיירוול של קומודו

קומודו היא תוכנת פיירוול שבאה גם בגרסה חינמית.
יש פונקציונלית רבה ודברים מעניינים שאפשר לעשות איתה, מעבר להגנה שלה, הנה רק קמצוץ:
א. אחרי ההתקנה אתה יכול לראות בדיוק אילו תהליכים / אפליקציות פונות לרשת, ולחסום פרטנית כל גורם כזה.
ב. אפשר לחסום SUT ברמה של חסימה כללית, או חסימה של פורטים מסויימים. יכול להיות מאוד מועיל אם למשל רוצים לחסום פורט ספציפי ולראות שה-SUT פונה אוטומאטית לפורט אחר.

ביקורת תוכנה: net limiter 2 PRO

האם אתם שואלים את עצמכם איך יתנהגו האתר או התוכנה שלכם בזמנים קשים, כלומר כשיהיו בעיות בתקשורת? האם האתר או התוכנה יתפקדו כמו שהם אמורים: יתנו הודעה מתאימה? ינסו להתחבר מחדש? ישמרו את הנתונים?
פתרון מלא הוא כנראה מערכות כמו שונרא, אך אלו יקרות.
אחד הפתרונות הפשוטים הינו ה-net limiter. תוכנה פשוטה בכ-30$ שתצר ותרחיב את הרשת לפי פקודה.
אפשר לראות את כל החיבורים ואת ה-bandwidth של כל חיבור כזה. אפשר להצר את הכניסה או את היציאה של רוחב הפס פר תוכנה עד פרוסס וכד'.
אפשר לקרוא עוד באתר שלהם - העניינים די פשוטים.
התוכנה הזו אינה מיועדת לבדיקות, או רק לבדיקות, אלא גם לשימושים אחרים של שליטה בגישה לרשת של האפליקציות שלך.
אין כאן שליטה על פרוקסים או סצנריו אוטומאטי של עלייה וירידה בפס, לכן היא יכולה להואיל לדברים מאוד נקודתיים.

ביקורת כלי: Cookie Editor - עורך קבצי "עוגיות"

התוכנה הזו, Cookie Editor, ניתנת להורדה בחינם אבל בעיקרון היא למכירה בסכום של 12$.
אפשר לבחור לראות את העוגיות של שני הדפדפנים שהיא תומכת בהם (לחילופין): האקספלורר והפיירפוקס.
היא מאפשרת בין היתר:

• לראות את על ה"עוגיות".
• לזהות אותן.
• למחוק אותן.
• לראות את התוכן שלהן: האם המידע שאמור להיות מוצפן אכן מוצפן וכד'.
• לערוך אותן. למשל: אם יש פרמטר עם חמישה ערכים אפשריים ניתן להכניס פרמטר אחד אחרי השני ולבדוק את התנבגות האתר ללא שימוי ב-GUI; אפשר להעריך את התוקף שלהן.

מי שצריך לערוך עוגיות של אדובה, הרי הקישור הבא:
http://www.macromedia.com/support/documentation/en/flashplayer/help/settings_manager07.html
או תוכנה בשם Sol editor.

המלצה לכלי: HTTP WATCH

Http watch הוא לדעתי כלי חובה לכל בודק ומפתח ווב.
זוהי ההגדרה שלו - מתוך האתר:

HttpWatch is an integrated HTTP sniffer for IE and Firefox that provides new insights into how your website loads and performs

הוא בעצם תוסף שמתלבש על הדפדפן וניתן להפעיל אותו לפי שיקול דעת.

מה שהוא עושה בעצם הוא להציג כל קריאה או כל תעבורה מהדפדפן לכל מקום אחר. זהו אינו סניפר כמו הויירשארק שבודק את כל התעבורה, אלא ספיציפית של הדפדפן ברמת הפרוטוקל HTTP.

הוא נוח לעבודה, מכיל אפשרות מתקדמות לפילטורים, חיפושים ושמירת התוצאות.

מה אפשר לעשות איתו?

הנה רק כמה דוגמאות:

• אם עוברים מסביבה לסביבה (למשל מסביבת פיתוח לסטייג'ינג) ורוצים לוודא שאין קריאות לסביבה הלא נכונה, פשוט מפעילים פילטור לפי הסביבה של הפיתוח. עם רואים נתונים זה אומר שיש באג.
• פילטור לפי תשובות של השרת המצביעות על שגיאות: error 500 וכד'. לא תמיד השגיאה נראית לעין ולכן כלי זה חשוב.
• אם יש שגיאה ספציפית של אובייקט מסויים אפשר להעתיק את הכתובת שלו ולנסות בטאב אחר בכדי לחקור את הבעייה.
• אפשר לראות דברים מעניינים בטאבים התחתונים למשל שימוש בקוקיס, פירוט של שגיאות ועוד.
• קריאות מיותרות לשרת שמקשות על התעבורה ועל בסיס הנתונים.
• 
  
  משקל של כל אובייקט.
• 
  
  מהירות הטעינה.

לטייל בעולם בלי לקום מהכיסא: המלצה על פרוקסי (Proxy)

מי שהאתר שלו פונה לעולם, ובעיקר אלה שיש להם פרסומות מבוססות מיקום, יודע שחובה עליו לבדוק איך האתר נראה ופועל במגוון פרסומות (השונות ממדינה למדינה). ואם מקבלים תלונות של אנשים בעולם על בעיות, צריכה להיות דרך לשחזר אותן.
מכיוון שבד"כ המנהלים שלנו לא יממנו לנו נסיעה לארצות הללו, עלינו להשתמש בשרתי פרוקסי. מה זה אומר? זה אומר שכל התעבורה שלך מול הרשת עוברת דרך מחשב אחר, שרת, שיושב במדינה שממנה אתה רוצה לבדוק את האתר. מבחינת כל המקומות (או רובם!) אליהם תיגש אתה תזוהה כאילו המחשב שלך יושב במדינה בה בעצם הפרוקסי יושב.
מי שרוצה להבין יותר לעומק איך יודעים אם אתה יושב באנגליה או בישראל, הנה ההסבר: ברגע שאתה מחובר לרשת אתה מקבל מספק הרשת שלך כתובת חד-חד ערכית, שהיא בעצם קבוצה של ארבעה מספרים, שכל אחד מהם יכול להיות עד שלש ספרות. למשל: 162.15.28.1. הכתובת יכולה להיות קבועה או משתנה, אבל זה לא קשור לרשומה הזו.
הכתובת שקיבלת היא ממאגר כתובות שהולכות לפי המדינה בה אתה נמצא, וככה שרתים אחרים יכולים לדעת שאתה ישראלי.

יש ברשת כמה אפשרויות. למשל אפשר למצוא רשימות של פרוקסים חינמיים, אבל בד"כ הן לא שוות את המאמץ ואולי אף מסוכן להשתמש בהן..
פרוקסי אחד בתשלום שאפשר לסמוך על האמינות שלו הוא http://www.xroxy.com/. אפשר לבחור מכמה מיקומים ואז לשלם בתשלום קבוע אחד, וללא הורדת תוכנה.
אבל הפרוקסי הטוב ביותר שגיליתי עד כה הוא זה: http://www.hidemyass.com.
באתר יש אפשרות להתנסות איתו מתוך האתר, ולדעתי זו טעות כי אם קונים את השירותים שלו מקבלים משהו אחר לגמרי והרבה יותר טוב: זהו חיבור VPN למגוון רחב של שרתים הממוקמים בכמה מדינות בארה"ב, קנדה ואירופה. ניתן להתחבר למיקום ולהחליף כתובת IP ידנית או בכל פרק זמן מסוים שאתה קובע.
אגב יש להוריד תוכנה בכדי שזה יעבוד.
החסרון שלו הוא שיש כמה פעולות שלפעמים אי-אפשר לבצע. במקרה שלי: הרשמה לאתר. אבל שוב - בסה"כ הוא עושה את העבודה.
חסרון אחר: כל העבודה שלך היא מול הפרוקסי, ולא רק שימוש בדפדפן מסוים.

כמה טיפים כלליים בשימוש בפרוקסי בכלל:
כשמשנים את ההגדרות ב-Internet Explorer בכדי להתחבר לפרוקסי, בעצם כל המחשב עובד מול הפרוקסי. לעומת זאת ב-Firefox ניתן לשנות כך שיעבוד רק בשימוש בו.
אם אתם עושים שינויים באתר שלכם ולא רואים את השינוי ייתכן שאובייקטים מסויימים נשמרים ב-קש של הפרוקסי בכדי לחסוך לו זמן טעינה.
העבודה עם פרוקסי בד"כ איטית יותר בגלל התיווך.
בשביל לבדוק שאתם מחוברים ממקום אחר: http://www.ip2location.com/.
כדאי אחרי ההתחברות לסגור ולפתוח את הדפדפן מחדש - ליתר ביטחון.

Hide my ass!

כמובן שניתן לעשות דברים נוספים בעזרת הפרוקסי שלא קשורים לעבודה, אבל זה איננו מענייני :)

חידה: מי יודע מאיזו מדינה ה-IP הזה: 127.0.0.1?