DATA Analytics בסביבת MATLAB

למידע ופרטים נוספים מלאו ושלחו את פרטיכם, ואנו נחזור אליכם בהקדם:


    מה חדש בסביבת Simulink בגרסת R2021b?

    0 תגובות
    /
    Simulink היא סביבה מולטי דיסציפלינרית שמאחדת תחומים רבים, החל מהנדסת מערכת, דרך תכן וייצור קוד ועד בדיקות. בגרסה R2021b התווספו יכולות רבות, ובפוסט זה נתמקד בעיקריות שבהן.
    המשך קריאה...
    וובינרים מוקלטים לצפייה בנושא Deep Learning

    MATLABראיה ממוחשבת באמצעות Deep Learning בסביבת MATLAB

    למידה עמוקה (Deep Learning) היא ענף של למידת מכונה (Machine Learning), והיא נושא מאוד חם בימינו.

    הטכניקה הזו, למידה עמוקה, יכולה ללמוד ייצוגים שימושיים של פיצ'רים ישירות מתוך תמונות, טקסטים וקול – דבר המקנה לה יתרונות רבים.

    הלמידה הנ"ל מתבצעת באמצעות שימוש ב-Convolutional Neural Network – או בקיצור – CNN – שזה סוג של רשת עצבית.

    ה-CNN מאומנת עם אוסף גדול של מידע, אשר בעזרתו הרשת לומדת ייצוגים עשירים של פיצ'רים, אשר מניבים ברוב המקרים תוצאות טובות יותר מאלה שמניבים הפיצ'רים המסורתיים.

    שימוש ב-CNN בתור מחלץ פיצ’רים
    ביצוע FINE TUNING לרשת מאומנת (TRANSFER LEARNING)
    תכנון רשת ואימון שלה
    גילוי אובייקטים בשיטת R-CNN
    אתגרים בעבודה עם DEEP LEARNING
    קישור שימושי ומידע על כלים שימושיים

    What is Deep Learning

    סיווג חיה ל"כלב" או "חתול" בעזרת שימוש ב-CNN בתור מחלץ פיצ'רים

    סיווג חיה ל"כלב" או "חתול" בעזרת
    שימוש ב-CNN בתור מחלץ פיצ’רים

    שימוש ב-CNN בתור מחלץ פיצ’רים

    נניח שאנחנו רוצים לסווג תמונה לאחת מבין אופציות כמו כלב, ילד, אופניים וכו'. הגישה הסטנדרטית של למידת מכונה היא קודם כל לחלץ פיצ'רים מעניינים מתוך התמונה – כמו edge-ים, פילוג צבעים וכדומה – וזה שלב הכרחי כיוון שאלגוריתמי לימוד מכונה סטנדרטים לא יודעים לפעול ישירות על תמונה, הם מתעלמים לחלוטין מהמבנה של תמונה. בשלב הבא – מתבצע הסיווג של התמונה, בעזרת מסווג אשר נבנה קודם לכן על סמך תמונות האימון.

    בגישה של למידה עמוקה, לעומת זאת, נותנים לאלגוריתם ללמוד את הפיצ'רים אוטומטית מתוך התמונות, מפיצ'רים Low Level גנריים כמו edge-ים ופינות, ועד לפיצ'רים ספציפיים לבעיה. כלומר, אלגוריתמי הלמידה העמוקה לא יודעים לבצע רק את הסיווג, אלא הם גם יודעים ללמוד כיצד לחלץ פיצ'רים ישירות מתוך התמונות, וכך הם חוסכים את הצורך בחילוץ ידני של הפיצ'רים, ובעצם מממשים למידה מקצה לקצה (End to End).

    אחת מדרכי העבודה בתחום הלמידה העמוקה היא להשתמש במודל CNN שכבר מאומן עבור בעיה מסוימת, בתור מחלץ הפיצ'רים האוטומטי לבעיה שלנו (אפילו שמדובר בבעיה אחרת, אולם רצוי שהבעיות לא יהיו מעולמות זרים מידי). זו דרך קלה לנצל את הכוח של CNN מבלי להשקיע זמן ומאמץ באימון שלהן "מאפס". בגישה זו, אין צורך במאגר גדול של תמונות עם Label-ים עבור האימון של המסווג, כמות החישובים נמוכה, ומשך האימון של המסווג יעמוד על שניות או לכל היותר – דקות – גם ללא שימוש בכרטיס המסך (GPU) של המחשב.

    כדי לחלץ פיצ'רים באמצעות מודל CNN מאומן, ניתן להשתמש במגוון Community Packages משלימים לביצוע למידה עמוקה המתממשקים עם סביבת MATLAB, דוגמת MatConvNet ו-Caffe, אך נוח יותר לבצע את התהליך תוך שימוש בכלי Neural Network Toolbox. כלי זה – אשר באופן כללי מיועד למי שמחפש פונקציות ו-Apps בסביבת MATLAB ליצירה של Neural Networks, אימון, הצגה וסימולציה שלהן – מגרסת R2016a יכול מאוד לעזור לאלה מכם שרוצים לבצע למידה עמוקה עבור משימות של ראיה ממוחשבת. חילוץ הפיצ'רים באמצעות מתודת activations של הכלי ניתן לביצוע תוך שימוש ב-CPU בלבד (החל מגרסת R2016b) או תוך שימוש ב-GPU (מצריך גם את כלי ה-Parallel Computing Toolbox וכן כרטיס מסך תומך CUDA תוצרת nVIDIA בעל Compute Capability של 3.0 ומעלה). שימו לב שהחל מגרסת R2016b ניתן לחלץ פיצ'רים מתוך תמונות בעלות גודל שונה מאלה אשר שימשו לצורך אימון ה-CNN.

    כעת, לאחר שחולצו פיצ'רים, ניתן לאמן בעזרתם מסווג למידת מכונה מסורתי, למשל באמצעות ה-App שנקרא Classification Learner, שמאפשר לאמן ולהשוות כל מיני מודלים בצורה אינטראקטיבית, ואשר מהווה חלק מתוך הכלי Statistics and Machine Learning Toolbox.
    (ראו פרק "סיווג" בקישור הבא – לחצו פה).

    היתרונות בשיטה הנ"ל הם שהיא חוסכת את הצורך להשתמש בכמות גדולה של תמונות עבור תהליך האימון, ובשל כך – זמן האימון קטן משמעותית (כמובן תלוי במידת הדמיון בין הבעיה המקורית והבעיה החדשה).

    כיום ניתן לטעון לסביבת MATLAB בקלות (שורת קוד אחת) מודלים מפורסמים ומוצלחים כמו alexnet, vgg16, vgg19, googLeNet, ResNet50, ResNet101 ו-Inception-v3 וכן לייבא רשתות מסביבות כמו Caffe ו-TensorFlow-Keras (וכן מ-PyTorch באמצעות המרה כפולה). את הרשתות הללו ניתן לערוך בצורה פשוטה לצורך ביצוע Transfer Learning.

    ביצוע Fine Tuning לרשת מאומנת (Transfer Learning)

    Transfer Learning הינה שיטת עבודה מאוד נפוצה באפליקציות של Deep Learning. הרעיון שעומד מאחוריה הוא שבמקום לאמן רשת "מאפס" (האייטם הבא) או להשתמש ברשת מאומנת רק לצורך חילוץ פיצ'רים שיוכנסו למסווג שאותו נאמן (האייטם הקודם), ניתן לקחת רשת שאומנה על אוסף גדול של תמונות (כמו מאגר ImageNet), ולבצע לה התאמה (Fine Tuning – שינויים קטנים למשקולות) כדי שאפשר יהיה לפתור בעזרתה בעיית סיווג או גילוי חדשה. הרי הרשת המאומנת כבר למדה סט עשיר של פיצ'רים, אשר ניתן ליישום על מגוון רחב של תמונות, אז מדוע לא להעביר את הידע שנרכש (הלמידה) לצורך ביצוע משימה חדשה?

    כעת, כשהרשת מוגדרת, ניתן להגדיר גם את הגדרות האימון באמצעות הפונקציה trainingOptions (למשל, אפשר להגדיר מה המספר המרבי של Epochs – שהוא המספר המרבי של מעברים מלאים על כל סט האימון, לשלוט על פרמטר ה-initialLearnRate וכו').

    וכאשר הכל מוכן – אפשר להתחיל בתהליך האימון באמצעות הפקודה trainNetwork (מצריך גם את כלי ה-Parallel Computing Toolbox וכן כרטיס מסך תומך CUDA תוצרת nVIDIA בעל Compute Capability של 3.0 ומעלה), ולצאת להפסקת קפה…

    תכנון רשת ואימון שלה

    CNN מורכבת משכבות (כל שכבה מגדירה חישוב ספציפי), והחל מגרסת R2016a כלי ה-Neural Network Toolbox מספק פונקציונליות לתכנן רשת בקלות שכבה-אחר-שכבה ולאמן את הרשת. למשל, בעזרת הפקודה reluLayer אפשר להוסיף שכבת Rectified Linear Unit אשר מוסיפה אי-לינאריות (הופכת לאפס ערכים שליליים). שכבת ה-Convolutional, אשר מגדירה סטים של משקולות לפילטרים שמתעדכנות במהלך תהליך האימון, ניתנת להגדרה בעזרת הפקודה convolution2dLayer. את שכבת ה-Max Pooling, שמבצעת Downsampling למידע הזורם ברשת, ניתן להגדיר עם הפקודה maxPooling2dLayer. וכמובן שעומדות לרשותכם גם פקודות להגדרת יתר השכבות ברשת.

    גילוי תמרור עצור בשיטת R-CNN

    גילוי תמרור עצור בשיטת R-CNN

    גילוי אובייקטים בשיטת R-CNN

    Regions Proposal + CNN, או בקיצור – R-CNN, זו שיטה לגילוי אובייקטים שמשתמשת ב-CNN כדי לסווג אזורים בתמונות. באופן כללי – האלגוריתם, בשלב הראשון, מציע כל מיני אזורים מעניינים בתמונה. בשלב השני – הוא מכניס כל איזור לתוך CNN מאומן, כדי לחלץ פיצ'רים. ואז בשלב השלישי – הוא מכניס את הפיצ'רים של כל איזור למסווג, כדי לקבוע מה יש בו. ומכיוון שאנו לא מסווגים כל איזור אפשרי (כמו שהיה קורה עם Sliding Window לדוגמה), אלא נותנים לגלאי לעבד רק אזורים אשר סביר שיכילו אובייקט – זה מקטין משמעותית את הסיבוכיות החישובית.

    בגרסת R2016b נוספה לכלי ה-Computer Vision System Toolbox הפקודה trainRCNNObjectDetector אשר בעזרתה ניתן לאמן גלאי אובייקטים בשיטת R-CNN (הפקודה מחייבת רישיונות לכלים Statistics and Machine Learning Toolbox, Parallel Computing Toolbox ו-Neural Network Toolbox, וכן כרטיס מסך תומך CUDA תוצרת nVIDIA בעל Compute Capability של 3.0 ומעלה או מחשב בעל מספר cores). כמו כן, נוספה לכלי מתודת detect אשר פועלת על הגלאי ומחזירה את ה-bounding box של האובייקט, ציון בין 0 ל-1 שנותן מדד למידת הביטחון בגילוי (אפשר להחליט שמתעלמים מגילויים שהציון שלהם נמוך), ו-Label לכל גילוי (שימושי כאשר מנסים לגלות מספר אובייקטים – תמרור עצור, תמרור תן זכות קדימה, תמרור מגבלת מהירות וכדומה).

    לסיום, יצוין שכיום גם ניתן לאמן גלאים בגישת Fast RCNN ובגישת Faster RCNN.

    אתגרים בעבודה עם Deep Learning

    עבודה בגישת למידה עמוקה יכולה להיות די מאתגרת, וסביבת MATLAB מספקת סט גדול של כלים ואסטרטגיות אשר נותן מענה לחלק ניכר מהאתגרים בהם אפשר להיתקל:

    אלגוריתמים המכילים מרכיבים נוספים פרט ללמידה עמוקה

    אלגוריתמים המכילים מרכיבים נוספים פרט ללמידה עמוקה – פעמים רבות הלמידה העמוקה היא רק חלק ממשימה גדולה יותר. למשל, באפליקציות מעולם הראיה הממוחשבת, לפני שמסווגים אובייקט ל-Label מסוים, בכלל צריכים לאתר אותו, לבצע פעולות עיבוד לתמונה וכו'. סביבת MATLAB, כפלטפורמה המאגדת עשרות כלים ממגוון תחומי יישום – מאפשרת לשלב בקלות את מרכיב הלמידה העמוקה כחלק מהאלגוריתם הכללי השלם.

    הפצת התוצאות

    הפצת התוצאות – לעתים קרובות משימות ה-Deep Learning אינן מבוצעות רק לשם מחקר, אלא יש רצון לייצר אלגוריתם עצמאי לאחר בניית המסווג/הגלאי. בעזרת כלי ה-MATLAB Compiler/SDK, החל מגרסת R2016b ניתן לייצר EXE/DLL מתוך פונקציונליות הלמידה העמוקה של סביבת MATLAB, ולהפעיל את התוצר על מחשבים בהם לא מותקנת תוכנת MATLAB.

    תיוג

    מלאכת התיוג של תמונות לצורך אימון גלאים יכולה להיות ארוכה ומתישה. סביבת MATLAB מאפשרת ביצוע תיוג בצורה נוחה בעזרת ממשקים גרפיים דוגמת ה-Image Labeler, המאפשר לסמן בקלות את אובייקטי העניין – בצורת תיבה ואפילו ברמת הפיקסל (לצורך ביצוע Semantic Segmentation). ממשק ה-Ground Truth Labeler מאפשר לנצל תלות בין פריימים בסרטון וידאו לצורך תיוג מהיר של אובייקטים בפריימים עוקבים.

    מימוש על חומרה

    הורדת הרשת המאומנת אל חומרת-יעד היא משימה המצריכה ידע בשפת החומרה. בעזרת כלי ה-GPU Coder שהושק בגרסת R2017b ניתן כיום לבצע אוטומציה לתהליך, ולהמיר בצורה קלה ומהירה קוד MATLAB לקוד CUDA (להרצה על כרטיסי GPU של חברת nVidia) או לקוד C (להרצה על מעבדי Intel או פלטפורמות Arm).

    טעינת המידע וניהולו

    טעינת המידע וניהולו – באפליקציות מעולם הראיה הממוחשבת, נדרשים לרוב לטעון ולנהל סטים מאוד גדולים של תמונות, עם ה-Labelים שלהם. על מנת להתמודד עם המשימה, מומלץ להשתמש בפקודה imageDataStore וכן להיעזר בפונקציות splitEachLabel ו-countEachLabel.

    סיבוכיות חישובית

    סיבוכיות חישובית – בניה של אלגוריתם למידת מכונה יכולה להיות מאוד תובענית מבחינה חישובית, והרבה פעמים צריך לדעת כיצד לעבוד עם GPU (או מספר GPUs) על מנת להאיץ את תהליכי הלימוד באמצעות יכולות עיבוד מקביליות . בסביבת MATLAB השימוש ב-GPU די אינטואיטיבי ולעתים אפילו "שקוף", כך שלא נדרשת היכרות עם חומרה זו לצורך קבלת שיפור בזמני הריצה.

    Trial and Error

    Trial and Error – ברוב המקרים לא מצליחים למצוא פתרון לבעיה "על הניסיון הראשון", ונדרש לבצע מספר איטרציות עד ההתכנסות לפתרון הנכון. סביבת MATLAB מקלה על ביצוע איטרציות שכאלה, למשל – קל לבחון מגוון מסווגים באמצעות ה- Classification Learner שהוזכר למעלה בהקשר של שימוש ב-CNN בתור מחלץ פיצ'רים.

    למידע מקצועי נוסף – ניתן לבקר בקישור הבא:

    Deep Learning: Top 7 Ways to Get Started with MATLAB

    וובינרים מוקלטים לצפייה

    גילוי אובייקטים במידע Lidar באמצעות למידה עמוקה

    חיישני Lidar נעשים יותר ויותר פופולרים בשנים האחרונות, כשהשימוש הכי בולט בהם הוא בתחום המערכות האוטונומיות. במכוניות חכמות, למשל, לצד Lidar משתמשים גם בחיישנים מסוגים נוספים, כמו מצלמה ומכ"ם, כדי להבין טוב יותר מה קורה בסביבה של הכלי, אבל להבדיל מהחיישנים הללו, ה- Lidar עובד מעולה גם בחושך או בתנאי מזג אויר גרועים, והוא נותן רזולוזציה טובה ודיוק גם עבור אובייקטים מרוחקים. משתמשים ב- Lidar גם עבור ניווט ומיפוי, ורואים יישומים של Lidar ברובוטיקה, כלי טיס לא מאויישים ועוד...לצפייה>>

    Deep Learning עם MATLAB  או קוד פתוח? או גם וגם? (יוני 2021)

    בהרצאה זו נעמוד על ההבדלים בין הסביבות ה"חינמיות" לבין MATLAB, ונראה מתי נכון להשתמש בכל אחת בנפרד, מתי מומלץ לשלב בין סביבות על מנת ליהנות מכל העולמות, וכיצד לעשות זאת. לצפייה>>

    למידה עמוקה עבור מערכות תקשורת (מרץ 2021)

    בהרצאה זו נדגים איך ניתן להשתמש ביכולות הלמידה העמוקה בסביבת MATLAB על מנת לסווג באופן אוטומטי אפנון של אותות תקשורת הנקלטים באנטנה ועל מנת לזהות ולסווג באופן אוטומטי מטרות מכ"ם. לצפייה>>

    חידושים ומגמות עתידיות בתחום הבינה המלאכותית (מרץ 2021)

    תחום הבינה המלאכותית משתנה בצורה דרמטית מידי יום. בהרצאה זו נסקור חידושים ומגמות עתידיות בכלי MathWorks בעולמות הבאים – למידת מכונה (Machine Learning), למידה עמוקה (Deep Learning), ולמידת חיזוק (Reinforcement Learning). לצפייה>>

    ניתוח תמונות רפואיות באמצעות למידה עמוקה – סגמנטציה סמנטית של החדר השמאלי בתמונות MRI של הלב (אפריל 2021)

    נדגים כיצד אפשר לבצע בצורה אוטומטית סגמנטציה סמנטית (Semantic Segmentation) של החדר השמאלי בתמונות MRI של הלב, ולהוריד במהירות את הרשת המאומנת ל-production. במהלך ההדגמה נדון באתגרים השונים הניצבים בפני כל העוסקים בתחום הלמידה העמוקה, ונסביר כיצד MATLAB מאפשרת להתגבר עליהם ולקבל תוצאות איכותיות יותר, מהר יותר, ובקלות. לצפייה>>

    מימוש בינה מלאכותית על חומרת Embedded (מרץ 2021)

    בהרצאה זו נראה את יכולות ההמרה האוטומטית של קוד MATLAB לקוד C / C++ / CUDA / VHDL המשיגות inference בקצב גבוה יותר מפי 2 מאשר זה שמושג על ידי סביבות למידה עמוקה אחרות. נדגים הלכה למעשה כיצד ניתן לקחת רשתות מאומנות או אלגוריתם הכתוב בשפת MATLAB, וליישם את הכל על חומרה לטובת הרצה בזמן-אמת. לצפייה>>

    Machine Learning workflow with MATLAB (August 2020)

    Machine Learning workflow with MATLAB למידת מכונה היא מנוע לחדשנות בתחומים יישומיים רבים, כולל תחזוקה מונעת, ערכות בריאות דיגיטליות ומעקב אחר מטופלים, חיזוי מגמות פיננסיות וסיוע אוטומטי לנהגים ברכב. לצפייה>>

    Deep Learning for Computer Vision with MATLAB (April 2020)

    תחום הלמידה העמוקה מאפשר פתרון בעיות מורכבות בצורה איכותית, והוא משותף למגוון רחב מאוד של יישומים. מהנדסים וחוקרים רבים ברחבי העולם עושים שימוש בלמידה עמוקה לצורך מציאת אובייקטי-עניין בתמונות, וידאו ועוד.
    בהרצאה טכנית זו, נראה כיצד ניתן להשתמש בסביבת MATLAB בצורה יעילה בתחום הראיה הממוחשבת, לצורך פיתוח יישומי Deep Learning בעולם האמיתי. לצפייה >>

    למידה עמוקה ליישומי עיבוד אות (נובמבר 2020)

    בוובינר זה נדגים: כיצד ניתן להשתמש בגישת ה- Deep learning -באמצעות MATLAB לצורך יישומי עיבוד האות, כיצד לדמות אותות תקשורת ריאליסטיים ולעבד אותם, איך לבנות מודלי חיזוי לאותות באמצעות שימוש במודלי CNN ו-LSTM. לצפייה>>

    Style Transfer לקבצי וידאו בעזרת Deep Learning בסביבת MATLAB (מרץ 2021)

    איך מכניסים לתוך MATLAB רשת מסביבת למידה עמוקה אחרת, ולמה בכלל לעשות את זה? הצטרפו ליואב ברסלר ורועי פן, שיסבירו על התהליך ועל היתרונות שבו, באמצעות דוגמה מקצה-אל-קצה של לקיחת רשת השמורה בפורמט ONNX, הכנסתה אל MATLAB, אימון שלה מחדש על מנת שתוכל לשנות את הסגנון של סרטון וידאו, והמרה אוטומטית שלה לקוד CUDA יעיל. לחצו לצפייה>>