Systematics
  • EN
  • אודות
    • על סיסטמטיקס
    • הורדת תעודות ISO
    • אירועים בסיסטמטיקס
    • קהילה
    • יצירת קשר
    • דרכי הגעה
    • לזכרו של יואב לבנטר ז"ל, מייסד ומנכ"ל משותף
  • פתרונות ומוצרים
    • תחום GIS
      • אודות
      • מוצרים
      • אירועים
      • קורסים
      • תמיכה
      • סיפורי הצלחה
    • תחום 3D CAD/PLM
      • אודות
      • מוצרים
      • אירועים
      • קורסים
      • תמיכה
      • סיפורי הצלחה
    • תחום MATLAB & Simulink
      • אודות
      • מוצרים
      • אירועים
      • קורסים
      • תמיכה
      • סיפורי הצלחה
    • תחום 3D Printing
      • אודות
      • מוצרים
      • אירועים
      • תמיכה
      • סיפורי הצלחה
      • רכישה Online
  • לקוחות
    • לקוחות סיסטמטיקס בחזית המאבק במגיפת הקורונה
    • לקוחות
      • סיפורי הצלחה
    • תעשיות
      • אקדמיה
      • Start Ups
    • תכניות עבור סטארטאפים
  • קורסים
      • אודות מרכז ההדרכה
    • קורסים GIS
      • אודות הקורסים
      • תאריכים וסילבוס
      • מסלולי הכשרה
    • קורסים SOLIDWORKS
      • אודות הקורסים
      • תאריכים וסילבוס
      • מסלולי הכשרה
      • קורסים CATIA
    • קורסים MATLAB & Simulink
      • אודות הקורסים
      • תאריכים וסילבוס
      • מסלולי הכשרה
    • קורסים 3D Printing
      • תאריכים וסילבוס
    • קורסים ALTIUM
      • תאריכים וסילבוס
  • תמיכה
    • תמיכה ושירותי ייעוץ
    • נהלי התקנה ורישוי GIS
    • נהלי התקנה ורישוי MATLAB
    • נהלי התקנה ורישוי SOLIDWORKS
    • פתיחת קריאות שירות
  • דרושים
  • צור קשר
  • בלוג
    • הבלוגים שלנו
    • SOLIDBlog
    • PCB Blog
    • GIS Blog
    • MATLAB With Fun Blog
    • 3D Printing Blog
  • HE
  • Contact Us
  • Support
  • Customers
    • Customers
    • Success Stories
  • Industries
  • Solutions
  • About Us
  • חיפוש באתר
  • Menu Menu

עמוד הבית » בלוג » MATLAB With Fun

  • ALL
  • GIS Blog
  • MATLAB With Fun
  • PCB Blog
  • Smart 3D Printing
  • SOLIDBlog

למידה עמוקה על הענן עם MATLAB

רועי פן
18/05/2021
MATLAB With Fun

תגיות: Amazon | AWS | Azure | cloud | cluster | Container | Deep Learning | GPU | Hadoop | MATLAB | NGC | Production Server | למידה עמוקה | מכונה וירטואלית | ענן

כיצד קוראים מ-MATLAB למידע שנמצא בענן? איך נעזרים ב-container כדי להתקין ולהפעיל את MATLAB וכל כלי העזר הדרושים על מכונה וירטואלית בענן? כיצד מבצעים מגוון ניסויי למידה עמוקה באמצעות קונפיגורציה חזקה בענן? ואיך מריצים על שרת Production בענן את המודל המאומן האופטימלי?

שתפו את הפוסט
  • שתף בפייסבוק
  • שתף בטוויטר
  • שתף בגוגל+
  • שתף בלינקדאין
  • שתף באימייל
  • שתף בוואטסאפ

כל מי שעוסק בתחום ה-Deep Learning שוקל בשלב מסוים עבודה עם ענן כזה או אחר, בין אם בשל מגבלות זיכרון על המחשב/ים הפיזי/ים במקום העבודה, בין אם בגלל רצון לאמן את המודל מהר יותר, ובין אם בשל הצורך להריץ את המודל הסופי על שרת Production.

כשעובדים עם MATLAB אפשר לגשת למידע שנמצא בענן, לבנות ולאמן מודל בענן, לכוונן פרמטרים של מודל על הענן ולהריץ את המודל המאומן על הענן, כפי שיוסבר בפוסט זה.

 

גישה למידע שנמצא בענן

בבחירת מקום אחסון, חשוב לשים לב למספר שיקולים, כמו תמיכה בשיתוף המידע, תמיכה בהוספה של מידע, ותמיכה באבטחה של המידע. MATLAB יכולה, למשל, לגשת למידע ששמור על Amazon S3 (קישור לדוגמה העוסקת בהעלאת מידע לשם ושליפה שלו משם). לצורך עבודה עם MATLAB ניתן לאחסן מידע גם ב-Azure ו-Hadoop (קישור).

דוגמה למידע אימון עבור רשת סגמנטציה סמנטית שהועלה לענן (ניתן ללחוץ על התמונה להגדלה)

 

בניה ואימון של מודל בענן

אחרי בחירת מכונה וירטואלית בענן, אפשר להיעזר ב-container ייעודי שמכיל את כל הכלים הדרושים לביצוע למידה עמוקה עם MATLAB, דבר שחוסך התקנה ידנית של כל אחד מהם (קישור ל-container באתר Nvidia; בקרוב גם יהיה אחד כזה ב-docker hub, כרגע ב-docker hub קיים כזה רק עבור כלי ה-MATLAB הבסיסי, כלומר ללא התשתית הדרושה עבור ביצוע למידה עמוקה – קישור).
לאחר הפעלה של MATLAB, ניתן לבנות את הארכיטקטורה של הרשת בצורה דומה לתהליך שמתבצע על מחשב מקומי (באמצעות פקודות או באמצעות ממשק גרפי), ולאמן את המודל תוך שימוש במידע שמאוחסן בענן.
למדריך המסביר על השלבים הדרושים לצורך שימוש ב-NGC Container עבור אימון רשת למידה עמוקה על Amazon EC2 P3 Instance – לחצו פה.
בנוסף, להלן סרטון קצר (2 דקות) המדגים בחירת מכונה וירטואלית בענן של AWS ושימוש ב-container לצורך הפעלת MATLAB עבור אימון של רשת סגמנטציה סמנטית תוך שימוש במידע השמור בענן:

 

כוונון פרמטרים של מודל על הענן

כדי לשפר את התוצאות של האימון הראשוני, מומלץ לבדוק כל מיני תרחישים (ארכיטקטורות שונות,  ערכים שונים להיפרפרמטרים, אוספי מידע שונים) באמצעות ממשק ניהול הניסויים של סביבת MATLAB, ה-Experiment Manager (קישור).
בחינת תרחישים רבים עלולה לקחת זמן רב, ולכן עבור משימה שכזו, ניתן (ואף מומלץ…) להשתמש בקונפיגורציה חזקה יותר בענן. כלומר, אם בשלב האימון של המודל הראשוני השתמשנו במכונה עם GPU יחיד (וחזק), בשלב הכוונון נרצה להשתמש, למשל, ב-cluster עם מספר GPU-ים. הדבר כמובן נתמך על ידי MATLAB באמצעות ה-Cloud Center שמאפשר להגדיר את משאבי המחשוב המבוקשים (קישור). לאחר מכן ניתן לעשות בהם שימוש בעת ההרצה (האוטומטית) של הניסויים השונים.
להלן סרטון קצר (2 דקות) המדגים שימוש ב-Cloud Center להגדרת משאבי המחשוב, הנחיית MATLAB למצוא את ה-cluster המבוקש ולעשות שימוש בו (קישור), וביצוע מגוון ניסויים בעזרתו לצורך מציאת הארכיטקטורה הטובה ביותר:

 

הרצה של מודל מאומן על ענן

כעת כשברשותנו המודל הטוב ביותר שהצלחנו לאמן, נרצה להשתמש בו. ניתן לבצע זאת באמצעות הענן, וכך להבטיח גישה נוחה ומהירה למודל העדכני ביותר, על ידי משתמשים שונים, בכמויות שונות ועם צרכים שונים (ייתכן שמשתמש אחד ירצה להשתמש במודל 1,000 פעמים, וייתכן ש-1,000 משתמשים במקביל ירצו להשתמש במודל כל אחד פעם אחת).
על מנת להשתמש במודל באופן הזה, יש ליצור פונקציה פשוטה שקוראת לו, לקמפל אותה (למשל באמצעות ממשק הקימפול הידידותי Production Server Compiler – קישור) ולהעלות את התוצר אל שרת. ניתן להשתמש באחת מהקונפיגורציות של ה-MATLAB Production Server שזמינות ב-Azure Marketplace כדי לארח את המכונה הוירטואלית (קישור למידע על הקונפיגורציות השונות הזמינות ב-Azure וב-AWS). אם אין דרישה מיוחדת לקבלת תוצאות במהירות האור, אז לצורך ההרצה של המודל המאומן לא חייבים להשתמש במכונה עתירת יכולות, אלא אפשר להסתפק במכונה חלשה יחסית.
להלן סרטון קצר (3 דקות) המדגים הגדרה של MATLAB Production Server על Azure והעלאה של היישום אליו, כולל אחסון של הרשת המאומנת בזיכרון, כך שהיא תהיה מוכנה לשימוש מיידי על ידי ה-client (יש לשים לב לכך שאופציית PAYG המוצגת בסרטון אינה זמינה מישראל, במקומה יש להשתמש באחת מההצעות האחרות או להשתמש ב-Reference Architecture):

למידע נוסף על יצירת תוכנות לקוח המשתמשות בפונקציונליות MATLAB-ית הנמצאת על שרת – יש ללחוץ כאן.

 

סיכום וקישורים שימושיים

בפוסט זה ראינו כיצד MATLAB מאפשרת שימוש בענן לצרכי למידה עמוקה, אבל כמובן שניתן לעבוד עם MATLAB בענן גם לשימושים אחרים.

לצפיה בהרצאה " AI in the Cloud Workflows with MATLAB" מכנס MATLAB Expo 2021, שנערך בחודש מאי 2021 – לחצו פה (26 דקות).

לפורטל "MATLAB in the Cloud" – לחצו פה.

יש לך שאלה? אנחנו לרשותך במוקד התמיכה שלנו! ניתן לפנות אלינו באמצעות הטלפון 03-7660111 או דרך האתר.

 

 

תגיות: Amazon | AWS | Azure | cloud | cluster | Container | Deep Learning | GPU | Hadoop | MATLAB | NGC | Production Server | למידה עמוקה | מכונה וירטואלית | ענן

שתפו את הפוסט
  • שתף בפייסבוק
  • שתף בטוויטר
  • שתף בגוגל+
  • שתף בלינקדאין
  • שתף באימייל
  • שתף בוואטסאפ

פוסטים נוספים מאותה קטגוריה

מה חדש במערכות אוטונומיות בגרסה R2022a

מה חדש במערכות אוטונומיות בגרסה R2022a

MATLAB With Fun

גילי בן מימון
30/06/2022
מה חדש בתחום עיבוד האותות בסביבת MATLAB בגרסה R2022a?

מה חדש בתחום עיבוד האותות בסביבת MATLAB בגרסה R2022a?

MATLAB With Fun

ינון נוסבאום
23/06/2022
15 קיצורי מקלדת ב-MATLAB אשר ישנו לכם את החיים

15 קיצורי מקלדת ב-MATLAB אשר ישנו לכם את החיים

MATLAB With Fun

מורן גולדמברג
03/08/2022
תגובות | 0 תגובות

השאירו תגובה

כתיבת תגובה לבטל

האימייל לא יוצג באתר. שדות החובה מסומנים *

הרשמו לקבלת עדכונים

MATLAB With Fun

ההרשמה בוצעה בהצלחה. בדוק בתיבת הדואר שלך, הודעה המכילה קישור לאישור ההרשמה ואשר את הרשמתך.

רוצים ללמוד עוד? כיתבו לנו

כיתבו לנו


    social-media-youtubesocial-media-linkedin

    קהילה

    • קהילת סיסטמטיקס
    • SOLIDWORKS Blog
    • PCB Blog
    • MATLAB with Fun Blog
    • GIS Blog
    • Smart 3D Printing Blog
    • ESRI Israel FB
    • SOLIDWORKS Israel FB
    • MATLAB and Simulink LI
    • MATLAB and Simulink FB

    צור קשר

    • בקשת יצירת קשר
    • בקשת קשר טלפוני

    רכישה

    • בקשת הצעת מחיר
    • מכירות ESRI
    • מכירות SOLIDWORKS
    • מכירות ALTIUM
    • מכירות CATIA
    • מכירות ENOVIA
    • מכירות MATLAB & Simulink
    • מכירת מדפסות תלת מימד

    קורסים

    • קורסים GIS
    • קורסים SOLIDWORKS
    • קורסים MATLAB & Simulink
    • קורסים CATIA
    • קורסים ALTIUM
    • יצירת קשר מרכז ההדרכה

    תמיכה

    • מדיניות תמיכה
    • שירותי ייעוץ
    • פתיחת קריאות שירות

    פתרונות ומוצרים

    • תחום GIS
    • תחום 3D CAD/PLM
    • SOLIDWORKS
    • ALTIUM PCB
    • CATIA
    • ENOVIA
    • MATLAB & Simulink
    • תחום 3D Printing
    • 3D EXPERIENCE
    • תעשיות
    • אקדמיה
    • Start Ups

    אודות סיסטמטיקס

    • מי אנחנו?
    • דרושים
    • אירועים
    • דרכי גישה ומפה
    • יצירת קשר

    לקוחות

    • לקוחות סיסטמטיקס
    • סיפורי לקוח SOLIDWORKS
    • סיפורי לקוח MathWorks
    • סיפורי הצלחה GIS
    © 2022 All rights reserved SYSTEMATICS Ltd. | Privacy Policy
    • הישארו מעודכנים
    • כיתבו לנו
    Scroll to top