ArcGIS Data Interoperability – הנגשת מידע מכל פורמט לכל פורמט

מבוא

למערכת ArcGIS קיים פורמט מידע עיקרי של המערכת – פורמט ה Geodatabase (יכול להיות מנוהל הן כ File Geodatabase ברמת ה File System והן כ Enterprise Geodatabase – SDE – מעל בסיס נתונים ארגוני). מטבע הדברים, המידע המגיע ממקורות אלו לא תמיד יהיה נתון בפורמט Geodatabase או בפורמט נתונים "סטנדרטי" של מערכת ArcGIS, ולפיכך קיים צורך בגישה בדרכים שונות אל מידע שמתקבל בפורמטים אלו.

הרחבת ה Data Interoperability, בה עוסק מאמר זה, מוסיפה יכולות רבות למערכת ArcGIS בתחומי המרות הנתונים, הן לרמת ה Desktop והן לרמת ה Enterprise. בסקירה זו נציג את הצורך ואת הדרך בה עונה לו ההרחבה.

יכולות ליבה של מערכת ArcGIS בתחום המרות הנתונים

ליישומי ArcGIS קיימות יכולות נרחבות בתחומי המרות נתונים מרחביים בין פורמטים – עוד לפני שמתחילים לעסוק בהרחבת ה Data Interoperability.

ראשית – קיים מגוון גדול של פורמטים וקטוריים הניתנים לקריאה ישירה מתוך ArcGIS Pro וניתן להשתמש בהם הן לתצוגת מפה והן כחלק מתהליכי Geoprocessing. בין פורמטים אלו ניתן למנות את פורמטי ה DXF, DWG של אוטוקאד, פורמט ה RVT של Revit ועוד.

בנוסף, "ארגז הכלים" Conversion Tools (כלי המרה) מתוך סביבת ה Geoprocessing של Pro, כולל כלים רבים לייבוא מידע מפורמטים שונים אל Geodatabase וכן לייצוא מתוך Geodatabase אל פורמטים אלו ואחרים: GeoJSON, GPX, Excel ועוד.

תוכנת השרת ArcGIS Enterprise מכילה כשלעצמה יכולת גישה לסוגים רבים של שירותי מידע מרחבי וכן לקריאת מידע מתוך מאגרים "ענניים" שונים.

הצורך בהרחבה נוספת ליכולות הליבה

כאמור – יכולות הליבה מספקות פונקציונליות רחבה בתחום הגישה לנתונים מרחביים והמרות המידע. עבור חלק גדול מהארגונים – יכולות אלו יהיו מספקות ויענו על צרכיהם בתחום. אבל קיימים ארגונים שהאינטראקציה – שוטפת או מזדמנת – שלהם עם גורמי חוץ ומאגרים חיצוניים היא כזו שמחייבת רמה אחרת של יכולות בתחום המרות המידע. ארגונים כאלו נדרשים לאינטגרציה בין בסיסי הנתונים הגיאוגרפיים שלהם למגוון פורמטי מידע מרחביים "אחרים" שאינם נכללים ביכולות הליבה שתוארו כאן. עבור צרכים כאלו פותחה הרחבת ArcGIS Data Interoperability.

ההרחבה פותחה ע"י חברת Safe – המומחים המובילים בעולם לנושא המרות מידע מרחבי. לחברת Safe מוצר דגל משלה – מוצר ה FME, והרחבת ה ArcGIS Data Interoperability הנה למעשה שילוב של הרוב הגדול של יכולות ה FME בתוך מוצרי ArcGIS.

קיימים הבדלים מעטים בין המוצרים אולם רשימת הפורמטים הנתמכים וכן תצורת כלי העזר לביצוע ההמרות (שיפורטו בהמשך המאמר) דומה מאד, ולכן גם מי שירכוש מיומנות בהפעלת כלי ה FME יהיה מיומן גם בתפעול הרחבת ה ArcGIS Data Interoperability ולהיפך.

התקנת ההרחבה וגישה ליכולות הבסיס

על מנת לעשות שימוש בהרחבת ה ArcGIS Data Interoperability מתוך ArcGIS Pro יש צורך הן ברישוי להרחבה (כמו לכל Extension אחר) והן בהתקנתה (זוהי התקנה נפרדת שניתן להוריד מאתר MyEsri – עבור כל גרסת Pro קיימת גרסה תואמת של ההרחבה – ולהתקין מעל ArcGIS Pro).

לאחר ההתקנה, ובהנחה שקיים רישוי בתוקף להרחבה, יתווסף תפריט ייעודי לסרגל ה Analysis של Pro:

ובנוסף, יתווסף "ארגז הכלים" בשם אל סביבת ה Geoprocessing:

בהמשך המאמר, נתאר את פעולת הכלים השונים ומטרתו של כל אחד מהם.

פורמטי מידע נתמכים בהרחבה

הרחבת ה ArcGIS Data Interoperability כוללת תמיכה מובנה במאות פורמטים מרחביים. נכון לגרסה 3.0 של Pro מדובר בכ 420 פורמטים, רובם נתמכים גם לקריאה וגם לכתיבה וחלקם הקטן לקריאה בלבד. חלק מהפורמטים הנם פורמטי קבצים, חלק פורמטים של Web Services וחלק של סוגים שונים של בסיסי נתונים העשויים להכיל מידע מרחבי.

בכל גרסה נוספים פורמטים נוספים ונעבר לכך, ניתן להוריד מאתר ה FME Hub את התמיכה בפורמטים נוספים (שה connectors עבורם כבר פותחו ב Safe) אך עדיין לא נכללו בהרחבה.

ההרחבה אפילו כוללת Custom Format Wizard שמאפשר להגדיר פורמטי מידע חדשים שנמצאים בידיכם ולא נכללים ברשימת הפורמטים המובנים או ה connectors הזמינים להורדה מ FME Hub.

רשימת הפורמטים הנתמכים היא זהה עבור כל הכלים שנתאר להלן. בכולם, בכל פעם שיש להגדיר מקור / יעד להמרת המידע, ייפתח המסך הבא:

במסך זה ניתן לנווט ישירות אל קובץ וברוב המקרים התוכנה תדע לזהות (לפי הסיומת) את הפורמט ולאכלס את תיבת הגדרת הפורמט. לחילופין, ניתן לפתוח את רשימת הפורמטים המלאה ולבחור מתוכה – בניווט אלפבתי או בחיפוש את הפורמט המבוקש:

Geoprocessing Quick Tools

כאמור, התקנה ורישוי של ההרחבה תביא להוספת "ארגז כלים" ייעודי בסביבת ה Geoprocessing, ובתוכו שני כלים:

• Quick Import מייצר Feature Class חדש בתוך file geodatabase, מתוך Dataset מרחבי הנתון באחד מהפורמטים הנתמכים. התהליך עמיד לשגיאות בחלק מהמידע – מה שניתן להמיר יומר.
• Quick Export מייצר קובץ פורמט פלט מתוך dataset מקור, באחד מהפורמטים הנתמכים. ניתן להפנות אל מספר Feature Classes לייצוא אחד.

כלי ה Quick Tools אינם מכילים אפשרויות מורכבות להגדרת מיפוי מקורות ויעדים או פונקציות המרה. פשוט ממירים מ / אל הפורמט המבוקש במיפוי שדות אוטומטי.

כמו כל כלי Geoprocessing, ניתן לשלב את הכלים במודל שנבנה ע"י Model Builder או בסקריפט פייטון (ArcPy).

כלי ה-Data Inspector

כלי ה-Data Inspector ניתן להפעלה מסרגל ה Analysis או ישירות מה Start Menu.

הכלי מיועד לאפשר בחינה של תוכנו של Dataset גיאוגרפי מסויים (מתוך כל הפורמטים הנתמכים) כדי לקבל החלטה אם המידע נראה מעניין / רלוונטי / תקין ויש טעם להמיר אותו באמצעות אחד מכלי ההמרה. הקובץ הנרחב ייפתח לתצוגה, מרחבית וטבלאית, עם אפשרויות שונות שיעזרו להבין את תוכנו:

• הצגת שירותי מיפוי (ArcGIS Online Basemaps ועוד) ברקע
• שינוי סימבולוגיה ליישויות המרחביות
• בחירה ברשומה בודדת מהמפה / טבלה וצפייה שמיקומה ובכל מאפייניה.

אם מגיעים למסקנה שה dataset ראוי להמרה, ניתן להפעיל את אופציית ה Quick Translate ישירות מתוך מסך ה Inspector באמצעות בחירה באפשרות "Save As", או לצאת ממסך ה Inspector ולבצע את ההמרה באחד הכלים האחרים הקיימים בהרחבה.

כלי ה-Quick Translator

גם כלי ה Quick Translator ניתן להפעלה מסרגל ה Analysis או ישירות מה Start Menu.

לאחר פתיחת הכלי ובחירה באפשרות ה "Translate", ייפתח מסך להגדרת פורמט ומיקום הן לקלט והן לפלט, מתוך כלל הפורמטים הנתמכים:

לאחר הגדרת קלט / פלט ואפשרויות פורמט שונות עבורם, אישור הפעולה יפעיל את ה Quick Translator וייצר את קובץ התוצר ישירות מתוך קובץ הפלט מבלי לעבור דרך פורמט ה Geodatabase.

כלי ה ETL Workbench

ה ETL Workbench הוא הכלי המרכזי של הרחבת ה Data Interoperability ובאמצעותו נחשפת העוצמה המלאה של ההרחבה, הכוללת לא רק המרה בין פורמטים אלא גם הגדרת תהליכי ETL (Extract, Transform, Load) מורכבים לתהליך ההמרה.

גם כלי ה ETL Workbench ניתן להפעלה מסרגל ה Analysis או ישירות מה Start Menu.

אולם ברוב המקרים נפעיל את הכלי ישירות מתוך ארגז כלי Geoprocessing: ניצור בתוך הארגז כלי חדש באמצעות האפשרות New -> Spatial ETL Tool ונפתח אותו לעריכה:

הכלי ייפתח בתוך מסך ה ETL Workbench. השלב הראשון בכל הגדרה של Spatial ETL Tools היא הגדרת הקלט והפלט (כפי שהגדרנו בכלי ה Quick Translate), אלא שכן תתווסף לכך גם היכולת להגדרת שרשור פונקציות המרה שונות:

פונקציות ההמרה, הן אלו שיגדירו את תהליך ה Transform שיכול לכלול מיפוי מפורט למקורות מול יעדים וכו לבצע מניפולציות שונות (על המאפיינים או הגיאומטריה) על המידע כחלק מהתהליך. המוצר מכיל מאות פונקציות מוכנות להגדרה ושימוש, המאורגנות בארגון נושאי – הירארכי המקל על איתור הפונקציה הרצוייה:

עריכת ה Spatial ETL Tool מתבצעת ע"י "גרירה" של פונקציות אל מסך העריכה ומתיחת חיצי קלט / פלט בין מקורות המידע, שרשור הפונקציות והפלטים, כך שמתאפשרת הגדרת תהליכים מורכבים ביותר:

שיתוף Spatial ETL Tool אל השרת הארגוני כ Web Tool

כמו כל כלי Geoprocessing, ניתן לשתף את ה Spatial ETL Tools שיצרנו באמצעות ה Workbench, אל פורטל ArcGIS Enterprise בתור Web Tool. השיתוף מתבצע כמו לכל כלי Geoprocessing אחר שנשתף כ web tool – מתוך חלונית ה Geoprocessing History (לאחר שהרצנו את ה ETL Tool בהצלחה):

שיתוף כזה יחייב רישוי להרחבה ברמת ה Enterprise. לאחר השיתוף – הכלי יתקיים כ Item בפורטל שניתן לשיתוף עם משתמשים אחרים כמו כל פריט פורטל ושימוש:

• Map Viewer Analysis (בינתיים רק ב Map Viewer Classic ובקרוב גם ב Map Viewer החדש)
• Web AppBuilder Geoprocessing  Widget(בקרוב גם עבור Experience Builder)
• קישורי פורטל ב Pro (גם למי שאין לו את ה Interoperability Extension):

בכך בעצם תמונה העוצמה האמיתית של הרחבת ה Server – מאפשרת לכל המשתמשים בארגון שקיבלו הרשאה ל web tool, להפעיל את ההמרה המתקדמת (כפי שהגדרנו ב ETL Tool באמצעות ה Workbench) ישירות מתוך Pro גם אם אין להם את ההרבחה לרמת Desktop. כל מה שצריך זה שלמפרסם ה Web Tool תהיה את הרחבת ה Pro ושההרחבה תהיה מותקנת ועם רישוי ברמת ה Enterprise.

סיכום

הרחבת ה Data Interoperability הנה כלי רב-עוצמה להנגשת מידע מרחבי אל מערכת ArcGIS וממנה. ההחרבה מבוססת על מוצר ה FME של חברת Safe, מכילה יכולות דומות וממשק משתמש דומה, אך מותאמת יותר לשימוש ב ArcGIS דרך סביבת ה Geoprocessing וסרגלי ArcGIS Pro.

ההרחבה קיימת הן עבור ArcGIS Pro והן עבור ArcGIS Enterprise.

עבור Pro כוללת ההרחבה כלי המרה מהירים, צירת מודלים מורכבים להמרה "משוכללת" והיכולת לפרסום מודל / כלי המרה אל ה Enterprise (Web Tool)

עבור Enterprise כוללת ההרחבה את היכולת להרצת Interoperability (ETL) web tools

מור יפה

סיסטמטיקס טכנולוגיות

תגיות: ArcGIS Enterprise | ArcGIS Pro