מדריך זה יסביר את סורקי הרשימות ב-AWS.
מה הם סורקי רשימות ב-AWS?
סורק הוא רכיב של דבק AWS המשמש לסריקה על מיקום הנתונים ומסיק מידע זה בחזרה לקטלוג. המידע שסורק אוסף יכול להיות סוגי נתונים של הנתונים, מבנה הסכימה, או במילים אחרות, הוא אוסף מטא נתונים. ניתן להשתמש ב-Crawler גם עם קטלוג הנתונים המשמש כאשר הנתונים מועברים לתוך המערכת האקולוגית של Glue תוך שימוש בעבודות ETL וכו'.
מה זה שירות דבק של אמזון?
AWS Glue הוא שירות טרנספורמציה וטעינה של אמזון, המאפשר למשתמש לארגן, לאתר, להעביר ולהמיר את כל הנתונים. AWS Glue הוא ללא שרת מכיוון שהמשתמש אינו צריך להקצות ולהגדיר את השרתים או לנהל מחזורי חיים. קטלוג הנתונים והסורקים הם המרכיבים של ה-AWS Glue שפועל כמאגר המטא נתונים המתמשך:
כיצד ליצור סורק ב-AWS?
כדי ליצור סורק ב-AWS, בקר בשירות AWS Glue ממסוף הניהול של AWS:
פנה אל ' זחלנים דף ' על ידי לחיצה על שמו מהחלונית השמאלית:
הקלק על ה ' צור סורק ' כפתור:
הקלד את שם הסורק ולחץ על ' הַבָּא ' כפתור:
בחר את אפשרות המיפוי עבור טבלאות דבק ולחץ על ' הוסף מקור 'כפתור לקבל נתונים מ:
בחר את שירות S3 ולחץ על ' עיין ב-S3 'כפתור כדי לקבל את מיקום המקור:
כל שעליך לעשות הוא לבחור את תיקיית S3 ולחץ על ' בחר ' כפתור:
לאחר הוספת המיקום למקור, פשוט לחץ על ' הוסף מקור נתונים S3 ' כפתור:
הקלק על ה ' הַבָּא ' כפתור:
הקלק על ה ' צור תפקיד IAM חדש כפתור מהלחצן ' הגדר הגדרות אבטחה ' קטע:
הזן את שם התפקיד ולחץ על ' לִיצוֹר ' כפתור:
לאחר מכן, פשוט לחץ על ' הַבָּא ' כפתור:
בחר את מסד הנתונים היעד והקלד את השם שישמש עבור הטבלה:
תזמן את הסורק עבור ' לפי דרישה ' ולחץ על ' הַבָּא ' כפתור:
סקור את התצורה ולחץ על ' צור סורק ' כפתור:
הסורק נוצר בהצלחה וניתן להשתמש בו כדי להביא את הנתונים מהמקור על ידי לחיצה על ' לָרוּץ ' כפתור:
זה הכל לגבי סורקי הרשימות ב-AWS.
סיכום
ListCrawler הוא הרכיב של שירות AWS Glue שניתן להשתמש בו כדי לסרוק מידע ממקורות ולחזור לקטלוג. ניתן להשתמש בקטלוגים ובסורקים של נתונים כדי לאסוף נתונים כדי לקבל מידע על הנתונים הידועים בשם מטא נתונים. המשתמש יכול גם ליצור סורק מה-AWS Glue כדי לקבל נתונים משירות S3 או ממקורות אחרים ולהציב טבלאות יצירה במסד הנתונים. מדריך זה הסביר את ListCrawlers ב-AWS וכיצד ליצור אותם.