'ערכים מופרדים בפסיקים (CSV) הוא אחד מפורמטי הנתונים המגוונים והקלים ביותר לשימוש. זהו פורמט נתונים קל משקל המאפשר למפתחים ואפליקציות להעביר ולנתח נתונים ממקור אחד לאחר.
נתוני CSV מאחסנים נתונים בפורמט טבלאי שבו כל עמודה מופרדת בפסיק, ורשומה חדשה מוקצית לשורה חדשה. זה הופך אותו לבחירה טובה מאוד לייצוא מסדי נתונים כגון מסדי נתונים של SQL, נתוני Cassandra ועוד.
לכן, אין זה מפתיע שתתקל בתרחיש שבו עליך לייבא קובץ CSV למסד הנתונים שלך.
המטרה של מדריך זה היא להראות לך שיטה מהירה ופשוטה לייבא קובץ CSV לאשכול Elasticsearch שלך באמצעות לוח המחוונים של Kibana.'
בואו נקפוץ פנימה.
דרישות
לפני הצלילה פנימה, ודא שיש לך את הדרישות הבאות:
- אשכול Elasticsearch עם מצב בריאות ירוק.
- שרת Kibana מחובר לאשכול Elasticsearch שלך.
- הרשאות מספיקות לניהול אינדקסים באשכול שלך.
קובץ CSV לדוגמה
כרגיל, הדרישה הראשונה היא קובץ ה-CSV המקור שלך. כדאי לוודא שהנתונים בקובץ ה-CSV שלך מעוצבים היטב ושהם אינם מכילים שגיאות.
למטרות המחשה, נשתמש במערך נתונים חינמי המכיל סרטים ותוכניות טלוויזיה מאמזון פריים.
פתח את הדפדפן שלך ונווט למשאב למטה:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
בצע את ההליך כדי להוריד את מערך הנתונים למחשב המקומי שלך. אתה יכול לחלץ את הארכיון שהורדת עם הפקודה:
$ לִפְתוֹחַ א~ / הורדות / archive.zip
ייבוא קובץ CSV
לאחר שתכין את קובץ המקור שלך, נוכל להמשיך ולדון כיצד לייבא אותו.
התחל על ידי מעבר ללוח המחוונים הביתי של Kibana ובחירה באפשרות 'העלה קובץ'.
אתר את קובץ ה-CSV היעד שברצונך לייבא בחלון המפעיל.
בחר את קובץ המקור שלך ולחץ על העלה.
אפשר ל-Elasticsearch ול-Kibana לנתח את הקובץ שהועלה. פעולה זו תנתח את קובץ ה-CSV ויקבע את פורמט הנתונים, השדות, סוגי הנתונים וכו'.
הערה: בהתאם לתצורת האשכול שלך ולגודל הנתונים, תהליך זה עשוי להימשך זמן מה. ודא שצומת המאסטר מגיב כדי למנוע פסקי זמן.
לאחר השלמת התהליך, אתה אמור לקבל דוגמה של תוכן הקובץ שלך ואת הנתונים הסטטיסטיים של הקבצים כפי שניתחו על ידי Elastic.
אתה יכול להתאים פרמטרים רבים, למשל, המפריד, שורות כותרות וכו'. לדוגמה, אנו יכולים להתאים אישית את הפלט שלמעלה כדי לומר לאלסטיק שקובץ ה-CSV שלנו מכיל קובצי כותרות.
לאחר מכן נוכל ללחוץ על החל ולנתח מחדש את הנתונים. זה אמור לעצב את הנתונים בפורמט הנכון, כולל השדות.
לאחר מכן, נוכל ללחוץ על ייבוא כדי להמשיך ללוח המחוונים המיובא.
כאן, עלינו ליצור אינדקס שבו מאוחסנים נתוני ה-CSV. אתה יכול להקצות כל שם נתמך לאינדקס שלך.
אם ברצונך להתאים אישית את מאפייני האינדקס שלך, כגון מספר הרסיסים, העתקים, מיפויים וכו'. בחר באפשרות המתקדמת ותשנה את ההגדרות שלך כרצונך.
לבסוף, לחץ על ייבוא וצפה ב-Kibana עושה את ה'קסם' שלו. לאחר השלמתו, תוכל לגשת לאינדקס שלך באמצעות Elasticsearch API או להשתמש בלוח המחוונים של Kibana.
וגמרת!!
סיכום
בפוסט זה, כיסינו את תהליך האחזור והייבוא של מערך הנתונים של ה-CSV שלך לאשכול Elasticsearch שלך באמצעות לוח המחוונים של Kibana.
תודה על הקריאה וקידוד שמח!!