VisualGPT של מיקרוסופט משחררת טכנולוגיה חדשה ' VisualGPT זה התקדמות של AI ופותח אפשרויות לחוויות AI מושכות ואינטראקטיביות יותר על ידי גישור על הפער בין הוויזואליה לשפה.
מה זה VisualGPT?
VisualGPT היא גרסה מורחבת של ChatGPT המבוססת על מודלים של NLP (עיבוד שפה טבעית), אך ב-VisualGPT נעשה שימוש ב-VFMS שיכול להמיר שאילתות טקסט לצורת תמונה. זה כזה שזה שילוב/שילוב של שאילתות טקסט ותמונה.
מטרת VisualGPT
לאחר שחרורו של ChatGPT לשוק שעבד על הפורמט הטקסטואלי כיחיד, כדי להגיע לרמה הבאה של התקדמות יש את הכלי המושלם שיעבוד על פורמט טקסטואלי עד גרפי, בעקבות כל הסיבות הללו ובמירוץ אחר AI קידום מיקרוסופט משחררת את VisualGPT המטרה העיקרית של VisualGPT היא ליצור תמונות AI לפי דרישת המשתמש או לנתח את התמונה
ארכיטקטורה של VisualGPT
VisualGPT מכיל את שאילתת המשתמש, מנהל ההנחיות, מודלים של בסיס חזותי (VFMs), עקרון המערכת, היסטוריית הדיאלוג, היסטוריית ההיגיון ותשובות ביניים.
אם נדבר ספציפית על המודל שלו, כלומר, ' VFMs (מודלים חזותיים) ', נעשה שימוש בכמעט 22 מכשירי VFM, כמו BLIP (אימון מקדים ל-Bootstrapping Language-Image), ו-Stable Diffusion.
כיצד להפעיל חזותי ChatGPT?
כדי להפעיל Visual ChatGPT, שקול את השלבים הבאים:
שלב 1: צור סביבה
ראשית, עליך ליצור סביבה של Python גרסה 3.8:
ייבוא מערכת
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
שלב 2: שכפול קובץ Visual ChatGPT
כעת, שכבו את קובץ ChatGPT החזותי מ- GitHub באמצעות הפקודה הבאה:
! שיבוט git https: // github.com / deepanshu88 / visual-chatgpt.git 
שלב 3: הגדר ספרייה חדשה
לאחר מכן, הגדר ספרייה חדשה באמצעות הפקודה המפורטת להלן:
% CD visual-chatgptשלב 4: התקן את החבילות הנדרשות
כעת, התקן את החבילות הנדרשות באמצעות ' צִפצוּף 'cmdlet:
! תלתל https: // bootstrap.pypa.io / get-pip.py -או get-pip.py! python3.8 get-pip.py
! פיתון 3.8 -M צִפצוּף להתקין -ר requirements.txt
שלב 5: גישה ל- OpenAI API
לאחר התקנת חבילות ראשוניות, גש ל-OpenAI API על ידי קבלת מפתח API מ-'platform.openai.com' וביצוע קריאות API מאומתות:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxשלב 6: בחר את הדגם
לבסוף, לאחר הגישה ל-Openai בחר את הדגם, ישנם יותר מ-20 דגמים המשמשים ב-visualGPT שתוכל לבחור לפי הדרישה שלך:
! פיתון 3.8 . / visual_chatgpt.py --לִטעוֹן Text2Image_cuda: 0בפקודה לעיל, ' Text2Image ' מתאים למודל שבו יש להשתמש. לפרטים נוספים עיין ב-Google Colab הזה מחברת .
סיכום
ChatGPT הוצג כדי לקבל תשובות ספציפיות לגבי כל שאילתה וכעת מיקרוסופט השיקה את VisualGPT המסוגלת להתמודד עם נתונים טקסטואליים כמו גם ציוריים. זה כזה שהמשתמש יכול פשוט להוסיף את הדרישות שלו בצורה טקסטואלית ולקבל את הפלט הגרפי שלו.