Copilot יוכל לראות כל מה שקורה על המסך ולתת תמיכה טכנית

Copilot Vision – מתוך בלוג של מיקרוסופט

בקצב התקדמות הטכנולוגיה, זה רק עניין של זמן עד שאשת התמיכה ב-IT אומרת "תן לי רגע להשתלט לך על המסך" תוחלף על ידי סוכן AI. עכשיו מיקרוסופט מקדמת את הרגע הזה בצעדי ענק באמצעות Copilot Vision – שיתוף המסך עם כלי ה-AI של החברה.

חיפוש בדסקטופ

לפני ה-Vision – מתאבן קטן: מיקרוסופט הכריזה כי בעדכון האחרון של Windows Insider, שמיועד למאמצים מוקדמים תהיה אפשרות לחיפוש בתוכן של קבצים במחשב. זאת בדומה ל-Google Desktop מנוחתה עדן (2004-2011). החיפוש של Copilot תומך ברוב סוגי הקבצים, לפי מיקרוסופט, ובהם doc ,xlsx ,pptx ,txt ,pdf ו-json.

אלא שבניגוד למה שגוגל הציע עד תחילת העשור הקודם, Copilot מאפשרת לחפש בשפה חופשית, ולא רק לפי ביטויים ספציפיים. מיקרוסופט מציעה למשל לבקש מ-Copilot – "האם תוכל למצוא את קורות החיים שלי?", "פתח את המסמך לתכנון הטיול שעבדתי עליו בשבוע שעבר", או "הסתכל בקובץ התקציב שלי ואמור לי כמה הוצאתי על ארוחות בחודש שעבר".

לשתף כל חלון עם Copilot

העדכון הנוסף נוגע ל-Vision. בדצמבר האחרון מיקרוסופט השיקה את Vision לדפדפן Edge, שאיפשר למשתמשים לראות איפה הם גולשים ולהתייעץ איתו כדי לקבל מידע מהאתר, בדומה ל-Jarvis של גוגל, שפרטים עליו הודלפו בנובמבר האחרון.

מיקרוסופט, מצידה, מרחיבה את היכולות של Vision, מעבר לדפדפן ומאפשרת לכולם לשתף כל חלון דפדפן או אפליקציה עם Copilot. לפי מיקרוסופט הוא יוכל לעזור לנתח, להציע תובנות, או לענות על שאלות, בזמן שעושים פעולות במחשב ותוך הדרכה קולית.

בהדגמה שנערכה באירוע לרגל 50 שנה למיקרוסופט, תיעד כתב TheVerge טום וורן כיצד Copilot הכווין במהלך משחק מיינקראפט אילו פריטים כדאי לשים בתיבה ולמה הם משמשים, מיד אחרי שזיהה מה מופיע על המסך ואמר "היי, אני רואה שאתה משחק מיינקראפט".

בנוסף – סוכן ה-AI של מיקרוסופט נשאל איך לשלב טוב יותר בין קליפים בוידאו, ונתן שיעור קצר על יצירת מעברים – כולל סימון עיגול בולט סביב הכפתור הרלוונטי בתוכנת Clipchamp, בדומה למה שעושים היום תומכות ותומכים טכניים בשיחת זום או Teams.

העדכון של ה-Vision מופץ תחילה למנויי Insiders בארה"ב, וחיפוש הקבצים יופץ ל-Insiders בכל העולם. שני הפיצ'רים מופצים בהדרגה, לפי מיקרוסופט, ולא כל ה-Insiders יקבלו את העדכון מיד.