תקצירי אימייל ב-Google Workspace הם עכשיו גם הונאת סייבר
תוקפים מנצלים את Gemini for Workspace ושותלים קישורים לאתרי פישינג בתקווה שלא תשימו לב. בגוגל הגיבו: "אין עדויות למקרים שתוארו"
מערכת Gmail. תמונה Pixabay
מיילים מזויפים נמצאים איתנו מאז המצאת האימייל, אבל כשמי שמזייף אותם הוא Google Gemini, זה כבר סיפור אחר שגרם אפילו לנו להרים גבה. ההונאה החדשה מנצלת את Gemini for Workspace, מערכת הבינה המלאכותית של גוגל, כדי לייצר תקצירי מיילים שנראים לגיטימיים, אך כוללים הנחיות זדוניות ואזהרות מזויפות שמפנות את המשתמשים לאתרי פישינג.
המתקפה הזו מזכירה במעט את מה שקרה עם מודל v0, שנוצל לאחרונה כדי לבנות עמודי התחברות מזויפים שמתחזים לעמודי התחברות של ארגונים לגיטימיים. גם כאן נעשה שימוש בטכניקת Prompt Injection עקיפה: ההנחיות הזדוניות מוסתרות בתוך טקסט בלתי נראה שנמצא בגוף המייל וג'מיני קורא אותו כאילו היה חלק רגיל מהתוכן.
הפרצה נחשפה במסגרת תוכנית הבאג־באונטי של מוזילה, 0D1N, על ידי החוקר מרקו פיגוארואה, שמוביל את תחום המודלים הגנרטיביים בארגון. לפי הדיווח, התוקף מכניס טקסט מוסתר בעזרת HTML ו־CSS בגופן זעיר ובצבע לבן, כך שהוא אינו נראה למשתמש, אך כן נקרא על ידי המודל של גוגל.
בצהוב: האזהרה המזויפת שהושתלה בטקסט. תמונה: 0DIN
מכיוון שהמייל לא כולל רכיבים חשודים כמו קישורים או קבצים, הוא עובר את מסנני הספאם ומגיע ישירות לתיבת הדואר. ברגע שהמשתמש מבקש תקציר מ־Gemini, המערכת מפענחת גם את התוכן הנסתר וכוללת אותו בפלט. בדוגמה שפורסמה, התקציר כלל אזהרה מזויפת לפיה סיסמת הג'ימייל של המשתמש נפרצה, יחד עם מספר טלפון לשירות "תמיכה".
כל עדכוני ה-IT, תשתית וטכנולוגיה בערוץ הטלגרם של ITtime
תמיד תטילו ספק – גם כשהמידע מגיע מ-AI
בנקודה הזו בדיוק מתחילה ההונאה. המשתמש רואה תקציר שנראה כאילו נכתב על ידי גוגל עצמה ומאמין לו. זו בדיוק הסכנה כשאנחנו מתרגלים לסמוך על כלי AI כאילו הם נטולי טעויות, או גרוע מזה חסינים ממניפולציות. אז מה אפשר לעשות? למשתמשים רגילים אין הרבה שליטה, אבל לצוותי אבטחה כן: מומלץ להסיר או לנטרל טקסט מוסתר במיילים, ולהריץ פילטרים על הפלט של Gemini כדי לאתר בו סימני אזהרה כמו הודעות דחופות, מספרי טלפון וקישורים חשודים. והכי חשוב: לעולם לא להתייחס לתקציר של AI כסמכות אבטחתית סופית.
"אנחנו ממשיכים לחזק את מנגנוני ההגנה שלנו באמצעות תרגולי Red Teaming, שמאמנים את המודלים להתמודד עם מתקפות עוינות מהסוג הזה", מסר דובר גוגל, בתגובה לפנייה של אתר BleepingComputer, שהציג לראשונה את הממצאים של פיגוארואה. החברה הוסיפה כי נכון לעכשיו, אין בידיה עדויות למקרים שבהם Gemini נוצל בדיוק כפי שתיאר פיגוארואה.
אז בפעם שתקבלו תקציר מייל מ-Gemini שטוען שהסיסמה שלכם נפרצה, תעצרו רגע. זה אולי נראה כמו התרעה רשמית, אבל ייתכן שזה בדיוק מה שמישהו רצה שתחשבו. אם ה-AI יכול לנסח הודעה חלקה בשבריר שנייה, גם תוקף יכול.
