גוגל: האקרים מטעם מדינות ניסו לנצל את Gemini
החברה אומרת כי בלמה ניסיונות ליצור קוד זדוני, לאסוף מודיעין על יעדים ולייצר מידע כוזב להפצה באמצעות מודל הבינה המלאכותית שלה

ג'מיניי – מתוך סרטון תדמית של גוגל
בעוד אמנים, יוצרים, וחברות מנסות לתעל AI כדי לשפר היעילות ולתרום לעולם, הצד השני של המטבע הוא האקרים ונוכלים שמנסים להיעזר בכלי AI כדי לגנוב ולהרוס – במקרים מסוימים, מדובר גם על האקרים שנתמכים על ידי מדינות.
אנשי מודיעין אבטחת המידע של גוגל (Google Threat Intelligence Group) חיברו דוח לפיו גורמים עוינים מאיראן, סין, קוריאה הצפונית ורוסיה ניסו להיעזר במודל הבינה המלאכותית Gemini למשימות שונות כדי להוציא פועל תקיפות.
בגוגל אומרים כי נעשים ניסיונות להיעזר בג'מיני לשתי מטרות עיקריות – "איום מתמשך מתקדם (APT)" – בין השאר ריגול סייבר, וחבלה ברשתות מחשבים; המטרה השנייה: "מבצעי מידע מתואמים (IO)" – הפצת מידע כוזב, בין השאר באמצעות פרופילים מזויפים ובובות גרב.
גורמי תקיפות APT, מפרטים בדוח, השתמשו במודל ה-AI של גוגל לתמיכה במספר שלבים של כל תקיפה, כולל מחקר של תשתיות פוטנציאליות וספקי אירוח חינמיים, איסף מידע על יעדי תקיפה, מחקר על פגיעויות, פיתוח קוד זדוני, וסיוע בכתיבת סקריפטים זדוניים וטכניקות התחמקות.
גורמי תקיפות IO השתמשו ב-Gemini למחקר, לפי הדוח, ועבור "יצירת תוכן כולל פיתוח דמויות ומסרים, תרגום והתאמה מקומית, ומציאת דרכים להגדיל את התפוצה".
ניסו לעקוף הגנות
החוקרים מפרטים את הנסיונות לבצע התקפות משני הסוגים הללו בסיוע Gemini, בכל מיני דרכים, כאשר הם מנסים להשתמש בפרומפטים שפורסמו באופן פומבי כדי לנסות (ללא הצלחה, לפי גוגל) לעקוף את מנגנוני ההגנה של ג'מיני.
האקרים ניסו למשל לבקש הנחיות מ-Gemini על שימוש לרעה במוצרי Google, כגון טכניקות דיוג מתקדמות עבור Gmail, סיוע בכתיבת קוד לגניבת מידע ב-Chrome, ושיטות לעקיפת שיטות אימות יצירת החשבון של גוגל.
אלא שג'מיני, לפי מחברי הדוח, "לא ייצר נוזקות או תוכן אחר שניתן היה להשתמש בו באופן סביר במסע זדוני מוצלח". במקום זאת, מודל הבינה המלאכותית של גוגל סיפק תשובות שדווקא תורמות להגנה ולא לתקיפה שכללו "תוכן מונחה בטיחות ועצות כלליות מועילות וניטרליות לגבי קידוד ואבטחת סייבר".
אמצעי האבטחה והבטיחות של Gemini, מסבירים בגוגל, הגבילו תוכן שהיה משפר את יכולות התוקפים: "ג'מיני סיפק סיוע במשימות נפוצות כמו יצירת תוכן, סיכום, הסברת מושגים מורכבים, ואפילו משימות קידוד פשוטות. אבל סיוע במשימות מתוחכמות יותר או משימות זדוניות במפורש הוביל לתגובות בטיחות מ-Gemini" – כלומר תגובות שאומרות, בגדול, קומפיוטר סייז נו.
גוגל: מדובר באיום, לא בשינוי כללי המשחק
בגוגל מרגיעים: "הממצאים שלנו, שעולים בקנה אחד עם אלה של עמיתינו בתעשייה, חושפים שבעוד בינה מלאכותית יכולה להיות כלי שימושי עבור גורמי איום, היא עדיין אינה משנה את כללי המשחק כפי שלעתים היא מוצגת"'. החוקרים עוד מציינים כי בעוד שהם רואים גורמי איום משתמשים בבינה מלאכותית יוצרת לביצוע משימות נפוצות כמו פתרון בעיות, מחקר ויצירת תוכן, הם לא רואים סימנים לכך שהגורמים האלה מפתחים יכולות חדשניות.
"אנו משפרים באופן מתמיד את מודלי הבינה המלאכותית שלנו כדי להפוך אותם לפחות רגישים לשימוש לרעה, ואנו מיישמים את הבינה שלנו כדי לשפר את ההגנות של גוגל ולהגן על משתמשים מפני איומי סייבר", כותבים מחברי הדוח ומציינים כי הם פועלים באופן יזום לשיבוש פעילות זדונית כדי להגן על המשתמשים. עוד הם מבטיחים כי הם משתפים את הממצאים שלנו עם קהילת האבטחה כדי להעלות מודעות ולאפשר הגנות חזקות יותר עבור כולם.
לא לעולם חוסן
למרות צפירת ההרגעה, מדובר במשחקי חתול ועכבר, שבהם לפעמים העכבר מצליח להחזיק ביתרון והפרומפט הנכון יכול לעקוף הגנות שונות, אם רק יודעים מה ואיך להגיד. השבוע, למשל, פורסם דיווח לפיו התגלתה פירצת ה"שודד בזמן", שמאפשרת להערים על אחד המתחרים הגדולים של גוגל – ChatGPT.
על פי הפירצה שגילה חוקר האבטחה דייויד קושמר (David Kuszmar), תוקף יכול לשאול את ChatGPT על אירוע היסטורי ספציפי, או לבקש מהצ'ט להעמיד פנים שהוא מסייע למשתמש באירוע היסטורי ספציפי, לשאול קצת על התקופה, ובהמשך לשאול דברים אסורים – מה שיכול "לבלבל" את הצ'אט ולגרום לו לספק תשובות אסורות.
באתר Bleeping Computer הדגימו את הבאג באמצעות הוראה לצ'אט שהוא ב-1789 ובשלב מסויים שאלו אותו איך מתכנת ב-1789 היה כותב רושעה אם יש לו גישה לכלים וידע של 2025, וצ'אט סיפק את התשובה. אולם OpenAI הגיבה ואמרה שהיא פועלת לחסום את הפירצה.