בינה מלאכותית ב־Gmail יכולה להיות כלי מסוכן: מחקרים חושפים פרצות שעלולות לחשוף מידע רגיש או לעקוף מנגנוני הגנה.
כשבינה מלאכותית ב־Gmail הופכת לחרב פיפיות
מחקר אבטחה חושף פרצות בהטמעת Gemini AI וחולשות במנגנון ה־LLM
בשנת 2024, תקיפות מבוססות בינה מלאכותית הפכו לתופעה הולכת וגדלה, וגולשי Gmail, המונה כ־2.5 מיליארד חשבונות, נדרשים להפגין ערנות.
חברת Google הטמיעה את מודל Gemini AI במגוון מוצריה כגון Gmail ,Google Slides ו־Google Drive, לצורך שיפור חוויית המשתמש. אך חוקרי אבטחה דיווחו על מתקפה המכונה "Indirect Prompt Injection" – מתקפה שבאמצעותה אפשר להחדיר פקודות זדוניות במסמכים, מיילים או אתרים, כך שהמודל יתנהג באופן לא צפוי ויאפשר לארגון עוין לקבל מידע או לפעול בשם המשתמש ללא ידיעתו.
עם זאת, Google בחרה לסמן בעיית אבטחה זו כ־"Won’t Fix (Intended Behavior)", והיא סבורה שלא מדובר בפגם אבטחה, אלא בתכונה של אופן פעולת ה־LLM.
מתקפות "Prompt Injection" חדשות: Link Trap ו־Multi-turn AI Jailbreak
כיצד התוקפים גורמים ל־AI לחשוף מידע רגיש או לעקוף מנגנוני בטיחות
נוסף על מתקפה באמצעות "Indirect Prompt Injection", חוקרי אבטחה הציגו תרחישים חדשים.
ה־"Link Trap Attack" מאפשרת לתוקפים לשתול פקודה שתחזיר קישור על ידי ה־AI, כך שמשתמש תמים ילחץ על הקישור ויחשוף מידע רגיש.
הגישה החדשנית ל־Multi-turn Jailbreak המכונה "Bad Likert Judge", מאפשרת לעקוף מנגנוני סינון פנימיים של המודל באמצעות מתן תפקיד "שופט" ל־AI, אשר נועד לדרג את התכנים לפי מידת המסוכנות שלהם — התכנים בעלי הדירוג הגבוה ביותר מתבררים גם כפוגעניים ביותר.
התוקפים יכולים לחדד ולשפר את הפקודות, עד שהמערכת מפיקה תוצאות שאמורות להיות חסומות במסגרת האבטחה הרגילה.
תגובת Google ומדוע מומלץ לא להסתמך על הגדרות ברירת המחדל בלבד
גוגל מסבירה את המצב, אך המשתמשים נשארים בחוסר ודאות
לפי דוברי Gmail, החברה מבצעת בדיקות פנימיות וחיצוניות, כולל Red-Teaming, כדי להגן על מודלי ה־LLM שלה מפני התקפות Prompt Injection .Gmailו־Google Drive כוללים מסנני ספאם מתקדמים וטכניקות "Input Sanitization" המנמיכות את הסבירות להשפעות זדוניות.
למרות זאת, בחרה Google שלא לסווג את הנושא כבעיית אבטחה תקנית, והיא טוענת שמדובר בהתנהגות צפויה של מודל שפה גדול, ושתיקונים רדיקליים יכולים לגרום לפגיעה ביכולות המודל.
המלצות מומחי אבטחת מידע של IPV Security
- נטרול פיצ'רים חכמים במיילים רגישים – מומחים ממליצים לשקול לכבות מאפייני AI "חכמים" ב־Gmail עבור חשבונות בעלי סיכון גבוה, כדוגמת חשבונות ארגוניים או משתמשים שעוסקים במידע מסווג.
- הגבלת גישת ה־AI למידע – במקומות שבהם AI נדרש (למשל לאוטומציה), חשוב לוודא שלמודל אין גישה לתכנים סודיים או למדיניות ארגונית שאינה אמורה להיחשף.
- שמירה על ספקנות בלחיצה על קישורים – יש לבחון קישורים שהוחזרו על ידי מודל ה־AI, בייחוד אם שם הקישור נראה "תמים", אך הוא אינו תואם את הנושא המדובר.
- עדכוני מדיניות ואכיפה פנימית – על ארגונים לתדרך את עובדיהם כיצד לזהות ולהימנע מהכנסת Prompt Injection לתכנים ולמסמכים.
- הפעלת תוכניות Bug Bounty מותאמות ל־AI – הקפדה על נוהלי דיווח של באגים ייעודיים תסייע לזהות כשלים חדשים ולהתמודד איתם טרם יגרמו נזק.
- סיווג מידע והרשאות – בכל שימוש ב־AI ארגוני חשוב לעשות סיווג מידע ובקרת הרשאות על קבצים ומידע.
לסיכום,
הטמעת Gemini AI בשירותי Google, כגון Gmail ו־Drive מחדדת את האיזון העדין בין שיפור חוויית המשתמש לבין הגברת סיכוני האבטחה. אף על פי ש־Google רואה בהתנהגות המודל חלק מתפקודו הרגיל ואינה מחשיבה אותה כבעיה המחייבת תיקון, חוקרי אבטחה מזהירים כי מצב זה עלול לאפשר הדלפת מידע ואף להוביל לתרחישי "Jailbreak" מתקדמים.
נקיטת אמצעי זהירות מצד המשתמשים והארגונים היא המפתח להגנה על תכנים ועל הפרטיות בעידן הבינה המלאכותית.
למידע נוסף:
מעוניינים להתייעץ עם מומחה, פנו למומחי איי פי וי סקיוריטי!
להתייעצות מקצועית ניתן לפנות אלינו לאימייל info@ipvsecurity.com או במספר הטלפון 077-4447130. IPV Security מתמחה זה 19 שנה באבטחת מידע, סייבר, סקרי סיכונים ותקנים ורגולציות הנוגעים לביטחון מידע ועוד.
