רוצים להטמיע RAG בסביבה הארגונית? הנה ארבע נקודות שחשוב לשים לב אליהן

תמונה: dreamstime

מאת: יואל יעקבסן ואורן פורת

ארגונים הולכים ומאמצים פתרונות AI, וכיום משתמשים בהם בעיקר לכתיבת קוד, למשל באמצעות Copilot ואחרים, בפיתוחים כמו צ'אט בוט, סיכום מסמכים והשוואת מסמכים, תרגום אוטומטי ויצירת תוכן. כדי להרחיב את השימוש ולהטמיע פתרונות בינה במערכות הארגון, הם צריכים להידרש לסוגיות ואתגרים כמו אבטחת המידע הארגוני ושמירה על פרטיות, בעיות ציות ורגולציה, סוגיית החזר ההשקעה, וגם עם אמינות המידע שהפתרון מספק וזמן ההטמעה, שיכול להיות ממושך ואף מורכב.

לפי מחקר של גרטנר,עד שנת 2025 לפחות 30 אחוזים מהפרויקטים יינטשו לאחר שלב ההיתכנות בגלל איכות נתונים ירודה, ניהול סיכונים לא תואם, עלויות גבוהות וערך עסקי לא ברור. נוסף לכך, סוגיית השפה מהווה חסם עבור ארגונים ישראליים, משום שרכיבי ההעשרה במידע ארגוני והממשקים למערכות אינם מותאמים לעברית, מה שמקשה על גישה למאגרי המידע הפנימיים ולמקורות חיצוניים בעברית.

ועדיין, 83 אחוזים מהארגונים נמצאים בשלבי בדיקה של פתרונות GenAI. אחד המובילים כיום עבור ארגונים הוא שימוש באחזור מתוגבר של מידע ממאגרי המידע הארגוניים – RAG –  Retrieval Augmented Generation, מבוססי LLM שזוכה לפופולריות רבה בקרב צרכנים באפליקציות דוגמת chatGPT, Claude ועוד.

מותאם למשימות ספציפיות

RAG מתבססת על תשתיות איסוף של מידע ארגוני ומשולבות במודלי שפה מודרניים ובאחזור סמנטי כדי לאפשר תשאול בשפה טבעית. הן מפיקות תשובה קוהרנטית בשפה טבעית, ומספקות רפרנסים לכל המידע הארגוני שבנה את התשובה. כיוון שהן מיושמות על מאגרי המידע הארגוניים, שהם מדויקים ומאומתים, הסיכון למידע שגוי קטן והאמינות בקבלת החלטות גדלה. אגב, ניתן לשלב את החיפוש הארגוני עם חיפושים באינטרנט ולהעשיר את תוצרי המידע. גם שיעור ההטיות קטן בשיטת RAG לעומת מודלים גנריים של LLM, וניתן להתאימו לצרכים ולמשימות ספציפיות של משתמשים, מחלקות וכלל הארגון.

הטמעה של RAG בארגון נחשבת להבטחה הגדולה של עולם ה-GenAI הארגוני, משום שהן אמורות לתת מענה לאתגרים של הארגונים ולשפר משמעותית את הפרודוקטיביות של העובדים באמצעות עיבוד מבוסס AI של המידע הארגוני. עם זאת, כיום רוב פתרונות ה-AI שארגונים משתמשים בהם לא נמצאים בתוך הארגון, אלא בענן כלשהו והם מאומנים על מידע ציבורי, מה שמעלה התמודדות עם סוגיות מורכבות של הרשאות גישה.

הפתרון המסתמן לכך הוא הטמעת מודלים של AI ו-RAG בסביבה ארגונית סגורה ומבוקרת, אבל יש כמה דברים שחשוב לשים לב אליהם במהלך כזה.

1. אבטחה ופרטיות

מנגנוני אבטחה ופרטיות, לרבות מערכת לניהול משתמשים והרשאות גישה, שבאמצעותה ניתן להגדיר אילו סוגי תכנים יהיו מותרים לאחזור על ידי אילו משתמשים. כך התכנים של הפרומפטים – השאלות והתשובות – יהיו מאובטחים ברמה גבוהה ולא חשופים מחוץ לארגון או שחשופים בצורה מבוקרת. זו גם אחת הדרישות שיש לעמוד בהן כדי לציית לכללי הממשל התאגידי.

2. גישה קלה

גישה לשימוש בלחיצת כפתור, ללא צורך בפרויקט פיתוח של אפליקציה. חשוב מאוד לאפשר תחילת שימוש מיידי, כולל חיבורים מובנים למערכות המידע הארגוני, ופרוייקטים ארוכים ומורכבים של הטמעה הם בדיוק חסם שימנע את זה. אחרי ההתקנה יכול כל משתמש בארגון להציג פרומפטים ולקבל לכל אחת מהן תשובה קוהרנטית בשפה טבעית, עם רפרנסים לכל המידע הארגוני שבנה את התשובה.

3. חיפוש מגוון

כדאי לשלב את החיפוש הארגוני עם מידע ממאגרי מסמכים פנימיים ומאתרי אינטרנט נבחרים, כדי לקבל מידע רלוונטי בשיחה עם המודל. תשתיות ה-RAG כוללות חיבורים מובנים למאגרי המידע הארגוניים כמו: SharePoint, Onedrive, Google Drive, Teams, Slack, דואר אלקטרוני ועוד – כולם מדויקים ומאומתים. כיוון שלעובדים מסוימים יש הרשאות גישה  מוגבלות, שילוב עם מקורות מהימנים נוספים יבטיח מידע עשיר, מדוייק ורלוונטי, אך לא יחשוף מידע חסוי.

4. לכתוב בעברית

רבות מהפלטפורמות הארגוניות מתבססות על מודלים שאינם דוברי עברית, אבל קיימים פתרונות ייעודיים לשוק הישראלי, שיאפשרו לשאול שאלות ולקבל תשובות בעברית, כך שכל העובדים יוכלו לאמץ ולהשתמש בכלי ה-AI הארגוניים.

יואל יעקבסן הוא CTO בקבוצת EMET ואורן פורת הוא מנכ"ל EMET Dorcom