נתפסה על חם? קלאודפלייר חשפה את התרגיל של Perplexity AI
מנוע החיפוש מבוסס ה-AI שבר את אחד החוקים האינטרנטיים הוותיקים ביותר, ורק עכשיו עלו על זה
תמונה: Unsplash
Preplexity, מנוע חיפוש מבוסס ה-AI שידוע בעיקר עקב נטייתו לספק לכם תשובות במקום רשימת קישורים, עומד במוקד של סערה ויראלית ביממה האחרונה, לאחר שהואשם על ידי CloudFlare בשבירת חוק אינטרנטי בן למעלה מ-30 שנה.
לטענת קלאודפלייר, הדרך שבה מנוע החיפוש משיג את המידע שלו רחוקה מלהיות אתית, ואם להיות בוטים – מכוערת במיוחד. כדי להסביר את החטא הגדול, נחזור קודם כל אל שנות ה-90 של המאה הקודמת, אז פורסם פרוטוקול בשם Robots.txt, שהפך במהרה ל"הסכם ג'נטלמנים" בין הבוטים ברשת לבין בעלי אתרים.
הפרוטקול לא מונע מהבוטים לסרוק את התוכן באתר באופן אקטיבי, אבל מפרט אילו חלקים באתר פתוחים עבור הבוטים ואילו סגורים. באופן מסורתי, בוטים של מנועי חיפוש כדוגמת גוגל ובינג נוהגים לציית לפרוטוקול, אבל נראה שבפרפלקסיטי החליטו ללכת בכיוון אחר.
כל עדכוני ה-IT, תשתית וטכנולוגיה בערוץ הטלגרם של ITtime
הדלת סגורה? אז נכנסים מהחלון
לפי Cloudflare, פרפלקיסטי מוסיפה חטא על פשע כאשר היא שולחת את הבוט הרשמי שלה לסרוק את האתר הרצוי, כך שלכאורה היא מכבדת את הפרוטוקול. עם זאת, לאחר סריקת הקובץ וחסימת הבוט הרשמי שלה מהחלקים אליהם אסור לו להיכנס, היא מפעילה בוטים סמויים שחומקים פנימה אל אותם חלקים בדיוק.
הדרך שבה הבוטים של Perplexity חודרים לאתרים מתחלקת לשניים: ראשית הם מחליפים כתובות IP באופן קבוע, כמו זיקית שמחליפה צבעים כחלק מהסוואתה. פעם אחת הם יתחזו לכניסות מישראל ופעם מארצות הברית, יום למחרת מגרמניה וכן הלאה. במקביל, הבוטים מסווים את עצמם כגולשים תממיים שפועלים דרך דפדפן כרום ולמעשה לא מציגים את עצמם לאתר כבוטים שסורקים אותו למידע עבור מנוע חיפוש. הטעיה מוחלטת. אם להסתמך על קלאופלייר, מדובר במבצע רחב היקף שסורק עשרות אלפי אתרים באמצעות מיליוני בקשות מדי יום.
למה הם צריכים את כל המידע הזה בכלל?
פשוט מאוד: ה-AI היא חיית מחמד שלא יודעת שובע. כדי לתת לכם תשובות חכמות ועדכניות, המודל צריך לזלול תוכן כל הזמן, והוא לא בררן. הגישה של פרפלקסיטי ככל הנראה כבר הספיקה לעצבן לא מעט גורמים, כשנזכיר כי כבר בחודש אוקטובר החברה נתבעה בטענה שגנבה תוכן מ-News Corp ופרסמה אותו מילה במילה במנוע החיפוש שלה מבלי לתת קרדיט ראוי. בנוסף, ומגזין פורבס האשים אותם ב"גניבה צינית" של כתבה.
נראה שהגענו לפתחו של עידן חדש, בו "הסכם ג'נטלמני" שקיים כבר שלושה עשורים פחות מעניין חברות חדשות ואגרסיביות יותר. קלאודפלייר כבר הודיעה שהיא מפסיקה להיות נחמדה ומתחילה לחסום את הבוטים החמקנים האלה באופן אקטיבי. השאלה הגדולה היא אם אנחנו בדרך לשינוי דרמטי ברשת שיהפוך כל אתר למבצר, כדי שאורחים לא רצויים לא יוכלו להיכנס פנימה.
