סקיל, סקייל וכאב ראש: כך משנה Kafka את עולם ה-DevOps
הדאטה זורם בלי שנרגיש, ומזיז מיליארדי דולרים: איך טכנולוגיית Kafka הפכה מהמצאה פנימית בלינקדאין לתשתית ליבה? ראיון עם דניאל לוית, מנהל פעילות חברת Confluent בישראל, על ה-Latency, אתגרי הניטור וה-Data in Motion
כשאתם רואים יתרה מתעדכנת באפליקציה של הבנק מיד או מקבלים התראה על תוצאות בדיקה רפואית בשנייה שהיא יוצאת מהמעבדה – מאחורי הקלעים עובדת תשתית אחת: Kafka.
הטכנולוגיה, שנולדה מתוך צורך פנימי בלינקדאין, הפכה לסטנדרט עולמי בעיבוד אירועים (Event Streaming) בזמן אמת, רשימת החברות שמשתמשות בה היא ארוכה מאוד ואפשר למצוא שם את אדידס, סיסקו, קלאודפלייר, נטפליקס, פיירפוקס, אורקל ועוד. זה לא רק כלי נחמד זו צנרת קריטית שבלעדיה ארגונים כבר לא יכולים לספק שירותים רציפים ומיידיים.
שוחחנו עם דניאל לוית, מנהל פעילות Confluent בישראל (החברה שהוקמה על ידי מפתחי Kafka המקוריים), כדי להבין איך זה עובד מבפנים, ובעיקר לדבר על כאבי הראש של אנשי ה-IT וה-DevOps שמנהלים את זה ב-Production.
שכבת תשתית שמחברת מערכות מנותקות
"לינקדאין התמודדה עם כמויות אדירות של אירועים מכל כיוון: לוגים, פעילות משתמשים וכל מערכת עבדה בנפרד", לוית מתחיל לספר כיצד נולדה הטכנולוגיה, "הפתרון היה לבנות שכבת תשתית אחידה שמטרתה היחידה היא להעביר מידע בזמן אמת, בקצב של מיליוני הודעות בשנייה, ולאפשר למערכות 'לדבר' אחת עם השנייה".
ארכיטקטונית, סוד העוצמה הוא בפשטות: יש Brokers (השרתים המרכזיים) שמנהלים את זרימת המידע, שמאורגן ב-Topics. כל Topic מחולק למחיצות (Partitions), מה שמאפשר חלוקת עומסים וסקייל אינסופי. יש Producers שדוחפים את האירועים ו-Consumers שמושכים אותם, והיתרון המכריע הוא שאף אחד מהצדדים לא צריך להכיר את הצד השני – הם עובדים רק דרך ה-Topics. המבנה הזה יוצר חופש, גמישות ויכולת לנהל תעבורת מידע עצומה.
דניאל לוית מנהל פעילות קונפלואנט בישראל
כאן אנחנו גם נכנסים לעובי הקורה של ה-DevOps. הקמת קלאסטר ראשוני היא החלק הקל; הניהול השוטף – זה כבר סיפור אחר. "כאן מתחיל הקושי האמיתי", מודה לוית, "להקים קלאסטר של Kafka זה לא כמו להתקין אפליקציה ולשכוח ממנה. צריך לתכנן מראש את גודל ה-Topics, להגדיר נכון את חלוקת המחיצות ולחשוב על תרחישי כשל. אחד האתגרים הגדולים הוא ניטור: מספיק ש-Consumer אחד מתעכב מאחור (Lagging) כדי ליצור צוואר בקבוק לכל המערכת".
ויש גם את התחזוקה השוטפת: איך מעדכנים גרסאות, מוסיפים ומורידים Brokers, והכי חשוב – איך עושים את זה בלי שירגישו. Kafka היא מערכת קריטית בליבת הארגון וה-Management שלה דורש מומחיות וניסיון אמיתי.
בנוסף לאתגרים התפעוליים, שלושה שיקולים ביצועיים הם קריטיים לכל מנהל תשתיות: השהיה נמוכה (Latency), ברמה של מילישניות, כי אם הודעה מגיעה מאוחר מדי היא כבר לא רלוונטית; זמינות גבוהה (High Availability) – Kafka חייבת לבצע העתקה של מידע (Replication) בין שרתים שונים כדי להבטיח שהמידע לא יאבד גם אם Broker נופל; ואבטחת מידע. "זה כבר לא 'Nice to Have'," מדגיש לוית, "היום, במיוחד בארגונים פיננסיים, מדובר במידע רגיש ביותר, והצפנה, בקרות גישה ואימות משתמשים הם חלק אינטגרלי מתכנון המערכת. גופי פינטק וביטחון בישראל מסתמכים על Data Streaming כדי לקבל החלטות קריטיות בשבריר שנייה".
להקים קלאסטר של Kafka זה לא כמו להתקין אפליקציה ולשכוח ממנה. צריך לתכנן מראש את גודל ה-Topics, להגדיר נכון את חלוקת המחיצות ולחשוב על תרחישי כשל
Kafka הפכה לסטנדרט דה-פקטו עם Ecosystem של מחברים (Connectors) לתשתיות מרכזיות ומערכות צד שלישי. היא יודעת לשבת באמצע ולחבר בין מערכות שונות.
"בבנק, למשל, היא מתווכת בין מערכות הליבה הוותיקות לבין אפליקציות המובייל החדשות", אומר לוית, "בקופת חולים היא מחברת בין מערכות המעבדה, ה-CRM והאפליקציה, כך שהמטופל מקבל התראה על תוצאות בדיקות ברגע שהן מוכנות". במילים אחרות, Kafka הופכת אוסף מערכות מנותקות לאקו סיסטם אחד זורם ורציף, ובכך היא מאפשרת ניתוק Microservices, ניתוב לוגים והעברת מסרים עסקיים וטכנולוגיים קריטיים.
כל עדכוני ה-IT, תשתית וטכנולוגיה בערוץ הטלגרם של ITtime
לוית מצביע על שלושה וקטורים מרכזיים לעתיד הקרוב: שילוב עם בינה מלאכותית בזמן אמת (AI), שכן מודלים חייבים לקבל זרם מתמשך של נתונים; Edge Computing, שם הפעלת צרכני דאטה קרוב למכשירי הקצה (כמו רכב אוטונומי) היא קריטית; ומערכות אוטונומיות לניהול עצמי. "בסופו של דבר," הוא מסכם, "העולם עובר מתפיסה של Data at Rest – דאטה שנאגר ונשלף – ל-Data in Motion, כלומר דאטה שחי וזז כל הזמן. עבור אנשי IT ו-DevOps, Kafka היא כבר לא עוד כלי, אלא השכבה הלוגית שמאפשרת לארגון לתפקד".
לוית מסיים עם מסר חד וברור לקהל המקצועי: "הטכנולוגיה הזו הפכה לתשתית קריטית בארגונים מונעי דאטה, בדיוק כמו שרתים או רשתות, וכדי לספק שירותים דיגיטליים רציפים, מאובטחים ומיידיים חייבים להבין איך ליישם ולנהל Kafka בצורה נכונה",ומדגיש כי עבור אנשי ה-IT וה-DevOps השליטה ב-Kafka היא כישור ליבה: " היא הצנרת שמאפשרת לארגון לתפקד בעולם שכולו זרם אירועים בזמן אמת, מניתוק Microservices ועד ניתוב לוגים".
