בינה מלאכותית ריבונית בייצור: חצי מהטוקנים, הנתונים בפנים

בשנתיים האחרונות בנו מאות ארגונים אבות טיפוס מבטיחים ל-AI על ידי חיבור מסמכים פנימיים ל-API ציבוריים של מודלי AI. אולם כשאבות הטיפוס האלה מגיעים לשולחן ה-CISO או לסקירת התקציב של ה-CFO, רובם נעצרים לפני הייצור.

עבור מוסדות פיננסיים, משרדי ממשלה וקבוצות מסחריות גדולות, שני גבולות נוקשים עומדים בדרך:

• הנתונים חייבים להישאר בבית. שליחת מידע אישי של לקוחות, קובצי KYC דו-לשוניים או נתונים כמותיים קנייניים דרך שירות AI של צד שלישי מפרה כללי מיקום נתונים ובקרות סיכון פנימיות.

• העלויות גדלות עם כל משתמש. כשכל פרומפט, כל קטע מאוחזר וכל צעד של סוכן עוברים במודל מוביל של 70 מיליארד פרמטרים או יותר, החשבון החודשי גדל מהר בהרבה ממספר המשתמשים.

בינה מלאכותית ריבונית שרגולטור מקבל ותקציב יכול לשאת דורשת הנדסת מערכות ממושמעת, לא פרומפטים חכמים. כך אנחנו בונים אותה.

1. הסקה פרטית, בלי שהנתונים יוצאים

ריבונות נתונים אמיתית פירושה ששום דבר לא יוצא מהסביבה שלכם: לא הנתונים שלכם, ולא הטלמטריה של המודל. אנחנו בונים אשכולות הסקה פרטיים של GPU, בחצרים שלכם או בחשבון ענן ריבוני ייעודי. הם מריצים מודלים עם משקלים פתוחים, מותאמים לתחום שלכם ומכווצים למהירות, על מנועי שירות בעלי תפוקה גבוהה כמו vLLM ו-TensorRT-LLM. הנתונים שלכם נשארים מוצפנים בתוך היקף האבטחה שלכם, ומדיניות הזהות והגישה (IAM) הקיימת חלה עד לרמת שורה בודדת במאגר הווקטורים.

2. סוכנים שפועלים, בשליטה

מודל שעונה רק על שאלות הוא שורת חיפוש. מערכת שמבצעת עבודה זקוקה ליכולת פעולה מבוקרת. אנחנו מתקננים ב-Model Context Protocol (MCP) ובתזמור סוכן לסוכן (A2A), שמפרידים את מודל ההסקה מהמערכות הליבה שלכם:

• הסוכנים משתמשים רק בכלים מאושרים. הם מגיעים ל-ERP, ל-API של בנקאות ליבה ולמאגרי נתונים מסוג lakehouse רק דרך שרתי MCP טיפוסיים עם סכימות קבועות. הם לעולם לא מקבלים סיסמאות מסד נתונים גולמיות או שורת פקודה פתוחה.

• כל צעד מתועד. כל פעולה, קריאת כלי ושליפה נכתבות ליומן שאינו ניתן לשינוי. שינויים בסיכון גבוה, כמו אישור ציות או שינוי החלטת אשראי, מושהים עד שאדם מאשר אותם בחתימה קריפטוגרפית.

3. Token FinOps: משלמים על המודל שכל משימה צריכה

בייצור, עד 60% מהשאילתות ובדיקות הציות עוקבות אחר דפוסים חוזרים. שליחת כולן למודל הגדול ביותר מבזבזת כסף וזמן. שער בעל שלוש שכבות שלנו מפחית ביותר מחצי את ההוצאה החודשית על GPU ועל API:

• מטמון סמנטי. לפני קריאה למודל, השער בודק אם כבר קיימת תשובה מאומתת שתואמת למדיניות. שאלות חוזרות נענות בפחות מ-30 אלפיות השנייה, כמעט בלי עלות חישוב.

• ניתוב לפי מורכבות. מסווג קטן מעריך מה כל משימה צריכה. חילוץ, סיווג ותרגום שגרתיים עוברים למודלים מהירים ומותאמים של 7 עד 8 מיליארד פרמטרים. מודלי ההסקה הכבדים מטפלים רק בעבודה מרובת שלבים.

• פרומפטים קצרים יותר. צינור השליפה מסיר טקסט חוזר לפני בניית הפרומפט, כך שנכנסים פחות טוקנים, בלי אובדן דיוק.

מאיפה מתחילים

אם עבודת ה-AI שלכם תקועה בין סקירות אבטחה לחשבונות ענן בלתי צפויים, מתחילים ב-Blueprint Studio של XSIS. בתוך שבוע עד שבועיים בלבד, ארכיטקטי ה-AI והענן שלנו ממפים היכן הנתונים חייבים להישאר, בודקים ניתוב מודלים על עומסי העבודה האמיתיים שלכם ומספקים ארכיטקטורת ייצור עם היקף קבוע.