AI อธิปไตยใช้จริง: ลดค่าโทเคนครึ่งหนึ่ง เก็บข้อมูลในองค์กร

ในช่วงสองปีที่ผ่านมา องค์กรหลายร้อยแห่งสร้างต้นแบบ AI ที่น่าจับตามองด้วยการเชื่อมเอกสารภายในเข้ากับ API ของโมเดล AI สาธารณะ แต่เมื่อต้นแบบเหล่านั้นไปถึงโต๊ะของ CISO หรือการพิจารณางบประมาณของ CFO ส่วนใหญ่ก็หยุดก่อนถึงขั้นใช้งานจริง

สำหรับสถาบันการเงิน กระทรวงของรัฐ และกลุ่มบริษัทขนาดใหญ่ มีข้อจำกัดสองข้อที่ขวางทางอยู่

• ข้อมูลต้องอยู่ในบ้าน การส่งข้อมูลส่วนบุคคลของลูกค้า ไฟล์ KYC สองภาษา หรือข้อมูลเชิงปริมาณที่เป็นของบริษัท ผ่านบริการ AI ของบุคคลที่สาม ละเมิดกฎถิ่นที่อยู่ของข้อมูลและการควบคุมความเสี่ยงภายใน

• ต้นทุนเพิ่มตามจำนวนผู้ใช้ เมื่อทุกคำสั่ง (prompt) ทุกข้อความที่ค้นคืน และทุกขั้นตอนที่เอเจนต์ทำ ถูกส่งไปยังโมเดลระดับแนวหน้าที่มีพารามิเตอร์ 70 พันล้านตัวขึ้นไป ใบเรียกเก็บรายเดือนจะเพิ่มเร็วกว่าจำนวนผู้ใช้มาก

AI อธิปไตยที่หน่วยงานกำกับดูแลยอมรับและงบประมาณรับไหว ต้องอาศัยวิศวกรรมระบบที่มีวินัย ไม่ใช่คำสั่งที่ฉลาด เราสร้างมันแบบนี้

1. การประมวลผลภายในองค์กร โดยไม่มีข้อมูลออกไป

อธิปไตยของข้อมูลที่แท้จริงหมายความว่าไม่มีสิ่งใดออกจากสภาพแวดล้อมของคุณ ทั้งข้อมูลของคุณและข้อมูลเทเลเมตรีของโมเดล เราสร้างคลัสเตอร์ประมวลผล GPU ภายใน ณ สถานที่ของคุณ หรือในพื้นที่เช่าของคลาวด์อธิปไตยโดยเฉพาะ คลัสเตอร์เหล่านั้นรันโมเดลที่เปิดเผยน้ำหนัก ซึ่งปรับให้เข้ากับโดเมนของคุณและทำ quantization เพื่อความเร็ว บนเอนจินให้บริการที่มีอัตราการประมวลผลสูง เช่น vLLM และ TensorRT-LLM ข้อมูลของคุณยังคงเข้ารหัสอยู่ในขอบเขตความปลอดภัย และนโยบายตัวตนและการเข้าถึง (IAM) ที่มีอยู่ใช้บังคับได้ถึงระดับแต่ละแถวในที่เก็บเวกเตอร์

2. เอเจนต์ที่ลงมือทำภายใต้การควบคุม

โมเดลที่ตอบคำถามได้อย่างเดียวก็เหมือนช่องค้นหา ระบบที่ลงมือทำงานได้ต้องมีตัวแทนที่มีการควบคุม เรากำหนดมาตรฐานบน Model Context Protocol (MCP) และการประสานงานระหว่างเอเจนต์ (A2A) ซึ่งแยกโมเดลที่ใช้เหตุผลออกจากระบบหลักของคุณ

• เอเจนต์ใช้เฉพาะเครื่องมือที่ได้รับอนุมัติ เข้าถึง ERP API ของระบบธนาคารหลัก และเลกเฮาส์ข้อมูล ผ่านเซิร์ฟเวอร์ MCP ที่มีสคีมากำหนดตายตัวเท่านั้น ไม่เคยได้รับรหัสผ่านฐานข้อมูลดิบหรือบรรทัดคำสั่งแบบเปิด

• ทุกขั้นตอนถูกบันทึก ทุกการกระทำ การเรียกเครื่องมือ และการค้นคืน ถูกเขียนลงบันทึกที่แก้ไขไม่ได้ การเปลี่ยนแปลงที่มีความเสี่ยงสูง เช่น การอนุมัติด้านการปฏิบัติตามข้อกำหนดหรือการตัดสินใจสินเชื่อแทนผู้อนุมัติ จะหยุดรอจนกว่าคนจะอนุมัติด้วยลายเซ็นทางวิทยาการเข้ารหัส

3. FinOps สำหรับโทเคน: จ่ายตามโมเดลที่งานนั้นต้องใช้

ในสภาพแวดล้อมใช้งานจริง คำถามและการตรวจสอบด้านการปฏิบัติตามข้อกำหนดถึง 60% เป็นรูปแบบที่ซ้ำกัน การส่งทุกคำถามไปยังโมเดลที่ใหญ่ที่สุดทำให้เสียทั้งเงินและเวลา เกตเวย์สามระดับของเราลดค่าใช้จ่าย GPU และ API รายเดือนได้มากกว่าครึ่ง

• แคชเชิงความหมาย ก่อนเรียกโมเดล เกตเวย์จะตรวจว่ามีคำตอบที่ผ่านการตรวจสอบและสอดคล้องนโยบายอยู่แล้วหรือไม่ คำถามซ้ำได้รับการตอบภายในไม่ถึง 30 มิลลิวินาที โดยแทบไม่มีต้นทุนการประมวลผล

• กำหนดเส้นทางตามความยาก ตัวจำแนกขนาดเล็กประเมินว่างานนั้นต้องใช้อะไร งานสกัดข้อมูล การจำแนก และการแปลตามปกติจะไปยังโมเดลที่ปรับมาแล้วซึ่งรวดเร็ว ขนาด 7 ถึง 8 พันล้านพารามิเตอร์ ส่วนโมเดลที่ใช้เหตุผลหนักจะรับเฉพาะงานหลายขั้นตอน

• คำสั่งสั้นลง ไปป์ไลน์การค้นคืนจะลบข้อความซ้ำๆ ก่อนสร้างคำสั่ง จึงมีโทเคนเข้าไปน้อยลงโดยความแม่นยำไม่ลด

เริ่มต้นจากตรงไหน

หากงาน AI ของคุณติดอยู่ระหว่างการทบทวนด้านความปลอดภัยกับใบเรียกเก็บจากคลาวด์ที่ไม่แน่นอน เริ่มต้นที่ Blueprint Studio ของ XSIS ภายในเวลาเพียง 1 ถึง 2 สัปดาห์ สถาปนิกด้าน AI และคลาวด์ของเราจะจัดทำแผนที่ว่าข้อมูลของคุณต้องอยู่ที่ใด ทดสอบการกำหนดเส้นทางโมเดลกับภาระงานจริงของคุณ และส่งมอบสถาปัตยกรรมสำหรับใช้งานจริงที่มีขอบเขตคงที่