AI chủ quyền khi vận hành: giảm nửa chi phí token, giữ dữ liệu

Hai năm qua, hàng trăm doanh nghiệp đã xây các nguyên mẫu AI đầy hứa hẹn bằng cách kết nối tài liệu nội bộ với API mô hình AI công khai. Nhưng khi những nguyên mẫu đó đến bàn của CISO hoặc buổi duyệt ngân sách của CFO, phần lớn dừng lại trước khi vào vận hành thật.

Với tổ chức tài chính, các bộ, cơ quan chính phủ và tập đoàn thương mại lớn, hai giới hạn cứng đang chặn đường:

• Dữ liệu phải ở lại bên trong. Gửi dữ liệu cá nhân của khách hàng, hồ sơ KYC song ngữ hoặc dữ liệu định lượng độc quyền qua một dịch vụ AI bên thứ ba vi phạm quy tắc lưu trú dữ liệu và kiểm soát rủi ro nội bộ.

• Chi phí tăng theo từng người dùng. Khi mọi lời nhắc, mọi đoạn được truy xuất và mọi bước tác nhân thực hiện đều đi tới một mô hình tiên phong 70 tỷ tham số trở lên, hóa đơn hằng tháng tăng nhanh hơn nhiều so với số người dùng.

AI có chủ quyền mà cơ quan quản lý chấp nhận và ngân sách chịu được đòi hỏi kỹ thuật hệ thống có kỷ luật, không phải những lời nhắc khéo léo. Dưới đây là cách chúng tôi xây dựng.

1. Suy luận riêng, không dữ liệu nào rời đi

Chủ quyền dữ liệu thật nghĩa là không có gì rời khỏi môi trường của bạn: không phải dữ liệu của bạn, cũng không phải dữ liệu đo từ xa của mô hình. Chúng tôi xây cụm suy luận GPU riêng, tại cơ sở của bạn hoặc trong một không gian thuê đám mây có chủ quyền chuyên biệt. Chúng chạy mô hình trọng số mở, tinh chỉnh cho lĩnh vực của bạn và lượng tử hóa để tăng tốc, trên các công cụ phục vụ thông lượng cao như vLLM và TensorRT-LLM. Dữ liệu của bạn được mã hóa bên trong vành đai bảo mật, và chính sách danh tính, truy cập hiện có (IAM) áp dụng xuống tới từng dòng trong kho vectơ.

2. Tác nhân hành động, trong tầm kiểm soát

Một mô hình chỉ trả lời câu hỏi là một thanh tìm kiếm. Một hệ thống thực hiện công việc cần quyền tự chủ được kiểm soát. Chúng tôi chuẩn hóa theo Giao thức ngữ cảnh mô hình (MCP) và điều phối tác nhân với tác nhân (A2A), giữ mô hình suy luận tách khỏi hệ thống lõi của bạn:

• Tác nhân chỉ dùng công cụ đã duyệt. Chúng chỉ truy cập ERP, API ngân hàng lõi và lakehouse qua các máy chủ MCP định kiểu chặt với lược đồ cố định. Chúng không bao giờ nhận mật khẩu thô của cơ sở dữ liệu hay một dòng lệnh tự do.

• Mọi bước đều được ghi lại. Mỗi hành động, lệnh gọi công cụ và lần truy xuất được ghi vào nhật ký bất biến. Những thay đổi rủi ro cao, như phê duyệt tuân thủ hoặc ghi đè quyết định tín dụng, tạm dừng cho đến khi có người phê duyệt bằng chữ ký mật mã.

3. FinOps token: trả tiền cho mô hình mà mỗi nhiệm vụ cần

Trong vận hành thật, tới 60% truy vấn và kiểm tra tuân thủ theo những mẫu lặp lại. Gửi tất cả chúng tới mô hình lớn nhất là lãng phí tiền và thời gian. Cổng ba tầng của chúng tôi giảm hơn một nửa chi phí GPU và API hằng tháng:

• Bộ nhớ đệm ngữ nghĩa. Trước khi gọi mô hình, cổng kiểm tra xem đã có câu trả lời đã được xác thực, tuân thủ chính sách chưa. Câu hỏi lặp lại được trả lời dưới 30 mili giây, gần như không tốn chi phí tính toán.

• Định tuyến theo độ khó. Một bộ phân loại nhỏ đánh giá mỗi nhiệm vụ cần gì. Trích xuất, phân loại và dịch thường quy đi tới các mô hình nhanh, đã tinh chỉnh, 7 đến 8 tỷ tham số. Các mô hình suy luận nặng chỉ xử lý công việc nhiều bước.

• Lời nhắc ngắn hơn. Đường ống truy xuất loại bỏ phần khuôn mẫu lặp lại trước khi lời nhắc được dựng, nên ít token đi vào hơn mà không mất độ chính xác.

Bắt đầu từ đâu

Nếu công việc AI của bạn kẹt giữa các đợt rà soát bảo mật và hóa đơn đám mây khó dự báo, hãy bắt đầu với Blueprint Studio của XSIS. Chỉ trong 1 đến 2 tuần, kiến trúc sư AI và đám mây của chúng tôi lập bản đồ nơi dữ liệu phải ở, kiểm thử định tuyến mô hình với khối lượng công việc thật và bàn giao kiến trúc vận hành thật với phạm vi cố định.