Nền tảng bán lại AI API và tính cước LLM mã nguồn mở

NexCMP vốn đã tính cước máy ảo qua ví trả trước. AI Models bổ sung thêm một gateway vào cùng panel đó, giúp ví tiền, khách hàng, đại lý bán lại và ticket hỗ trợ vốn dùng để bán máy chủ nay có thể bán cả quyền truy cập AI API.

Đây là một lớp tính cước và kiểm soát, không phải đơn vị cung cấp model. Bạn thêm các nhà cung cấp mà bạn có quyền sử dụng, chọn model muốn mở và mức giá tương ứng, rồi khách hàng sẽ gọi tới một endpoint duy nhất trên tên miền của bạn bằng key riêng. Khách hàng chỉ thấy tên miền và mức giá của bạn, hoàn toàn không biết nhà cung cấp nào đã xử lý yêu cầu.

Bạn đang tìm kiếm AI Chat và AI Agent? Đó là sản phẩm khác: trợ lý bên trong cổng khách hàng và agent vận hành trên máy chủ của khách hàng. Sản phẩm đó không bán quyền truy cập model, và hai mô-đun này hoàn toàn độc lập với nhau.

• AI Chat và AI Agent
• Tính phí theo giờ, ví tiền và hóa đơn
• Bảng giá: miễn phí, Source $499

Client của khách hàng trỏ tới tên miền của bạn và sử dụng key do panel cấp. Một key có thể gọi mọi model được cấp phép. Gateway hoạt động ngay trên tên miền của panel và stream phản hồi theo cả hai định dạng.

• Các client tương thích Anthropic cũng có thể dùng /ai/v1/messages/count_tokens.
• Lượng token sử dụng được lấy trực tiếp từ phản hồi của nhà cung cấp. Nếu phản hồi không có, NexCMP sẽ ước lượng và đánh dấu bản ghi là ước tính.
• Gateway không chuyển đổi định dạng qua lại. Model do nhà cung cấp tương thích OpenAI phục vụ sẽ được gọi qua endpoint tương thích OpenAI, còn model do nhà cung cấp tương thích Anthropic phục vụ sẽ qua endpoint tương thích Anthropic. Nhà cung cấp thuộc loại Both sẽ đáp ứng được cả hai.
• Các công cụ chạy phía nhà cung cấp và tính phí theo lượt gọi, chẳng hạn như web search, sẽ bị từ chối vì không thể đo lường cước phí. Chỉ một danh sách ngắn các tham số an toàn mới được chuyển tiếp.

POST https://your-domain/ai/v1/chat/completions   OpenAI-compatible
POST https://your-domain/ai/v1/messages            Anthropic-compatible
GET  https://your-domain/ai/v1/models              model list
GET  https://your-domain/ai/v1/models/pricing      public price list, no key

• Ba mức giá cho mỗi model

  Input, cached input và output, tính bằng USD trên 1 triệu token. Model chưa có giá bán sẽ không thể bật.

• Cached input

  Cho đến khi bạn đặt giá cho cached input, các token trong cache sẽ được tính theo giá input. Chúng không miễn phí.

• Giá vốn tùy chọn

  Nhập chi phí vốn của model nếu bạn muốn theo dõi lãi lỗ theo ngày và theo model trên trang Profit. Khi đã nhập, giá bán thấp hơn giá vốn cộng biên lợi nhuận tối thiểu sẽ bị từ chối, trừ khi bạn xác nhận chấp nhận lỗ.

• Đặt giá bán từ giá vốn

  Một nút bấm giúp thiết lập giá bán từ giá vốn cộng với tỷ lệ markup do bạn chọn. Không có markup mặc định.

• Bảng giá công khai

  Khách hàng và khách truy cập có thể xem bảng giá của bạn mà không cần key, tại địa chỉ bảng giá trên gateway của bạn.

Mức sử dụng AI được trừ trực tiếp vào ví trả trước của khách hàng, cùng loại ví dùng để thanh toán cho mọi dịch vụ khác của NexCMP. Bạn thiết lập giá; khách hàng nạp tiền như bình thường.

Trước khi request được gửi tới nhà cung cấp, NexCMP sẽ tạm giữ số tiền từ ví tương ứng với mức chi phí tối đa của request. Nếu số dư dưới mức tối thiểu (mặc định là 20 cent) hoặc không đủ, request sẽ bị từ chối với lỗi 402 insufficient_balance và không có nhà cung cấp nào được gọi. Nhờ việc tạm giữ tiền trước, các request gửi song song sẽ không thể làm số dư ví bị âm.

Mức sử dụng được tổng hợp theo tài khoản và quyết toán vào sổ cái ví sau khi hết giờ, với chu kỳ quét mỗi 5 phút. Phần sử dụng chưa được quyết toán cũng đã được khấu trừ vào số dư mà gateway ghi nhận.

• Model và giá

  Xem các model bạn cung cấp cùng giá bán, base URL và các lệnh mẫu có sẵn.

• Key, mức sử dụng và log

  Tạo key, xem mức sử dụng theo model, key và ngày, đồng thời lọc log yêu cầu. Log chỉ hiển thị metadata, tuyệt đối không bao giờ chứa nội dung yêu cầu.

• Cài đặt

  Thiết lập ngân sách tài khoản và địa chỉ email nhận cảnh báo.

• Playground

  Chat với model, so sánh nhiều model song song và sao chép mã tương ứng với Get Code.

1. 1

   Bật module

   Trong admin console, mở License & updates, Modules và bật AI Models.

2. 2

   Thêm provider và kiểm tra kết nối

   Nhập loại provider, base URL và key, sau đó chạy kiểm tra kết nối.

3. 3

   Đồng bộ model và thiết lập giá

   Đồng bộ danh sách model, thiết lập giá bán, thêm nhà cung cấp thứ hai làm tuyến dự phòng nếu có, và bật các model lên.

4. 4

   Bật công tắc mở bán

   Bật công tắc mở bán trong các trang quản trị AI Models để khách hàng có thể sử dụng dịch vụ.

5. 5

   Khách hàng tạo key và gọi endpoint của bạn

   Khách hàng nạp tiền vào ví, tạo key trong portal và trỏ client về domain của bạn.

AI Models là một module như các module khác và được bao gồm trong cả NexCMP Free lẫn NexCMP Source. NexCMP không thu thêm phí cho module này và không có gói riêng; bạn tự chi trả chi phí cho nhà cung cấp, phần cứng và phí cổng thanh toán của mình.

NexCMP Free có giá $0 cho năm đầu tiên: bản build có chữ ký đầy đủ với mọi module, vá lỗi và cập nhật trong 1 năm, cùng số lượng domain reseller tùy thích. Sau năm đầu tiên, phí gia hạn là $99 mỗi năm, và phần mềm vẫn tiếp tục hoạt động nếu bạn không gia hạn. NexCMP Free dành cho các nhà mạng có ASN riêng và subnet đăng ký chính chủ; đơn đăng ký sẽ được xét duyệt. NexCMP Source là gói mua một lần giá $499 bao gồm toàn bộ mã nguồn, tất cả ứng dụng được build sẵn cho bạn và 30 ngày làm việc cùng kỹ sư chuyên gia.

• Bảng giá và các gói
• AI Chat và AI Agent
• Khám phá toàn bộ nền tảng
• Câu hỏi thường gặp

NexCMP không cung cấp model, API key, token, tài khoản nhà cung cấp hay giá bán. Bạn kết nối các nguồn model mà mình được phép sử dụng và bán lại, đồng thời bạn chịu trách nhiệm tuân thủ các điều khoản của nhà cung cấp và luật pháp áp dụng cho bạn.

Nhiều nguồn model hạn chế việc bán lại hoặc chuyển quyền truy cập cho bên thứ ba. Hãy đọc kỹ điều khoản của từng nguồn và hỏi nhà cung cấp xem bạn có cần một thỏa thuận riêng trước khi cung cấp model của họ cho khách hàng hay không.

Bạn cũng cần có chính sách sử dụng chấp nhận được với khách hàng của mình và quy trình xử lý báo cáo lạm dụng. Việc nguồn model xử lý dữ liệu bạn gửi tới ra sao sẽ tuân theo điều khoản của nguồn đó; bản thân NexCMP không ghi lại prompt hay phản hồi. Trang này không cấu thành lời khuyên pháp lý.

• nexcmp.com/docs/infrastructure/ai-models/
• nexcmp.com/docs/infrastructure/modules/