跳至内容
ZH-CN
免费获取NexCMP

AI Models

开源AI API分销与LLM计费平台

NexCMP AI Models是自托管NexCMP控制面板的附加组件，让您能够在自己的域名下销售AI模型访问权限。您只需接入已获授权使用的模型源，为每个模型设置价格，您的客户即可通过一个API密钥发起调用，按token计量扣费，并直接从预付费钱包中结算。

免费获取NexCMP获取NexCMP Source — $499查看演示

AI Models是NexCMP的一部分，无需额外付费。该功能默认处于关闭状态，需手动开启。NexCMP不提供模型、API密钥、token或供应商账户：您需自行接入已获授权使用的模型源。NexCMP Source：完整源码，$499一次性买断。 仅供您自身业务使用、修改和自托管。您可以销售自己运营的服务；但不得转售或再分发源码及构建产物。 源码许可证条款

什么是NexCMP AI Models附加组件？

NexCMP原生支持通过预付费钱包对虚拟机进行计费。AI Models在同一控制面板中增加了网关功能，使得用于销售服务器的钱包、客户、分销商及工单系统，也能无缝用于销售AI API访问权限。

它是计费与管控层，而非模型供应商。您添加有权使用的供应商，自主选择提供的模型并设定价格，客户只需使用专属密钥调用您域名下的统一端点。客户看到的始终是您的域名和价格，绝不会暴露实际处理请求的上游供应商。

您在寻找AI Chat和AI Agent吗？那是另一款独立产品：客户门户内的智能助手，以及在客户服务器上运行的智能体。它并不销售模型访问权限，且这两个模块互不依赖。

客户如何使用AI Models

每个界面均为客户门户中服务页面的一个标签页，并展示了示例数据。选择一个标签页，使用箭头或左右键切换，或打开全屏查看器。

模型

客户门户，AI Models“模型”标签页：定价API链接以及包含标签、上下文大小、输入价格和输出价格的模型列表。
展示在售模型及其每百万Token的价格，并提供定价API链接。

API密钥

客户门户，AI Models“API密钥”标签页：密钥列表，显示掩码密钥、最后使用时间、状态与预算消耗情况，以及兼容OpenAI和Anthropic的Base URL。
创建密钥、为每个密钥设置预算，并复制兼容OpenAI与Anthropic客户端的Base URL。

用量

客户门户，AI Models“用量”标签页：总支出、请求数、成功与失败请求数、Token数以及每日支出图表。
按日期、模型和密钥统计支出、请求数及Token数。

日志

客户门户，AI Models“日志”标签页：请求列表，显示时间、类型、状态、请求ID、费用、耗时及密钥。
每条请求对应一行，记录状态、费用与耗时。系统不存储Prompt与回答。

设置

客户门户，AI Models“设置”标签页：当前周期支出、软硬预算规则、告警邮箱及速率限制。
支持发送告警的软预算、拦截请求的硬性上限以及速率限制。

Playground

客户门户，AI Models“Playground”标签页：包含模型选择器与高级参数的对话界面。
在通过代码调用之前，可先在浏览器中测试模型。

从客户到上游供应商

客户调用您的域名。NexCMP检查密钥、限额与钱包余额，然后将请求发送给您添加的供应商。

供应商A和供应商B代表您自行添加的模型源。NexCMP不提供任何模型。

销售AI API访问权限所需的准备

NexCMP负责软件层面的功能，其余资源由您自行准备。

  • 已获授权使用和转售的模型源：一个或多个兼容OpenAI或Anthropic API的供应商。
  • 已开启AI Models模块的NexCMP面板。
  • 由您自行设定的各模型销售价格。
  • 为您的客户提供支持服务，以及您自定的合理使用政策。
  • 控制面板能够通过HTTPS连接您的供应商。

一个密钥，多种模型

客户的客户端指向您的域名，并使用面板生成的密钥。单个密钥即可调用所有允许使用的模型。网关运行在面板自身的域名上，并以两种格式流式传输回复。

  • 兼容Anthropic的客户端也可使用/ai/v1/messages/count_tokens。
  • token用量直接取自供应商的回复。若回复中未包含，NexCMP会进行估算并将该记录标记为估算值。
  • 网关不在两种格式之间进行转换。由兼容OpenAI的供应商提供的模型通过OpenAI兼容端点访问，由兼容Anthropic的供应商提供的模型则通过Anthropic兼容端点访问。类型为Both的供应商可同时支持两者。
  • 在供应商端运行且按次计费的工具（如网络搜索）将被拒绝，因为其无法计量。系统仅透传少量安全的请求参数。
POST https://your-domain/ai/v1/chat/completions   OpenAI-compatible
POST https://your-domain/ai/v1/messages            Anthropic-compatible
GET  https://your-domain/ai/v1/models              model list
GET  https://your-domain/ai/v1/models/pricing      public price list, no key

自带模型源

系统未预装任何内容：没有预置供应商、没有模型、没有默认地址，也没有价格表。

  • 添加供应商

    为其指定名称、类型（兼容OpenAI、兼容Anthropic或Both）、基础URL、API密钥、优先级以及启停开关。密钥加密存储，后续仅显示最后4位字符。

  • 测试连接

    测试将读取供应商的模型列表并反馈成功，或说明失败原因：鉴权失败、地址受限、账单欠费或主机不可达。

  • 同步模型列表

    NexCMP会读取供应商列表，并将新模型添加为关闭且未定价状态。供应商下线的模型会被标记。模块开启时，列表默认每6小时自动同步一次。

  • 地址检查

    供应商地址必须为443端口上的HTTPS以及公网域名。仅当您将其列入Allowed internal hosts时，才允许内网主机、其他端口和纯HTTP。

  • 自主定价

    NexCMP不会从供应商读取价格。每个销售价格均由您自行设定。

按模型定价

由您决定向客户收取的每个模型的价格。

  • 每个模型三项价格

    输入、缓存输入和输出，单位为美元/1M tokens。未设置售价的模型无法启用。

  • 缓存输入

    在您设置缓存输入价格前，缓存tokens将按输入价格计费，而非免费。

  • 可选成本价

    若您希望在Profit页面按天和按模型查看盈亏情况，可输入模型的成本价。启用后，低于成本加最低利润率的售价将被拒绝，除非您明确确认故意亏损。

  • 基于成本定价

    支持一键根据成本及您选择的加价比例设置售价。系统没有默认加价比例。

  • 公开价目表

    客户和访客无需密钥，即可在网关的公开价目表地址查看您的价格。

API密钥、限额、用量与日志

各项配置均可由客户在控制台自行操作，或由您为其设定。

  • 密钥

    创建、重命名、轮换、禁用和删除密钥。Secret仅显示一次，NexCMP仅存储其哈希值。

  • 允许的模型与有效期

    限制密钥适用的模型列表并为其设定到期时间。

  • 预算

    软性预算通过通知和邮件发出告警。硬性预算则以402错误拦截请求。两者均按周期生效，可针对单个密钥或整个账户。

  • 速率限制

    支持针对单个密钥及整个账户限制每分钟请求数和每分钟tokens数，同时支持并发请求限制及单账户密钥总数上限。

  • 用量

    按模型、密钥和日期查看用量，支持导出CSV。

  • 日志

    支持筛选的请求日志，包含时间、密钥、模型、tokens、费用、状态与延迟。NexCMP不记录提示词或响应内容。日志默认保留90天。

LLM API钱包计费

AI用量从客户的预付费钱包中扣款，该钱包亦用于支付所有其他NexCMP服务。价格由您制定，客户按常规流程充值。

在请求发往供应商之前，NexCMP会预先从钱包中扣留该请求的最大可能费用。若余额低于最低限额（默认为20美分）或金额不足，请求将被拒绝并返回402 insufficient_balance错误，且不会调用任何供应商。由于优先进行资金预扣，并发请求不会导致钱包余额透支为负数。

用量按账户归集并在整小时过后结算计入钱包账目明细，每5分钟轮询结算一次。尚未结算的用量已实时从网关可见的余额中扣减。

供应商间的路由与故障转移

  • 单模型多路由

    一个模型可配置指向多个供应商的路由，按您指定的顺序排序，并可单独开启或关闭。发往供应商的模型名称可以不同于您对外发布的名称。

  • 故障转移

    当供应商发生服务器错误、鉴权或计费错误、模型缺失或触发速率限制时，NexCMP会尝试下一条路由。

  • 无重复扣费

    若请求发送后读取超时，NexCMP不会将其重试发送至其他供应商，确保您不会为单次请求重复付费。

  • 供应商调用频控

    发往每个供应商的请求均设有每分钟限制，默认为50次，防止业务高峰耗尽单一源站额度。

  • 告警

    若某提供商持续返回授权或计费错误，且系统已配置Telegram，NexCMP会通过Telegram向管理员发送通知。

  • 隐藏提供商详细信息

    错误信息在返回给客户前会经过脱敏处理：提供商名称、主机、上游模型名称及地址均会被移除，提供商请求头也不会透传。客户无法得知请求由哪家提供商提供服务。

Playground与客户门户

以下每一项都是客户在您域名下的门户中可以执行的操作。

  • 模型与价格

    查看您提供的模型及其价格、基础URL以及现成的示例命令。

  • 密钥、用量与日志

    创建密钥、按模型、密钥和日期查看用量，并筛选请求日志。日志仅显示元数据，绝不记录请求内容。

  • 设置

    设置账户预算以及接收预警的电子邮箱地址。

  • Playground

    与模型对话，并排对比多个模型，并通过“获取代码”复制对应代码。

作为运营商您可以进行的操作

每一项功能均可在NexCMP管理控制台中操作。

  • 提供商、模型与路由

    添加并测试提供商、同步其模型列表、设置价格、启用或停用模型，以及选择为每个模型提供服务的提供商及其调用顺序。

  • 用量与利润

    查看各客户账户的使用情况；若您输入了成本，还可以按日期和模型查看收入与成本对比。

  • 审计

    每次变更都需要填写原因并记入审计日志。提供商密钥仅能在已登录的管理员会话中输入。

  • 双重开关

    该模块可在“许可证与更新”下的“模块”中启用。AI Models管理页面中还有一个独立的销售开关，默认处于关闭状态：关闭期间，客户会看到服务尚未开放，公开价格表也会显示该服务不可用。

  • 完全停用

    模块停用后，客户页面、管理页面和网关均返回404，菜单项隐藏，后台同步也会停止调用提供商。

NexCMP AI Models界面预览

来自包含示例数据的NexCMP 1.5.0安装环境的真实界面。提供商A、B和C均为示例名称。

NexCMP管理端AI Models提供商页面，列出提供商A、提供商B和提供商C，包含类型、优先级、状态、测试连接和同步模型按钮
提供商：您添加的模型来源，包含类型、优先级和状态。提供商A、B和C均为示例名称。
NexCMP管理后台AI Models页面，列出模型及其输入、缓存输入和输出的每100万tokens售价，以及1个开/关切换开关
模型与价格：由您为每个模型设定的三种售价，以及各个模型的开关。
NexCMP客户门户AI用量页面，展示总支出、请求数、Token数量、每日支出图表以及排名靠前的API密钥和模型
按模型、密钥和日期统计的用量。
NexCMP客户门户AI Models的API Keys页面，显示密钥名称、最后活跃时间、过期时间、状态、重置周期、当前支出与预算对比，以及两种API格式的基础URL
客户的API密钥，包含过期时间、状态、支出与预算对比以及基础URL。
NexCMP客户门户AI Playground，包含对话框、模型选择器以及回复所消耗的Token数量
客户门户中的Playground。

通过分销商销售

白标分销商可以在其独立域名下按自定义价格销售AI Models。分销商的加价或折扣基于您的售价计算；如果您设置了成本，批发价将始终不低于您的成本与最低利润之和。分销商的批发钱包将按批发价扣费。

每个分销商都有专属的AI开关，用于决定该分销商是否销售AI Models。默认处于开启状态。

工作原理

从模块停用到处理首个客户请求的全流程。

  1. 启用模块

    在管理控制台中打开“许可证与更新”下的“模块”，启用AI Models。

  2. 添加提供商并测试

    输入提供商的类型、基础URL和密钥，然后运行连接测试。

  3. 同步模型并设置价格

    同步模型列表、设置销售价格、添加备用服务商作为回退路由（如有），并开启模型。

  4. 开启销售开关

    在AI Models管理页面开启销售开关，以便客户使用该服务。

  5. 客户创建密钥并调用您的端点

    客户充值钱包，在门户中创建密钥，并将客户端指向您的域名。

基础设施要求

由您运行NexCMP面板并提供模型源。包含具体步骤的完整列表请参见文档：https://nexcmp.com/docs/infrastructure/ai-models/

  • 已开启AI Models模块的NexCMP面板。
  • 从面板到各服务商的出站HTTPS流量，或到您在Allowed internal hosts下列出的内部网关。
  • 客户通过您面板的域名访问网关。
  • 无需GPU或特殊硬件：NexCMP仅将请求转发给您的服务商。

NexCMP Free与NexCMP Source中的AI Models

AI Models与其他模块一样，均包含在NexCMP Free和NexCMP Source中。NexCMP不为此收取额外费用，也没有独立方案；您的服务商成本、硬件及支付网关费用由您自行承担。

NexCMP Free首年为$0：提供包含所有模块的完整签名版本、1年的漏洞修复和更新，以及无数量限制的分销商域名。首年后以每年$99续费，如果不续费，软件仍可继续运行。NexCMP Free面向拥有自身ASN和以自己名义注册子网的网络运营商；申请需经审核。NexCMP Source为一次性购买$499，包含全部源代码、为您构建的所有应用以及30个工作日的专家工程师支持。

适用性评估

如果您经营主机、云或软件业务，拥有获权使用与转售的模型源，并希望在您自有域名的单个面板中统一管理密钥、定价、钱包、用量以及客户计费，那么NexCMP AI Models非常适合您。

如果您需要平台向您提供模型、token、API密钥或服务商账户、现成的模型目录或价格表、OpenAI兼容与Anthropic兼容格式之间的转换、微调、GPU托管，或来自NexCMP的服务等级协议，则不适合使用。

销售之前：模型源、条款与责任

NexCMP不提供模型、API密钥、token、服务商账户或价格。您接入已获权使用与转售的模型源，并须自行负责遵守这些源的条款以及适用于您的法律法规。

许多模型源限制转售或向第三方转交访问权限。在向您的客户提供其模型之前，请阅读各模型源的条款，并咨询该模型源是否需要签订单独协议。

您还需要面向自身客户制定合理使用政策，并具备处理滥用报告的机制。模型源如何处理您发送给它的数据受该模型源条款约束；NexCMP本身不记录提示词或响应。本页面内容不构成法律建议。

AI API分销平台：常见问题

什么是AI API分销平台，NexCMP AI Models有什么功能？
这是一款用于通过您自己的API销售AI模型访问权限的软件。NexCMP AI Models是NexCMP面板上的网关与计费层：您的客户获取密钥并调用您域名下的单一端点，您针对每个模型及每1百万Token设置价格，用量被计量并从预付费钱包扣费，请求则会被路由至您添加的提供商。
NexCMP是否提供模型、API密钥或token？
不提供。NexCMP交付时不包含任何服务商、模型、默认地址或价格。您自行接入已获权使用的模型源，NexCMP提供网关、密钥、定价及计费功能。
我是否有权转售我模型源的模型访问权限？
这取决于您的模型源条款，而非NexCMP。许多源限制转售或向第三方转交访问权限，部分源允许在单独协议下进行转售。您有责任查阅这些条款，并确保遵守它们以及适用于您的法律法规。本内容不构成法律建议。
我的客户可以使用哪些API格式？
位于/ai/v1/chat/completions的OpenAI兼容格式，以及位于/ai/v1/messages的Anthropic兼容格式，二者均支持流式传输。客户只需将基础URL更改为您的域名，并使用来自您面板的密钥。网关不会在两种格式之间进行转换，因此访问模型须采用其服务商所支持的格式。
如何设置价格？
按模型计费，以每1百万tokens的美元价格为准，针对输入、缓存输入和输出分别设置独立价格。未设置销售价格的模型无法启用。您还可以输入成本，按天和按模型查看盈亏情况。
钱包扣费如何运作？余额耗尽时会发生什么？
费用从客户预付费的NexCMP钱包中扣除。在将请求发送至供应商之前，NexCMP会预先冻结该请求可能产生的最高费用金额。如果余额不足，请求将被拒绝并返回402 insufficient_balance错误，且不会调用任何供应商。
我可以对客户的API密钥设置哪些限制？
可用模型、到期日期、用于预警的软预算与用于拦截的硬预算、每分钟请求数与每分钟tokens数，以及并发请求限制。预算和速率限制也可按整个账户设置，同时可对每个账户的密钥数量设定上限。
客户可以查看自己的使用量和请求日志吗？提示词会被存储吗？
可以，客户可以按模型、密钥和日期查看使用量并支持CSV导出，还可查看可筛选的请求日志。日志仅保留元数据：时间、密钥、模型、tokens数、费用、状态和延迟。NexCMP不会记录提示词或响应内容，日志默认保留90天。
如果某个供应商发生故障会怎样？
一个模型可按您指定的顺序配置通往多个供应商的路由。如果某个供应商返回服务器错误、鉴权或计费错误、模型不存在或触发速率限制，NexCMP会尝试下一条路由。发送后超时的请求不会重试发送给第二个供应商。
我可以通过分销商销售AI模型吗？
可以。白标分销商可以在其独立域名上销售AI Models，并在您的售价基础上自行加价或打折，费用从其批发钱包中扣除。每个分销商都配有默认开启的AI开关，用于控制谁可以销售。
客户可以在购买前测试模型吗？
客户门户提供了Playground，客户可以在其中与模型对话、横向对比多个模型并复制对应的代码。
它是自托管的吗？费用是多少？
是的，它运行在您自己的NexCMP控制面板上。AI Models已包含在NexCMP Free（首年$0，之后每年$99）和NexCMP Source（一次性$499）中，无需额外费用。该功能默认关闭，您可以在License & updates下的Modules中开启。
谁对合理使用及客户内容负责？
由您负责。您需与自己的客户制定合理使用政策，处理滥用投诉，并遵守模型上游来源的条款及适用的法律法规。NexCMP提供密钥、限制规则和日志来协助您完成管理。

来源

AI Models模块的NexCMP文档。

免费获取NexCMP

免费提供，包含AI Models及所有其他模块。立即在您的服务器上安装。

免费获取NexCMP联系销售查看演示

最后更新：