AI Models
開源AI API經銷與LLM帳務平台
NexCMP AI Models是自託管NexCMP控制台的外掛模組，讓您能在自己的網域上銷售AI模型存取服務。您只需連接已獲授權使用的模型來源，為每個模型設定價格，客戶即可透過單一API金鑰呼叫模型，系統將按token計量並從預付錢包扣款。
AI Models是NexCMP的一部分，無需額外付費。此功能預設關閉，需手動啟用。NexCMP不提供模型、API金鑰、token或供應商帳號：您需自備已獲得授權使用的來源。NexCMP Source：完整原始碼，買斷價$499。 可供自家業務使用、修改並自建部署。您可銷售自身營運之服務；但不得轉售或散佈原始碼及編譯檔。 Source授權條款
什麼是NexCMP AI Models外掛模組？
NexCMP本就支援透過預付錢包為虛擬機器計費。AI Models在同一個控制台中加入了閘道功能，因此原本用於銷售伺服器的錢包、客戶、經銷商與工單系統，也能用來銷售AI API存取服務。
這是一個計費與控制層，而非模型供應商。您只需新增具備使用權限的供應商，選擇要提供的模型並設定各自價格，客戶便能透過其專屬金鑰呼叫您網域上的單一端點。客戶只會看到您的網域與定價，絕不會看到實際處理請求的供應商。
正在尋找AI Chat和AI Agent嗎？那是另一款產品：客戶入口網站內的助理，以及在客戶伺服器上運行的代理程式。它不負責銷售模型存取服務，且這兩個模組彼此獨立運作。
您的客戶如何使用AI Models
每個畫面皆為客戶入口網站中服務頁面的分頁，並以範例資料呈現。請選擇分頁、使用方向鍵或左右鍵，或開啟全螢幕檢視器。
模型
API金鑰
用量
日誌
設定
Playground
從您的客戶到您的供應商
客戶呼叫您的網域。NexCMP會檢查金鑰、限制與錢包餘額，然後將請求轉發至您新增的供應商。
銷售AI API存取服務所需條件
NexCMP負責軟體層面，其餘部分由您自行掌握。
- 您獲授權使用與轉售的模型來源：一個或多個具備相容OpenAI或相容Anthropic API的供應商。
- 已啟用AI Models模組的NexCMP控制台。
- 由您為所提供的每款模型設定的售價。
- 為您的客戶提供技術支援，以及您自訂的合理使用政策。
- 能透過HTTPS連線至您供應商的控制台。
單一金鑰，多種模型
客戶的客戶端會指向您的網域，並使用從您控制台取得的金鑰。單一金鑰即可呼叫所有獲准使用的模型。閘道運行於控制台自身的網域上，並能以這兩種格式串流傳輸回應。
- 相容Anthropic的客戶端亦可使用/ai/v1/messages/count_tokens。
- Token用量取自供應商的回應。若回應中未包含用量資訊，NexCMP會進行估算並將該筆記錄標記為估算。
- 閘道不會在這兩種格式之間進行轉換。由相容OpenAI供應商提供的模型需透過相容OpenAI的端點存取，而由相容Anthropic供應商提供的模型則透過相容Anthropic的端點存取。類型為Both的供應商則兩者皆可提供服務。
- 在供應商端運行且按次計費的工具（例如網路搜尋）會被拒絕，因為它們無法進行計量。系統只會傳遞少數安全的請求參數。
POST https://your-domain/ai/v1/chat/completions OpenAI-compatible
POST https://your-domain/ai/v1/messages Anthropic-compatible
GET https://your-domain/ai/v1/models model list
GET https://your-domain/ai/v1/models/pricing public price list, no key自備模型來源
系統未預載任何內容：沒有供應商、沒有模型、沒有預設位址，也沒有價格清單。
新增供應商
設定名稱、類型（相容OpenAI、相容Anthropic或Both）、base URL、其API金鑰、優先順序以及啟用開關。金鑰會加密儲存，日後只會顯示最後四碼。
測試連線
測試會讀取供應商的模型清單並回報成功，或說明失敗原因：授權問題、封鎖的位址、帳單問題或主機無法連線。
同步模型清單
NexCMP會讀取供應商的清單，並新增已關閉且未定價的新模型。供應商下架的模型會被標記。只要模組處於啟用狀態，清單預設每6小時會自動同步一次。
位址檢查
供應商位址必須使用連接埠443的HTTPS與公開網域。僅當您將其列入Allowed internal hosts時，才接受內部主機、其他連接埠與純HTTP。
定價由您掌控
NexCMP不會讀取供應商的價格。每個售價均由您自行設定。
個別模型定價
由您決定每個模型對客戶的收費價格。
每個模型設定三種價格
輸入、快取輸入與輸出，以每1百萬tokens的美元計價。未設定售價的模型無法啟用。
快取輸入
在您設定快取輸入價格之前，快取token將依輸入價格計費，並非免費。
成本價（選填）
若您想在Profit頁面查看每日與各模型的損益，請輸入該模型的成本。設定後，售價若低於成本加上最低利潤將會被拒絕，除非您確認刻意虧損銷售。
依成本設定價格
按一下按鈕即可依您的成本加上自訂加價幅度來設定售價。系統沒有預設加價幅度。
公開價目表
客戶與訪客無需金鑰，即可在閘道的價目表位址查看您的價格。
API金鑰、限制、用量與日誌
各項目均為客戶可在入口網站執行的操作，或由您為其進行的設定。
金鑰
建立、重新命名、輪換、停用與刪除金鑰。密鑰僅顯示一次，且NexCMP僅儲存其雜湊值。
允許的模型與到期日
限制金鑰僅能存取特定模型清單，並為其設定到期日。
預算
軟性預算會透過通知與電子郵件發出警告。硬性預算則會以402錯誤封鎖請求。兩者皆可依週期、單一金鑰或整個帳號生效。
速率限制
依金鑰與依帳號限制每分鐘請求數與每分鐘token數，以及並行請求數限制和每個帳號的金鑰數量上限。
用量
依模型、金鑰與日期的用量統計，並支援CSV匯出。
日誌
可篩選的請求日誌，包含時間、金鑰、模型、token數、費用、狀態與延遲。NexCMP不會記錄提示詞或回應。日誌預設保留90天。
LLM API的錢包計費
AI用量會從客戶的預付錢包扣款，此錢包與支付所有其他NexCMP服務的錢包相同。由您設定價格，客戶則依平時方式儲值。
在請求發送至供應商之前，NexCMP會先從錢包預扣該請求的最高可能費用。若餘額低於最低門檻（預設為20 cents）或不足，請求將被拒絕並傳回402 insufficient_balance錯誤，且不會呼叫任何供應商。由於預扣在先，並行請求不會導致錢包餘額變成負數。
用量會依帳號彙總，並在整點過後結算為錢包帳本明細，每5分鐘執行一次批次結算。尚未結算的用量已預先從閘道看到的餘額中扣除。
供應商之間的路由與容錯移轉
每個模型設定多條路由
一個模型可設定通往多個供應商的路由，並依您選擇的順序排列，各路由均可獨立開啟或關閉。傳送至供應商的模型名稱可與您發布的名稱不同。
容錯移轉
當供應商因伺服器錯誤、授權或帳單錯誤、缺少模型或達到速率限制而失敗時，NexCMP會嘗試下一條路由。
不重複扣款
若在請求發送後讀取逾時，NexCMP不會將其轉發給其他供應商，確保您不會為單一請求重複付費。
各供應商步調控制
傳送至各供應商的請求每分鐘皆有限制，預設為50次，確保高峰時段不會耗盡單一來源配額。
告警
若供應商持續回傳授權或帳務錯誤，且已設定Telegram，NexCMP便會透過Telegram通知管理員。
供應商資訊全程隱藏
錯誤訊息在傳遞給客戶前皆會先行清理：供應商名稱、主機、上游模型名稱與位址皆會移除，且不會轉發供應商標頭。客戶完全無法得知是哪家供應商處理請求。
Playground與客戶入口網站
每項功能皆是客戶在您網域入口網站上可執行的操作。
模型與定價
檢視您提供的模型及其價格、基礎URL與現成的範例指令。
金鑰、用量與日誌
建立金鑰、依模型、金鑰與日期查看用量，並篩選請求日誌。日誌僅記錄中繼資料，絕不包含請求內容。
設定
設定帳戶預算以及接收告警的電子郵件地址。
Playground
與模型對話、並排比較多個模型，並透過Get Code複製相應的程式碼。
身為營運商您可以執行的操作
每個項目皆位於NexCMP管理控制台中。
供應商、模型與路由
新增並測試供應商、同步其模型清單、設定價格、啟用或停用模型，並選擇為各模型提供服務的供應商及其優先順序。
用量與獲利
查看各客戶帳戶的用量，並針對已輸入成本的模型，按日與按模型對照營收與成本。
稽核
每次變更皆須填寫原因並記錄於稽核日誌。供應商金鑰僅能在已登入的管理員工作階段中輸入。
雙重開關
此模組在License & updates的Modules中啟用。AI Models管理頁面中的獨立販售開關預設為關閉：關閉時，客戶會看到服務尚未開放，且公開價目表會顯示暫不提供。
關閉模組
模組關閉後，客戶端頁面、管理端頁面與閘道皆會回應404，選單項目隨之隱藏，且背景同步亦會停止呼叫供應商。
NexCMP AI Models畫面
來自安裝NexCMP 1.5.0並附帶範例資料的實際畫面。Provider A、B與C為範例名稱。
透過經銷商販售
白標經銷商可在自有網域上以自訂價格販售AI Models。經銷商的加價或折扣會套用至您的售價，若您有輸入成本，批發價則會維持在等於或高於您的成本加上最低利潤。經銷商的批發錢包會依批發價扣款。
每個經銷商皆有專屬的AI開關，用以決定該經銷商是否販售AI Models。此開關預設為開啟。
運作方式
從關閉模組到迎來第一筆客戶請求。
啟用模組
在管理控制台中，開啟License & updates中的Modules並啟用AI Models。
新增供應商並進行測試
輸入提供者的類型、Base URL與金鑰，然後執行連線測試。
同步模型並設定價格
同步模型清單、設定售價，若有第二個提供者可新增為備援路由，並啟用模型。
開啟銷售開關
在AI Models管理頁面中開啟銷售開關，讓客戶開始使用服務。
客戶建立金鑰並呼叫您的端點
客戶為錢包儲值、在入口網站建立金鑰，並將用戶端指向您的網域。
基礎架構需求
您運行NexCMP面板並自備模型來源。包含詳細步驟的完整清單請參閱說明文件：https://nexcmp.com/docs/infrastructure/ai-models/
- 已啟用AI Models模組的NexCMP控制台。
- 從控制面板發往各個提供者的外向HTTPS連線，或是發往您列於Allowed internal hosts中的內部閘道。
- 客戶透過您控制面板的網域連線至閘道。
- 無需GPU與特殊硬體：NexCMP僅將請求轉發至您的提供者。
NexCMP Free與NexCMP Source中的AI Models
AI Models與其他模組一樣，已包含在NexCMP Free與NexCMP Source中。NexCMP不為此收取額外費用，亦無獨立方案；您的提供者成本、硬體與金流閘道費用需自行承擔。
NexCMP Free首年$0：包含所有模組的完整簽署版本、1年的錯誤修正與更新，以及不限數量的分銷商網域。首年過後以每年$99續訂，若不續訂軟體仍可繼續運作。NexCMP Free適用於擁有專屬ASN且以自身名義註冊子網路的網路營運商；申請需經過審核。NexCMP Source為一次性購買$499，隨附完整原始碼、為您建置的所有應用程式，以及專職工程師的30個工作天支援。
適用性評估
如果您經營主機代管、雲端或軟體業務，擁有獲授權使用與轉售的模型來源，並希望在自有網域的單一控制面板中集中管理金鑰、價格、錢包、用量與客戶帳單，NexCMP AI Models非常適合您。
若您需要他人提供模型、Token、API金鑰或提供者帳號，或是需要現成的模型目錄或價格表、OpenAI相容格式與Anthropic相容格式間的轉譯、微調、GPU主機代管，或NexCMP的服務層級協議，則此模組並不適合。
銷售前須知：來源、條款與責任
NexCMP不提供模型、API金鑰、Token、提供者帳號或價格。您連接自身獲授權使用與轉售的模型來源，並有責任遵守來源的條款及適用的法律。
許多模型來源限制轉售或將存取權轉讓給第三方。在向客戶提供其模型前，請務必閱讀各來源的條款，並向該來源確認是否需要簽署獨立協議。
您亦需要與自己的客戶訂立合理使用政策，並具備處理濫用回報的機制。來源如何處理您傳送的資料受該來源條款的規範；NexCMP本身不會記錄提示詞或回應。本頁面不構成法律建議。
AI API轉售平台：常見問題
什麼是AI API轉售平台？NexCMP AI Models能做什麼？
NexCMP是否提供模型、API金鑰或Token？
我可以轉售來源模型的存取權嗎？
我的客戶可以使用哪些API格式？
如何設定價格？
錢包計費如何運作？餘額用盡時會發生什麼事？
我可以對客戶的API金鑰設定哪些限制？
客戶可以查看自己的用量與請求記錄嗎？提示詞會被儲存嗎？
如果某個提供商發生故障會怎樣？
我可以透過經銷商銷售AI模型嗎？
客戶可以在購買前測試模型嗎？
這是自行託管的嗎？費用是多少？
誰該為合理使用政策與客戶內容負責？
資料來源
NexCMP的AI Models模組說明文件。
上次更新：