AI Models
Piattaforma open source per rivendita API AI e fatturazione LLM
NexCMP AI Models è un add-on per il pannello self-hosted NexCMP che ti consente di vendere l'accesso a modelli di AI sul tuo dominio. Colleghi le fonti dei modelli che sei autorizzato a usare, imposti un prezzo per ciascun modello e i tuoi clienti li chiamano con un'unica chiave API, vengono conteggiati a token e pagano tramite un wallet prepagato.
AI Models fa parte di NexCMP e non comporta costi aggiuntivi. Rimane disattivato finché non decidi di attivarlo. NexCMP non fornisce modelli, chiavi API, token o account di provider: utilizzi le fonti che sei autorizzato a usare.NexCMP Source: codice sorgente completo a $499, una tantum. Usa, modifica e ospita autonomamente il software per la tua azienda. Puoi vendere i servizi che eroghi; non puoi rivendere né ridistribuire il codice sorgente o le build. Termini di licenza Source
Cos'è l'add-on NexCMP AI Models?
NexCMP gestisce già la fatturazione delle macchine virtuali da un wallet prepagato. AI Models aggiunge un gateway allo stesso pannello, consentendo allo stesso wallet, clienti, reseller e ticket di supporto che gestiscono i server di vendere anche l'accesso alle API AI.
È un livello di controllo e fatturazione, non un fornitore di modelli. Aggiungi i provider che hai il diritto di usare, scegli quali modelli offrire e quanto costa ciascuno, e i tuoi clienti chiamano un unico endpoint sul tuo dominio con le proprie chiavi. I clienti vedono il tuo dominio e i tuoi prezzi, mai il provider che ha gestito la richiesta.
Cerchi AI Chat e AI Agent? Si tratta di un prodotto diverso: un assistente all'interno del portale clienti e un agente che opera sul server del cliente. Non vende l'accesso ai modelli e i due moduli non dipendono l'uno dall'altro.
Come i tuoi clienti utilizzano AI Models
Ogni schermata è una scheda della pagina del servizio nel portale clienti, mostrata con dati di esempio. Seleziona una scheda, usa le frecce o i tasti sinistra/destra, oppure apri il visualizzatore a schermo intero.
Modelli
Chiavi API
Utilizzo
Log
Impostazioni
Playground
Dal tuo cliente al tuo provider
I clienti chiamano il tuo dominio. NexCMP verifica la chiave, i limiti e il wallet, quindi inoltra la richiesta a un provider che hai aggiunto.
Cosa serve per vendere l'accesso alle API AI
NexCMP copre la parte software. Il resto spetta a te.
- Fonti di modelli che sei autorizzato a usare e rivendere: uno o più provider con un'API compatibile con OpenAI o Anthropic.
- Un pannello NexCMP con il modulo AI Models attivato.
- Un prezzo di vendita per ciascun modello offerto, stabilito da te.
- Assistenza per i tuoi clienti e una tua policy di utilizzo accettabile.
- Un pannello in grado di raggiungere i tuoi provider tramite HTTPS.
Una chiave, molti modelli
Il client del cliente punta al tuo dominio e usa una chiave del tuo pannello. Un'unica chiave può chiamare qualsiasi modello autorizzato. Il gateway è in esecuzione sul dominio stesso del pannello e trasmette le risposte in streaming in entrambi i formati.
- I client compatibili con Anthropic possono anche utilizzare /ai/v1/messages/count_tokens.
- Il consumo di token viene ricavato dalla risposta del provider. Se una risposta non ne include, NexCMP lo stima e contrassegna il record come stimato.
- Il gateway non converte tra i due formati. Un modello erogato da un provider compatibile con OpenAI viene raggiunto tramite l'endpoint compatibile con OpenAI, e uno erogato da un provider compatibile con Anthropic tramite l'endpoint compatibile con Anthropic. Un provider di tipo Both supporta entrambi.
- I tool eseguiti sul lato provider e tariffati a chiamata, come le ricerche web, vengono rifiutati poiché non possono essere misurati. Viene inoltrata solo una lista ristretta di parametri di richiesta sicuri.
POST https://your-domain/ai/v1/chat/completions OpenAI-compatible
POST https://your-domain/ai/v1/messages Anthropic-compatible
GET https://your-domain/ai/v1/models model list
GET https://your-domain/ai/v1/models/pricing public price list, no keyPorta le tue fonti di modelli
Nulla è preconfigurato: nessun provider, nessun modello, nessun indirizzo predefinito e nessun listino prezzi.
Aggiungi un provider
Assegna un nome, un tipo (OpenAI-compatible, Anthropic-compatible o Both), il base URL, la sua chiave API, una priorità e un selettore on/off. La chiave viene memorizzata crittografata e successivamente ne vengono mostrati solo gli ultimi quattro caratteri.
Testa la connessione
Un test legge l'elenco dei modelli del provider e segnala l'esito positivo, oppure il motivo del fallimento: autorizzazione, indirizzo bloccato, fatturazione o host irraggiungibile.
Sincronizza l'elenco dei modelli
NexCMP legge l'elenco del provider e aggiunge i nuovi modelli disattivati e senza prezzo. Un modello ritirato dal provider viene contrassegnato. Finché il modulo è attivo, l'elenco si sincronizza automaticamente ogni 6 ore per impostazione predefinita.
Gli indirizzi vengono verificati
L'indirizzo di un provider deve essere HTTPS sulla porta 443 e su un dominio pubblico. Gli host interni, altre porte e il protocollo HTTP semplice sono accettati solo se li inserisci in Host interni consentiti.
I prezzi li decidi tu
NexCMP non acquisisce alcun prezzo dal provider. Ogni prezzo di vendita viene impostato da te.
Prezzi per modello
Decidi tu quanto costa ciascun modello ai tuoi clienti.
Tre prezzi per modello
Input, input in cache e output, in dollari USA per 1 milione di token. Un modello senza prezzo di vendita non può essere attivato.
Input in cache
Finché non imposti un prezzo per l'input in cache, i token memorizzati nella cache vengono addebitati al prezzo di input. Non sono gratuiti.
Prezzo di costo opzionale
Inserisci il costo che sostieni per un modello se desideri visualizzare profitti e perdite per giorno e per modello nella pagina Profitti. In questo caso, un prezzo di vendita inferiore al tuo costo più un margine minimo verrà rifiutato, a meno che tu non confermi una perdita deliberata.
Imposta il prezzo dal costo
Un pulsante imposta il prezzo di vendita a partire dal tuo costo più un ricarico a tua scelta. Non esiste un ricarico predefinito.
Listino prezzi pubblico
Clienti e visitatori possono consultare i tuoi prezzi senza una chiave, all'indirizzo del listino prezzi del tuo gateway.
Chiavi API, limiti, utilizzo e log
Ogni voce rappresenta un'azione che il cliente compie nel portale o che tu configuri per lui.
Chiavi
Crea, rinomina, ruota, disabilita ed elimina le chiavi. Il segreto viene mostrato una sola volta e NexCMP ne memorizza solo l'hash.
Modelli consentiti e scadenza
Limita una chiave a un elenco di modelli e assegna una data di scadenza.
Budget
Un soft budget avvisa tramite notifica ed e-mail. Un hard budget blocca le richieste con un errore 402. Entrambi operano per periodo, per una singola chiave e per l'intero account.
Rate limit
Richieste al minuto e token al minuto, per chiave e per account, oltre a un limite sulle richieste simultanee e un tetto massimo al numero di chiavi per account.
Utilizzo
Utilizzo per modello, chiave e giorno, con esportazione in CSV.
Log
Log delle richieste filtrabili con orario, chiave, modello, token, costo, stato e latenza. NexCMP non registra prompt o risposte. I log vengono conservati per 90 giorni per impostazione predefinita.
Fatturazione a wallet per le API LLM
L'utilizzo dell'AI viene addebitato sul wallet prepagato del cliente, lo stesso wallet utilizzato per pagare ogni altro servizio NexCMP. Tu stabilisci i prezzi; il cliente ricarica normalmente.
Prima che una richiesta venga inviata a un provider, NexCMP riserva dal wallet l'importo massimo stimato per il costo della richiesta. Se il saldo è inferiore al minimo (20 centesimi per impostazione predefinita) o insufficiente, la richiesta viene rifiutata con un errore 402 insufficient_balance e nessun provider viene interpellato. Poiché la prenotazione avviene prima, le richieste parallele non possono mandare il wallet in negativo.
L'utilizzo viene aggregato per account e registrato nei movimenti del wallet allo scadere dell'ora, con una riconciliazione ogni 5 minuti. L'utilizzo non ancora contabilizzato viene già sottratto dal saldo visualizzato dal gateway.
Routing e failover tra provider
Più route per modello
Un modello può avere route verso più provider, nell'ordine che preferisci, ciascuna attivata o disattivata. Il nome del modello inviato a un provider può differire dal nome che pubblichi.
Failover
Quando un provider fallisce con un errore del server, un errore di autorizzazione o fatturazione, un modello mancante o un rate limit, NexCMP prova la route successiva.
Nessun doppio addebito
Se una lettura va in timeout dopo l'invio della richiesta, NexCMP non la reindirizza a un altro provider, evitando così di pagare due volte per la stessa richiesta.
Cadenza per provider
Le richieste verso ciascun provider sono limitate al minuto, 50 per impostazione predefinita, in modo che un picco di traffico non esaurisca una sorgente.
Avvisi
Se un provider continua a restituire errori di autorizzazione o fatturazione, NexCMP avvisa l'amministratore su Telegram, se configurato.
I dettagli del provider restano nascosti
Gli errori vengono ripuliti prima di raggiungere il cliente: i nomi dei provider, gli host, i nomi dei modelli upstream e gli indirizzi vengono rimossi, e gli header del provider non vengono inoltrati. I clienti non vedono quale provider ha gestito la richiesta.
Playground e portale clienti
Ogni voce corrisponde a un'operazione che il cliente compie nel portale sul tuo dominio.
Modelli e prezzi
Visualizza i modelli offerti con i relativi prezzi, il base URL e comandi di esempio già pronti.
Chiavi, consumi e log
Crea chiavi, consulta i consumi per modello, chiave e giorno, e filtra i log delle richieste. I log mostrano solo i metadati, mai il contenuto delle richieste.
Impostazioni
Imposta un budget per l'account e l'indirizzo email che riceve gli avvisi.
Playground
Chatta con un modello, confronta più modelli affiancati e copia il codice corrispondente con Get Code.
Cosa puoi fare come operatore
Ogni elemento è disponibile nella console di amministrazione di NexCMP.
Provider, modelli e route
Aggiungi e testa i provider, sincronizza gli elenchi dei modelli, imposta i prezzi, attiva o disattiva i modelli e scegli quali provider gestiscono ciascun modello e in quale ordine.
Consumi e profitti
Verifica i consumi di ciascun account cliente e confronta ricavi e costi per giorno e per modello per tutti i modelli per cui hai inserito un costo.
Audit
Ogni modifica richiede una motivazione e viene registrata nell'audit log. Le chiavi dei provider possono essere inserite solo da una sessione amministratore autenticata.
Due switch
Il modulo si attiva in License & updates, Modules. Uno switch di vendita separato nelle pagine di amministrazione di AI Models è disattivato per impostazione predefinita: finché resta disattivato, i clienti vedono che il servizio non è ancora attivo e il listino prezzi pubblico lo indica come non disponibile.
Disattivazione
Con il modulo disattivato, le pagine clienti, le pagine di amministrazione e il gateway rispondono con errore 404, le voci di menu vengono nascoste e la sincronizzazione in background smette di chiamare i provider.
Schermate di NexCMP AI Models
Schermate reali da un'installazione di NexCMP 1.5.0 con dati di esempio. Provider A, B e C sono nomi fittizi.
Vendita tramite rivenditori
Un rivenditore white-label può vendere AI Models sul proprio dominio ai propri prezzi. Il ricarico o lo sconto del rivenditore viene applicato al tuo prezzo di vendita, e il prezzo all'ingrosso viene mantenuto pari o superiore al tuo costo più il margine minimo quando hai specificato un costo. Al wholesale wallet del rivenditore viene addebitato il prezzo all'ingrosso.
Uno switch AI per ciascun rivenditore stabilisce se tale rivenditore può vendere AI Models. È attivo per impostazione predefinita.
Come funziona
Dal modulo disattivato alla prima richiesta del cliente.
Attiva il modulo
Nella console di amministrazione, apri License & updates, Modules e attiva AI Models.
Aggiungi un provider e testalo
Inserisci il tipo, il base URL e la chiave del provider, quindi esegui il test di connessione.
Sincronizza i modelli e imposta i prezzi
Sincronizza l'elenco dei modelli, imposta i prezzi di vendita, aggiungi un secondo provider come route di fallback se ne hai uno e attiva i modelli.
Abilita la vendita
Attiva l'opzione di vendita nelle pagine di amministrazione di AI Models in modo che i clienti possano utilizzare il servizio.
I clienti creano una chiave e chiamano il tuo endpoint
Il cliente ricarica il wallet, crea una chiave nel portale e indirizza il client verso il tuo dominio.
Requisiti di infrastruttura
Gestisci il pannello NexCMP e fornisci le sorgenti dei modelli. L'elenco completo, con i passaggi dettagliati, è disponibile nella documentazione all'indirizzo https://nexcmp.com/docs/infrastructure/ai-models/.
- Un pannello NexCMP con il modulo AI Models attivato.
- Traffico HTTPS in uscita dal pannello verso ciascuno dei tuoi provider o verso un gateway interno indicato in Allowed internal hosts.
- I clienti raggiungono il gateway tramite il dominio del tuo pannello.
- Nessuna GPU e nessun hardware speciale: NexCMP inoltra semplicemente le richieste ai tuoi provider.
AI Models in NexCMP Free e Source
AI Models è un modulo come gli altri ed è incluso sia in NexCMP Free che in NexCMP Source. NexCMP non applica alcun costo aggiuntivo né prevede un piano separato; i costi dei tuoi provider, del tuo hardware e le commissioni dei gateway di pagamento restano a tuo carico.
NexCMP Free è a $0 per il primo anno: la build firmata completa con ogni modulo, correzioni di bug e aggiornamenti per 1 anno, e tutti i domini reseller desiderati. Dopo il primo anno si rinnova a $99 all'anno, e il software continua a funzionare anche senza rinnovo. NexCMP Free è riservato agli operatori di rete con un proprio ASN e una subnet registrata a proprio nome; le richieste vengono esaminate. NexCMP Source è un acquisto una tantum da $499 con il codice sorgente completo, tutte le app compilate per te e 30 giorni lavorativi di affiancamento con un tecnico esperto.
Verifica idoneità
NexCMP AI Models fa al caso tuo se gestisci un'attività di hosting, cloud o software, disponi di sorgenti di modelli che sei autorizzato a usare e rivendere, e desideri chiavi, prezzi, wallet, consumi e fatturazione dei clienti in un unico pannello sul tuo dominio.
Non è adatto se hai bisogno della fornitura di modelli, token, chiavi API o account provider, di un catalogo modelli o listino prezzi già pronto, della conversione tra i formati compatibili con OpenAI e Anthropic, di fine-tuning, GPU hosting o di un accordo sul livello del servizio da parte di NexCMP.
Prima di vendere: sorgenti, termini e responsabilità
NexCMP non fornisce modelli, chiavi API, token, account provider o prezzi. Colleghi le sorgenti di modelli che sei autorizzato a utilizzare e rivendere, rimanendo responsabile del rispetto dei termini dei tuoi fornitori e delle normative applicabili.
Molte sorgenti di modelli vietano la rivendita o la cessione dell'accesso a terzi. Leggi i termini di ciascun fornitore e verifica se occorre un accordo specifico prima di proporre i suoi modelli ai tuoi clienti.
È inoltre necessaria una policy di utilizzo accettabile per i tuoi clienti e una procedura per la gestione delle segnalazioni di abuso. Il trattamento dei dati inviati ai fornitori è regolato dai rispettivi termini; NexCMP non memorizza prompt né risposte. Questa pagina non costituisce consulenza legale.
Piattaforma reseller di API AI: domande frequenti
Che cos'è una piattaforma reseller di API AI e cosa fa NexCMP AI Models?
NexCMP fornisce modelli, chiavi API o token?
Posso rivendere l'accesso ai modelli dei miei fornitori?
Quali formati API possono utilizzare i miei clienti?
Come imposto i prezzi?
Come funziona la fatturazione tramite wallet e cosa succede quando il saldo si esaurisce?
Quali limiti posso impostare sulle chiavi API dei clienti?
I clienti possono visualizzare i propri consumi e i log delle richieste? I prompt vengono memorizzati?
Cosa succede se un provider fallisce?
Posso vendere modelli AI tramite rivenditori?
I clienti possono testare i modelli prima di acquistarli?
È self-hosted e quanto costa?
Chi è responsabile dell'uso accettabile e dei contenuti dei clienti?
Fonti
Documentazione NexCMP per il modulo AI Models.
Ottieni NexCMP gratis
Gratuito, con AI Models e tutti gli altri moduli inclusi. Installalo oggi stesso sul tuo server.
Ultimo aggiornamento: