AI Models

Wo im Admin: System › Admin › License & updates (/license), um das Modul zu aktivieren. Dann Services › AI Models: Providers (/ai/providers), Models (/ai/models), Profit (/ai/profit) und Audit (/ai/audit). Kunden nutzen AI › API im Kundenportal.

Funktion

AI Models ist ein Gateway und Billing-Layer auf Ihrem eigenen Panel. Ihre Kunden erhalten API-Keys und rufen einen Endpoint auf Ihrer Domain im OpenAI- oder Anthropic-kompatiblen Format auf. Sie bestimmen, welche Modelle Sie anbieten und wie viel jedes pro 1 Million Tokens kostet. NexCMP prüft den Schlüssel, die Limits sowie das Wallet, leitet die Anfrage an einen von Ihnen hinzugefügten Provider weiter, erfasst die Tokens und rechnet sie über das Prepaid-Wallet des Kunden ab.

Sie stellen die Modellquellen bereit. NexCMP wird ohne Provider, ohne Modell, ohne Standardadresse und ohne Preise ausgeliefert. Es stellt weder Modelle noch API-Keys, Tokens oder Provider-Accounts zur Verfügung.

Prüfen Sie zuerst die Bedingungen Ihrer Quellen

Viele Modellquellen schränken den Wiederverkauf oder die Weitergabe des Zugriffs an Dritte ein. Nutzen Sie nur Quellen, zu deren Nutzung und Wiederverkauf Sie berechtigt sind, und befolgen Sie deren Bedingungen sowie das für Sie geltende Recht. Diese Seite stellt keine Rechtsberatung dar.

AI Models ist ein separates Produkt neben AI Chat and AI Agent (Modul AI, siehe AI-Provider). Die beiden Module sind voneinander unabhängig.

Anforderungen

Komponente	Anforderung
Modul	AI Models unter License & updates, Modules aktiviert. Standardmäßig ist es deaktiviert.
Provider	Eine oder mehrere Modellquellen, zu deren Weiterverkauf Sie berechtigt sind, jeweils mit einer OpenAI-kompatiblen API (/chat/completions), einer Anthropic-kompatiblen API (/messages) oder beiden. Jede benötigt eine Base-URL und einen API-Key.
Netzwerk	Das Panel muss jeden Provider über HTTPS auf Port 443 unter einem öffentlichen Domainnamen erreichen können. Ein Provider auf einem internen Host, einem anderen Port oder über unverschlüsseltes HTTP muss unter Allowed internal hosts (Einstellung ai_endpoint_allow) aufgeführt sein.
Kunden	Ein Kundenkonto mit verifizierter E-Mail-Adresse und einem Wallet-Guthaben.
Hardware	Keine. NexCMP leitet Anfragen nur weiter: keine GPU und keine Modelldateien.

Infrastruktur vorbereiten

1. Beschaffen Sie sich einen API-Key von jeder Modellquelle, die Sie nutzen möchten, und notieren Sie deren Basis-URL (beispielsweise https://api.example.com/v1).
2. Prüfen Sie die Bedingungen der Quelle hinsichtlich des Wiederverkaufs.
3. Wenn eine Quelle innerhalb Ihres Netzwerks betrieben wird, bestimmen Sie deren Adresse, beispielsweise http://10.0.0.5:8000/v1. Sie tragen 10.0.0.5:8000 unter Allowed internal hosts ein.

In NexCMP verbinden

1. Modul einschalten

Öffnen Sie System › Admin › License & updates, suchen Sie die Karte Module und schalten Sie AI Models ein. Das Menü lädt neu und Services › AI Models erscheint. Solange das Modul deaktiviert ist, antworten die Kundenseiten, die Admin-Seiten und das Gateway jeweils mit 404 module_disabled, und es wird kein Provider kontaktiert.

2. Provider hinzufügen

1. Öffnen Sie AI Models › Providers und wählen Sie Add provider.
2. Geben Sie einen kurzen Slug, einen Namen (nur für Sie sichtbar), den Typ (OpenAI-compatible, Anthropic-compatible oder Both), die Basis-URL und den API key sowie eine Priorität ein (eine niedrigere Zahl wird zuerst versucht).
3. Speichern Sie. Der Schlüssel wird verschlüsselt gespeichert und anschließend werden nur seine letzten vier Zeichen angezeigt. Ein Schlüssel kann nur über eine angemeldete Administratorsitzung eingegeben werden.

Verwenden Sie Both nur für ein Gateway, das tatsächlich beide Formate bereitstellt. NexCMP übersetzt nicht zwischen den beiden Formaten: Ein von einem OpenAI-kompatiblen Provider bereitgestelltes Modell wird unter /ai/v1/chat/completions erreicht und eines von einem Anthropic-kompatiblen Provider unter /ai/v1/messages.

3. Verbindung testen

Wählen Sie Test connection beim Provider. NexCMP liest GET <base URL>/models mit dem Schlüssel aus und meldet ok oder den Grund für den Fehler: auth (falscher Schlüssel), blocked, billing oder unreachable. Tests sind auf 6 pro Minute begrenzt.

4. Modelle synchronisieren

Wählen Sie Sync models. NexCMP liest die Modellliste des Providers aus und fügt jedes neue Modell deaktiviert und ohne Preis hinzu. Modelle, die der Provider nicht mehr auflistet, werden gekennzeichnet. Solange das Modul aktiviert ist, wird die Liste zudem alle 6 Stunden automatisch synchronisiert (Einstellung ai_models_sync_hours).

5. Preise festlegen und Modelle aktivieren

1. Öffnen Sie AI Models › Models.
2. Legen Sie für jedes Modell, das Sie verkaufen möchten, den Verkaufspreis in US-Dollar pro 1 Million Tokens fest: Input, Cached Input und Output.
3. Geben Sie optional Ihre Kosten für das Modell ein. Anschließend stellt Profit Einnahmen und Kosten nach Tag und Modell gegenüber, und ein Verkaufspreis unter Ihren Kosten zuzüglich der Mindestmarge (Einstellung ai_min_margin_pct, standardmäßig 10) wird abgelehnt, es sei denn, Sie bestätigen einen bewussten Verlust. Set price from cost verwendet einen von Ihnen gewählten Aufschlag; es gibt keinen Standardaufschlag.
4. Schalten Sie das Modell ein. Ein Modell ohne Verkaufspreis kann nicht eingeschaltet werden. Bleibt der Cached-Input-Preis bei null, wird der reguläre Eingabepreis berechnet.

6. Routes und Failover

Bei einem Modell listet Routes die Anbieter auf, die es bereitstellen, geordnet nach Priorität. Fügen Sie einen zweiten Anbieter als Fallback hinzu, legen Sie die Reihenfolge fest und geben Sie optional für jeden Anbieter einen abweichenden Modellnamen an (der an den Anbieter gesendete Name kann sich von dem von Ihnen veröffentlichten Namen unterscheiden). Gibt ein Anbieter einen Serverfehler, einen Autorisierungs- oder Abrechnungsfehler, ein fehlendes Modell oder ein Rate-Limit zurück, versucht NexCMP die nächste Route. Läuft ein Lesezugriff nach dem Senden der Anfrage in ein Timeout, wird sie nicht an einen anderen Anbieter gesendet, damit Sie nicht doppelt zahlen.

Jeder Anbieter ist auf ai_provider_rpm Anfragen pro Minute gedrosselt (standardmäßig 50). Gibt ein Anbieter wiederholt Autorisierungs- oder Abrechnungsfehler zurück, benachrichtigt NexCMP den Administrator über Telegram, sofern Telegram eingerichtet ist.

7. Verkaufsschalter aktivieren

Oben auf den Seiten für AI Models ist der Verkaufsschalter (Einstellung feature_ai_models) standardmäßig deaktiviert. Solange er ausgeschaltet ist, sehen Kunden, dass der Dienst noch nicht verfügbar ist, und die öffentliche Preisliste weist ihn als nicht verfügbar aus. Stellen Sie sicher, dass mindestens ein Modell aktiviert ist, einen Verkaufspreis sowie eine Route mit einem Schlüssel besitzt, und schalten Sie ihn anschließend ein.

Was Kunden tun können

Im Kundenportal unter AI › API:

• Models zeigt Ihre Modelle und Preise, die Basis-URL sowie vorgefertigte Beispielbefehle.
• API Keys: Erstellen, Umbenennen, Rotieren, Deaktivieren und Löschen von Schlüsseln. Ein Secret wird nur einmal angezeigt; gespeichert wird lediglich ein Hash. Pro Schlüssel: erlaubte Modelle, Ablaufdatum, ein Soft-Budget (warnt) und ein Hard-Budget (blockiert mit 402), Anfragen pro Minute sowie Tokens pro Minute.
• Usage nach Modell, Schlüssel und Tag, mit Exportfunktion.
• Logs: filterbare Anfrageprotokolle (Zeitpunkt, Schlüssel, Modell, Tokens, Kosten, Status, Latenz). Prompts und Antworten werden nicht aufgezeichnet. Logs werden standardmäßig 90 Tage aufbewahrt (ai_log_retention_days).
• Settings: ein Kontobudget und die E-Mail-Adresse für Budgetwarnungen.
• Playground: Chatten Sie mit einem Modell, vergleichen Sie Modelle im Direktvergleich und kopieren Sie den passenden Code.

Die Gateway-Endpunkte auf Ihrer Domain:

POST /ai/v1/chat/completions      OpenAI-compatible
POST /ai/v1/messages              Anthropic-compatible (also /ai/v1/messages/count_tokens)
GET  /ai/v1/models                model list
GET  /ai/v1/models/pricing        public price list, no key needed

Wallet und Abrechnung

Die AI-Nutzung wird über dasselbe Prepaid-Wallet wie alle anderen Dienste abgerechnet. Bevor eine Anfrage an einen Anbieter weitergeleitet wird, reserviert NexCMP den Maximalbetrag, den die Anfrage kosten könnte. Liegt das Guthaben unter dem Mindestbetrag (ai_min_balance_cents, standardmäßig 20 Cent) oder reicht es nicht aus, wird die Anfrage mit 402 insufficient_balance abgelehnt und kein Anbieter aufgerufen. Die Nutzung wird pro Konto erfasst und stündlich in Wallet-Buchungseinträgen abgerechnet, mit einem Bereinigungslauf alle 5 Minuten. Noch nicht abgerechnete Nutzung wird bereits von dem Guthaben abgezogen, das das Gateway sieht.

Reseller können AI Models über ihre eigene Domain verkaufen: Ihr Aufschlag oder Rabatt gilt für Ihren Verkaufspreis, und ihr Wholesale-Wallet wird mit dem Wholesale-Preis belastet. Ein AI-Schalter pro Reseller, der standardmäßig aktiviert ist, steuert, wer den Dienst verkaufen darf.

Verifizierung

1. Nach Schritt 3 zeigt Test connection ok und die Modellanzahl an.

2. Nach Schritt 4 werden die neuen Modelle deaktiviert und ohne Preis aufgeführt.

3. Erstellen Sie als Kunde mit aufgeladenem Wallet einen Schlüssel und rufen Sie das Gateway auf:

   curl https://your-domain/ai/v1/chat/completions \
     -H "Authorization: Bearer sk-ai-…" -H "Content-Type: application/json" \
     -d '{"model":"model-one","messages":[{"role":"user","content":"hello"}]}'

   Eine 200-Antwort enthält die Ausgabe des Modells. Usage zeigt die Anfrage an, und Profit weist sie aus, falls Sie Kosten hinterlegt haben.

4. Ist das Wallet leer, gibt derselbe Aufruf 402 insufficient_balance zurück.

Grenzwerte und Hinweise

• Das Modul enthält keine vordefinierten Anbieter, Modelle oder Preise, und es wird zu keinem Zeitpunkt eine Preisliste von einem Anbieter abgerufen.
• Tools, die anbieterseitig ausgeführt und pro Aufruf abgerechnet werden (wie z. B. Websuche), werden abgelehnt, da sie nicht gemessen werden können. Es wird nur eine kurze Liste von Anfrageparametern weitergeleitet.
• Die Token-Nutzung wird aus der Antwort des Providers übernommen; enthält eine Antwort keine Angaben, schätzt NexCMP den Verbrauch und kennzeichnet den Datensatz als geschätzt.
• Fehler eines Providers werden bereinigt, bevor sie den Kunden erreichen (Namen, Hosts, Adressen und der Modellname des Providers werden entfernt). Kunden sehen niemals, welcher Provider eine Anfrage verarbeitet hat.
• Kunden erreichen das Gateway über die Domain Ihres Panels, daher muss TLS für diese Domain ordnungsgemäß funktionieren.
• NexCMP bietet für dieses Modul kein Service-Level-Agreement, Fine-Tuning oder GPU-Hosting.

Fehlerbehebung

Symptom	Ursache und Behebung
Jede AI Models-Seite und das Gateway antworten mit 404 module_disabled	Das Modul ist deaktiviert. Aktivieren Sie AI Models unter License & updates, Modules.
Das Hinzufügen eines Providers schlägt mit endpoint_host_not_allowed, endpoint_must_be_https oder invalid_endpoint_port fehl	Die Basis-URL muss HTTPS auf Port 443 unter einem öffentlichen Domainnamen verwenden. Tragen Sie für einen internen Host, einen anderen Port oder reines HTTP host:port unter Allowed internal hosts ein.
blocked_endpoint	Die Adresse ist eine IP oder der Name löst auf eine private Adresse auf. Tragen Sie sie unter Allowed internal hosts ein, falls dies gewünscht ist.
Test connection meldet auth	Der Schlüssel ist ungültig oder verfügt über keinen Zugriff. Geben Sie den Schlüssel erneut ein.
Ein Modell kann nicht aktiviert werden (no_price)	Legen Sie zuerst einen Verkaufspreis fest.
Kunden erhalten 503 ai_unavailable	Der Verkaufsschalter ist deaktiviert oder der AI-Schalter des Resellers ist deaktiviert.
Kunden erhalten 503 upstream_unavailable	Keine aktivierte Route mit einem Schlüssel bedient dieses Modell im angeforderten Format. Überprüfen Sie die Routen des Modells und den Provider-Typ.
Kunden erhalten 402 insufficient_balance	Das Wallet-Guthaben liegt unter dem Minimum oder reicht für die Anfrage nicht aus. Bitten Sie den Kunden um eine Aufladung.