본문으로 건너뛰기

AI Models

오픈소스 AI API 리셀러 및 LLM 빌링 플랫폼

NexCMP AI Models는 자체 호스팅 NexCMP 패널용 애드온으로, 자체 도메인에서 AI 모델에 대한 액세스를 판매할 수 있도록 지원합니다. 사용 권한이 있는 모델 소스를 연결하고 모델별 요금을 설정하면, 고객은 하나의 API 키로 모델을 호출하고 토큰 단위로 측정되어 선불 지갑에서 요금을 결제합니다.

AI Models는 NexCMP의 일부로 추가 비용이 발생하지 않습니다. 활성화하기 전까지는 비활성화 상태로 유지됩니다. NexCMP는 모델, API 키, 토큰 또는 공급업체 계정을 제공하지 않으며, 사용 권한이 있는 소스를 직접 연동해야 합니다.NexCMP Source: $499 일회성 결제로 전체 소스 코드 제공. 자사 비즈니스를 위해 사용, 수정 및 셀프 호스팅할 수 있습니다. 직접 운영하는 서비스는 판매할 수 있으나, 소스 코드나 빌드를 재판매하거나 재배포할 수는 없습니다. Source 라이선스 약관

NexCMP AI Models 애드온이란 무엇인가요?

NexCMP는 이미 선불 지갑을 통해 가상 머신 과금을 지원하고 있습니다. AI Models는 동일한 패널에 게이트웨이를 추가하므로, 서버를 판매하던 동일한 지갑, 고객, 리셀러 및 지원 티켓 시스템을 통해 AI API 액세스도 함께 판매할 수 있습니다.

본 기능은 과금 및 제어 레이어일 뿐 모델 공급자가 아닙니다. 사용 권한이 있는 공급업체를 추가하고 제공할 모델과 요금을 설정하면, 고객은 자체 키를 사용하여 자체 도메인의 단일 엔드포인트를 호출합니다. 고객에게는 자체 도메인과 자체 요금만 표시되며, 요청을 처리한 실제 공급업체는 전혀 노출되지 않습니다.

AI Chat 및 AI Agent를 찾고 계신가요? 이는 고객 포털 내의 어시스턴트 및 고객 서버에서 실행되는 에이전트로 구성된 별개의 제품입니다. 모델 액세스를 판매하는 기능이 아니며, 두 모듈은 서로 독립적으로 작동합니다.

고객의 AI Models 사용 방식

각 화면은 샘플 데이터로 표시된 고객 포털 서비스 페이지의 탭입니다. 탭을 선택하거나 화살표 또는 좌우 방향키를 사용하거나 전체 화면 뷰어를 열어 확인해 보세요.

모델

고객 포털, AI Models의 모델 탭: 가격 책정 API 링크와 태그, 컨텍스트 크기, 입력 가격 및 출력 가격이 표시된 모델 목록 표.
100만 토큰당 가격이 표시된 판매 모델 목록 및 가격 책정 API 링크입니다.

API 키

고객 포털, AI Models API 키 탭: 마스킹된 시크릿 키, 최근 사용일, 상태, 예산 대비 지출 현황 목록과 OpenAI 호환 및 Anthropic 호환 베이스 URL.
키를 생성하고 키별 예산을 설정하며, OpenAI 호환 및 Anthropic 호환 클라이언트용 기본 URL을 복사할 수 있습니다.

사용량

고객 포털, AI Models Usage 탭: 총 지출액, 요청 수, 성공 및 실패 요청, 토큰 및 일별 지출 차트.
일자별, 모델별, 키별 지출액, 요청 수 및 토큰 사용량.

로그

고객 포털, AI Models Logs 탭: 시간, 유형, 상태, 요청 ID, 비용, 소요 시간 및 키가 표시된 요청 목록.
요청당 상태, 비용, 소요 시간이 1행씩 기록됩니다. 프롬프트와 응답은 저장되지 않습니다.

설정

고객 포털, AI Models Settings 탭: 현재 주기 지출액, 소프트 및 하드 예산 규칙, 알림 이메일, 속도 제한.
알림을 발송하는 소프트 예산, 요청을 차단하는 하드 제한 및 속도 제한을 지원합니다.

Playground

고객 포털, AI Models Playground 탭: 모델 선택기 및 고급 파라미터가 포함된 채팅 창.
코드에서 호출하기 전에 브라우저에서 모델을 직접 테스트해 볼 수 있습니다.

고객부터 공급업체까지의 흐름

고객이 자체 도메인을 호출하면, NexCMP가 키, 한도 및 지갑 잔액을 확인한 후 추가된 공급업체로 요청을 전달합니다.

공급업체 A와 공급업체 B는 직접 추가한 모델 소스를 의미합니다. NexCMP는 공급업체를 제공하지 않습니다.

AI API 액세스 판매에 필요한 사항

NexCMP는 소프트웨어 부문을 지원하며, 그 외 요소는 직접 준비하셔야 합니다.

  • 사용 및 재판매 권한을 보유한 모델 소스: OpenAI 호환 또는 Anthropic 호환 API를 제공하는 1개 이상의 공급업체.
  • AI Models 모듈이 활성화된 NexCMP 패널.
  • 직접 설정한 제공 모델별 판매 요금.
  • 고객 지원 체계 및 자체 서비스 이용 정책.
  • HTTPS를 통해 공급업체에 접근할 수 있는 패널 환경.

하나의 키로 여러 모델 사용

고객의 클라이언트는 자체 도메인을 가리키며 패널에서 발급한 키를 사용합니다. 하나의 키로 사용 권한이 부여된 모든 모델을 호출할 수 있습니다. 게이트웨이는 패널의 자체 도메인에서 실행되며 두 가지 형식 모두 스트리밍 응답을 지원합니다.

  • Anthropic 호환 클라이언트는 /ai/v1/messages/count_tokens 엔드포인트도 사용할 수 있습니다.
  • 토큰 사용량은 공급업체의 응답에서 가져옵니다. 응답에 토큰 정보가 없는 경우 NexCMP가 이를 추정하여 기록에 추정치로 표시합니다.
  • 게이트웨이는 두 형식 간 상호 변환을 수행하지 않습니다. OpenAI 호환 공급업체가 제공하는 모델은 OpenAI 호환 엔드포인트를 통해 접근하며, Anthropic 호환 공급업체가 제공하는 모델은 Anthropic 호환 엔드포인트를 통해 접근합니다. Both 유형의 공급업체는 두 형식을 모두 지원합니다.
  • 웹 검색 등 공급업체 측에서 실행되고 호출당 과금되는 도구는 사용량을 측정할 수 없으므로 거부됩니다. 안전한 소수의 요청 매개변수만 전달됩니다.
POST https://your-domain/ai/v1/chat/completions   OpenAI-compatible
POST https://your-domain/ai/v1/messages            Anthropic-compatible
GET  https://your-domain/ai/v1/models              model list
GET  https://your-domain/ai/v1/models/pricing      public price list, no key

자체 모델 소스 연동

공급업체, 모델, 기본 주소, 요금표 등 사전에 미리 로드되는 항목은 전혀 없습니다.

  • 공급업체 추가

    이름, 유형(OpenAI-compatible, Anthropic-compatible 또는 Both), 기본 URL, API 키, 우선순위 및 활성화 여부를 지정합니다. 키는 암호화되어 저장되며 이후에는 마지막 4자리만 표시됩니다.

  • 연결 테스트

    테스트를 통해 공급업체의 모델 목록을 조회하고 성공 여부 또는 실패 원인(인증 실패, 차단된 주소, 과금 문제, 연결할 수 없는 호스트)을 보고합니다.

  • 모델 목록 동기화

    NexCMP는 공급자 목록을 읽어 새 모델을 가격 미지정 및 비활성화 상태로 추가합니다. 공급자가 제공을 중단한 모델에는 플래그가 표시됩니다. 모듈이 활성화되어 있는 동안 목록은 기본적으로 6시간마다 자동 동기화됩니다.

  • 주소 검증

    공급자 주소는 포트 443의 HTTPS 및 공개 도메인이어야 합니다. 내부 호스트, 기타 포트 및 일반 HTTP는 Allowed internal hosts에 등록한 경우에만 허용됩니다.

  • 직접 설정하는 가격

    NexCMP는 공급자로부터 가격을 가져오지 않습니다. 모든 판매 가격은 직접 설정합니다.

모델별 가격 책정

고객에게 청구할 각 모델의 요금을 직접 결정합니다.

  • 모델당 3가지 가격

    1 million 토큰당 US dollars 기준의 입력, 캐시된 입력 및 출력 가격입니다. 판매 가격이 없는 모델은 활성화할 수 없습니다.

  • 캐시된 입력

    캐시된 입력 가격을 설정하기 전까지 캐시된 토큰은 입력 가격으로 청구됩니다. 무료로 제공되지 않습니다.

  • 선택적 원가 입력

    Profit 페이지에서 일별 및 모델별 손익을 확인하려면 모델 원가를 입력하십시오. 원가를 입력하면 의도적인 손실 판매임을 확인하지 않는 한, 원가에 최소 마진을 더한 금액 미만의 판매 가격은 등록이 거부됩니다.

  • 원가 기준 가격 설정

    원가에 직접 선택한 마크업을 더해 판매 가격을 설정하는 버튼을 제공합니다. 기본 마크업은 설정되어 있지 않습니다.

  • 공개 가격표

    고객과 방문자는 키가 없어도 게이트웨이의 가격표 주소에서 요금을 확인할 수 있습니다.

API 키, 한도, 사용량 및 로그

고객이 포털에서 직접 수행하거나 관리자가 고객을 위해 설정하는 항목입니다.

  • 키

    키 생성, 이름 변경, 순환 교체, 비활성화 및 삭제를 지원합니다. 시크릿은 한 번만 표시되며, NexCMP에는 해시만 저장됩니다.

  • 허용 모델 및 만료일

    키 사용을 특정 모델 목록으로 제한하고 만료일을 설정합니다.

  • 예산 한도

    소프트 예산은 알림과 이메일로 경고합니다. 하드 예산은 402 오류로 요청을 차단합니다. 두 방식 모두 기간별, 단일 키 및 전체 계정 단위로 작동합니다.

  • 속도 제한

    키별 및 계정별 분당 요청 수와 분당 토큰 수, 동시 요청 수 제한, 계정당 키 수 상한을 설정할 수 있습니다.

  • 사용량

    모델별, 키별, 일별 사용량을 확인하고 CSV로 내보낼 수 있습니다.

  • 로그

    시간, 키, 모델, 토큰, 비용, 상태, 지연 시간을 포함하는 필터링 가능한 요청 로그입니다. NexCMP는 프롬프트나 응답을 기록하지 않습니다. 로그는 기본적으로 90일간 보관됩니다.

LLM API를 위한 월렛 결제

AI 사용 요금은 고객의 선불 월렛에서 차감되며, 이는 다른 모든 NexCMP 서비스 결제에 사용되는 것과 동일한 월렛입니다. 가격은 관리자가 설정하며, 고객은 일반적인 방식으로 잔액을 충전합니다.

공급자에게 요청이 전달되기 전에 NexCMP는 해당 요청에서 발생할 수 있는 최대 비용만큼 월렛에서 금액을 사전 예약합니다. 잔액이 최소 금액(기본 20 cents) 미만이거나 부족한 경우 402 insufficient_balance 오류와 함께 요청이 거부되며 공급자는 호출되지 않습니다. 사전 예약이 먼저 이루어지므로 병렬 요청으로 인해 월렛 잔액이 0 미만으로 내려가지 않습니다.

사용량은 계정별로 집계되며 1시간이 지나면 5분마다 실행되는 스위프를 통해 월렛 원장 항목으로 정산됩니다. 아직 정산되지 않은 사용량도 게이트웨이가 참조하는 잔액에서 이미 차감되어 있습니다.

공급자 간 라우팅 및 장애 조치

  • 모델당 다중 경로

    하나의 모델에 대해 지정한 순서대로 여러 공급자로 연결되는 경로를 둘 수 있으며, 각 경로는 켜거나 끌 수 있습니다. 공급자에게 전송되는 모델 이름은 공개된 이름과 다를 수 있습니다.

  • 장애 조치

    공급자에게 서버 오류, 인증 또는 결제 오류, 모델 누락 또는 속도 제한이 발생하면 NexCMP는 다음 경로를 시도합니다.

  • 이중 청구 방지

    요청이 전송된 후 읽기 타임아웃이 발생하면 NexCMP는 해당 요청을 다른 공급자에게 전송하지 않으므로 하나의 요청에 대해 이중으로 비용을 지불하지 않습니다.

  • 공급자별 속도 조절

    일시적인 사용량 급증으로 특정 소스가 소진되지 않도록 각 공급자에 대한 분당 요청 수를 제한(기본 50건)합니다.

  • 알림

    공급자에서 인증 또는 결제 오류가 계속 반환되는 경우, Telegram이 설정되어 있다면 NexCMP가 관리자에게 Telegram으로 알림을 보냅니다.

  • 공급자 세부 정보 숨김 유지

    오류는 고객에게 도달하기 전에 정제됩니다. 공급자 이름, 호스트, 업스트림 모델 이름 및 주소가 제거되며, 공급자 헤더는 전달되지 않습니다. 고객은 어떤 공급자가 요청을 처리했는지 확인할 수 없습니다.

Playground 및 고객 포털

각 항목은 고객이 도메인 포털에서 수행하는 작업입니다.

  • 모델 및 요금

    제공하는 모델과 해당 요금, 기본 URL, 미리 준비된 예제 명령을 확인할 수 있습니다.

  • 키, 사용량 및 로그

    키를 생성하고, 모델별·키별·일별 사용량을 확인하며, 요청 로그를 필터링할 수 있습니다. 로그에는 메타데이터만 표시되며 요청 내용은 일절 표시되지 않습니다.

  • 설정

    계정 예산과 알림을 수신할 이메일 주소를 설정합니다.

  • Playground

    모델과 대화하고, 여러 모델을 나란히 비교하며, Get Code로 해당 코드를 복사할 수 있습니다.

운영자가 직접 제어할 수 있는 작업

각 항목은 NexCMP 관리자 콘솔에 포함되어 있습니다.

  • 공급자, 모델 및 라우트

    공급자를 추가 및 테스트하고, 모델 목록을 동기화하며, 요금을 설정하고, 모델을 켜거나 끄며, 각 모델을 어떤 공급자가 어떤 순서로 처리할지 선택할 수 있습니다.

  • 사용량 및 수익

    각 고객 계정의 사용량을 확인하고, 원가를 입력한 모델의 경우 일별 및 모델별 원가 대비 수익을 조회할 수 있습니다.

  • 감사

    모든 변경 사항에는 사유 입력이 필요하며 감사 로그에 기록됩니다. 공급자 키는 로그인된 관리자 세션에서만 입력할 수 있습니다.

  • 두 개의 스위치

    모듈은 License & updates, Modules에서 켭니다. AI Models 관리자 페이지의 별도 판매 스위치는 기본적으로 꺼져 있으며, 꺼져 있는 동안에는 고객에게 서비스가 아직 오픈되지 않은 것으로 표시되고 공개 요금표에는 이용 불가능으로 보고됩니다.

  • 비활성화

    모듈이 꺼지면 고객 페이지, 관리자 페이지 및 게이트웨이가 모두 404로 응답하고, 메뉴 항목이 숨겨지며, 백그라운드 동기화의 공급자 호출이 중단됩니다.

NexCMP AI Models 화면

샘플 데이터가 포함된 NexCMP 1.5.0 설치 환경의 실제 화면입니다. Provider A, B, C는 예시 이름입니다.

유형, 우선순위, 상태, 연결 테스트 및 모델 동기화 버튼과 함께 Provider A, Provider B, Provider C가 나열된 NexCMP 관리자 AI Models 공급자 페이지
공급자: 추가한 모델 소스로, 유형, 우선순위, 상태가 표시됩니다. Provider A, B, C는 예시 이름입니다.
1백만 토큰당 입력, 캐시된 입력 및 출력 판매 가격과 On/Off 스위치가 있는 모델 목록이 표시된 NexCMP 관리자 AI Models 페이지
모델 및 요금: 관리자가 직접 설정한 모델별 세 가지 판매 가격과 각 모델의 스위치입니다.
총 지출액, 요청 수, 토큰 수, 일별 지출 차트 및 상위 API 키와 모델이 표시된 NexCMP 고객 포털 AI 사용량 페이지
모델별, 키별, 일별 사용량.
키 이름, 최근 활동, 만료일, 상태, 재설정 주기, 예산 대비 현재 지출액 및 두 API 형식의 기본 URL이 표시된 NexCMP 고객 포털 AI Models용 API Keys 페이지
만료일, 상태, 예산 대비 지출액 및 기본 URL이 표시된 고객의 API 키입니다.
채팅, 모델 선택기 및 응답에 사용된 토큰 수가 표시된 NexCMP 고객 포털 AI Playground
고객 포털의 Playground입니다.

리셀러를 통한 판매

화이트라벨 리셀러는 자체 도메인에서 자체 요금으로 AI Models를 판매할 수 있습니다. 귀하의 판매 가격에 리셀러의 마크업 또는 할인이 적용되며, 원가를 입력한 경우 도매 가격은 원가에 최소 마진을 더한 금액 이상으로 유지됩니다. 리셀러의 도매 지갑에는 도매 가격이 청구됩니다.

각 리셀러별 AI 스위치로 해당 리셀러의 AI Models 판매 여부를 결정합니다. 기본값은 켜짐입니다.

작동 방식

모듈이 꺼진 상태부터 첫 번째 고객 요청까지.

  1. 모듈 활성화

    관리자 콘솔에서 License & updates, Modules를 열고 AI Models를 켭니다.

  2. 공급자 추가 및 테스트

    공급자의 유형, 기본 URL 및 키를 입력한 다음 연결 테스트를 실행합니다.

  3. 모델 동기화 및 요금 설정

    모델 목록을 동기화하고 판매 가격을 설정한 뒤, 대체 라우트로 사용할 보조 프로바이더가 있다면 추가하고 모델을 활성화합니다.

  4. 판매 스위치 활성화

    고객이 서비스를 이용할 수 있도록 AI Models 관리자 페이지에서 판매 스위치를 켭니다.

  5. 고객의 키 생성 및 엔드포인트 호출

    고객이 지갑을 충전하고 포털에서 키를 생성한 다음, 클라이언트의 엔드포인트를 귀하의 도메인으로 지정합니다.

인프라 요구 사양

NexCMP 패널을 운영하며 모델 소스를 직접 연동합니다. 정확한 절차가 포함된 전체 목록은 https://nexcmp.com/docs/infrastructure/ai-models/ 문서에서 확인할 수 있습니다.

  • AI Models 모듈이 활성화된 NexCMP 패널.
  • 패널에서 각 프로바이더 또는 Allowed internal hosts에 등록된 내부 게이트웨이로 나가는 아웃바운드 HTTPS 통신.
  • 고객은 귀하 패널의 도메인을 통해 게이트웨이에 접속합니다.
  • GPU나 특수 하드웨어가 필요하지 않습니다. NexCMP는 요청을 프로바이더로 전달할 뿐입니다.

NexCMP Free 및 NexCMP Source의 AI Models

AI Models는 다른 기능과 동일한 모듈이며 NexCMP Free 및 NexCMP Source 모두에 포함되어 있습니다. NexCMP는 이에 대해 추가 요금을 청구하지 않으며 별도의 플랜도 없습니다. 프로바이더 비용, 하드웨어 비용 및 결제 게이트웨이 수수료는 직접 부담하셔야 합니다.

NexCMP Free는 첫해 $0입니다. 모든 모듈이 포함된 서명된 정식 빌드, 1년간의 버그 수정 및 업데이트, 무제한 리셀러 도메인을 제공합니다. 첫해 이후에는 연간 $99로 갱신되며, 갱신하지 않더라도 소프트웨어는 계속 실행됩니다. NexCMP Free는 자체 ASN 및 본인 명의로 등록된 서브넷을 보유한 네트워크 운영자를 대상으로 하며, 신청 후 심사가 진행됩니다. NexCMP Source는 $499 1회 구매로 전체 소스 코드, 빌드 완료된 모든 앱, 전문 엔지니어와의 30 영업일 지원을 제공합니다.

적합성 확인

호스팅, 클라우드 또는 소프트웨어 비즈니스를 운영하고, 사용 및 재판매 권한이 있는 모델 소스를 보유하고 있으며, 키 발급, 가격 책정, 지갑, 사용량 측정 및 고객 과금을 자체 도메인의 단일 패널에서 관리하고자 하는 경우 NexCMP AI Models가 적합합니다.

모델, 토큰, API 키 또는 프로바이더 계정 제공, 사전 구성된 모델 카탈로그나 가격표, OpenAI 호환 및 Anthropic 호환 형식 간 변환, 파인 튜닝, GPU 호스팅, 또는 NexCMP의 서비스 수준 계약(SLA)이 필요한 경우에는 적합하지 않습니다.

판매 전 확인 사항: 소스, 이용약관 및 책임

NexCMP는 모델, API 키, 토큰, 프로바이더 계정 또는 가격을 제공하지 않습니다. 사용 및 재판매 권한이 있는 모델 소스를 직접 연결해야 하며, 해당 소스의 이용약관과 적용되는 법률을 준수할 책임은 전적으로 귀하에게 있습니다.

다수의 모델 소스가 재판매나 제3자에 대한 접근 권한 부여를 제한합니다. 각 소스의 이용약관을 검토하고, 고객에게 모델을 제공하기 전에 별도 계약이 필요한지 해당 소스에 문의하십시오.

또한 자체 고객을 위한 이용 정책(AUP)과 어뷰징 신고 처리 방안을 마련해야 합니다. 전송된 데이터에 대한 소스 측의 처리는 해당 소스의 약관에 따르며, NexCMP 자체는 프롬프트나 응답을 기록하지 않습니다. 본 페이지의 내용은 법률적 조언이 아닙니다.

AI API 리셀러 플랫폼: 자주 묻는 질문

AI API 리셀러 플랫폼이란 무엇이며, NexCMP AI Models는 어떤 역할을 합니까?
자체 API를 통해 AI 모델 액세스를 판매하는 소프트웨어입니다. NexCMP AI Models는 NexCMP 패널의 게이트웨이 및 청구 레이어입니다: 고객은 키를 받아 귀사 도메인의 단일 엔드포인트를 호출하고, 운영자는 모델별 및 1백만 토큰당 가격을 설정하며, 사용량이 측정되어 선불 지갑에서 차감 청구되고, 요청은 추가한 공급자로 라우팅됩니다.
NexCMP에서 모델, API 키 또는 토큰을 제공합니까?
제공하지 않습니다. NexCMP는 프로바이더, 모델, 기본 주소, 가격이 설정되지 않은 상태로 배포됩니다. 사용 권한이 있는 모델 소스를 직접 연동하면, NexCMP가 게이트웨이, 키 관리, 가격 책정 및 과금 기능을 제공합니다.
소스에서 제공하는 모델 접근 권한을 재판매할 수 있습니까?
이는 NexCMP가 아닌 해당 소스의 약관에 따라 결정됩니다. 다수의 소스가 재판매나 제3자 접근 권한 부여를 제한하며, 일부는 별도 계약을 통해 허용합니다. 해당 약관을 확인하고 관련 약관 및 적용 법률을 준수할 책임은 귀하에게 있습니다. 본 내용은 법률적 조언이 아닙니다.
고객이 사용할 수 있는 API 형식은 무엇입니까?
스트리밍을 지원하는 /ai/v1/chat/completions의 OpenAI 호환 형식과 /ai/v1/messages의 Anthropic 호환 형식을 사용할 수 있습니다. 고객은 기본 URL을 귀하의 도메인으로 변경하고 패널에서 발급받은 키를 사용합니다. 게이트웨이는 두 형식 간 변환을 수행하지 않으므로, 각 모델은 프로바이더가 지원하는 형식을 통해 호출됩니다.
가격은 어떻게 설정합니까?
모델별로 1백만 토큰당 미화(USD) 기준으로 입력, 캐시된 입력 및 출력 가격이 각각 책정됩니다. 판매 가격이 없는 모델은 활성화할 수 없습니다. 원가를 입력하여 일별 및 모델별 손익을 확인할 수도 있습니다.
지갑 결제는 어떻게 작동하며, 잔액이 소진되면 어떻게 되나요?
사용량은 고객의 선불 NexCMP 지갑에서 차감됩니다. 요청이 프로바이더로 전송되기 전에 NexCMP는 발생할 수 있는 최대 비용을 사전 예약합니다. 잔액이 부족하면 요청은 402 insufficient_balance 오류와 함께 거부되며 프로바이더를 호출하지 않습니다.
고객 API 키에 어떤 제한을 설정할 수 있나요?
허용 모델, 만료일, 경고를 표시하는 소프트 예산 및 차단을 수행하는 하드 예산, 분당 요청 수와 분당 토큰 수, 동시 요청 수 제한을 설정할 수 있습니다. 예산과 속도 제한은 계정 전체에도 설정할 수 있으며, 계정당 키 개수 상한을 지정할 수도 있습니다.
고객이 자신의 사용량과 요청 로그를 확인할 수 있나요? 프롬프트도 저장되나요?
네, 모델별, 키별, 일별 사용량을 CSV 내보내기와 함께 확인할 수 있으며, 필터링 가능한 요청 로그도 제공됩니다. 로그에는 시간, 키, 모델, 토큰 수, 비용, 상태, 지연 시간 등 메타데이터만 저장됩니다. NexCMP는 프롬프트나 응답을 기록하지 않으며, 로그는 기본적으로 90일 동안 보관됩니다.
특정 프로바이더에 장애가 발생하면 어떻게 되나요?
하나의 모델에 대해 원하는 순서대로 여러 프로바이더 경로를 설정할 수 있습니다. 프로바이더가 서버 오류, 인증 또는 결제 오류, 모델 누락, 속도 제한을 반환하면 NexCMP는 다음 경로를 시도합니다. 이미 전송된 후 타임아웃된 요청은 다른 프로바이더로 재전송되지 않습니다.
리셀러를 통해 AI 모델을 판매할 수 있나요?
네, 가능합니다. 화이트라벨 리셀러는 자체 도메인에서 귀하의 판매 가격에 자체 마크업이나 할인을 적용하여 AI Models를 판매할 수 있으며, 결제는 리셀러의 도매 지갑에서 차감됩니다. 기본적으로 활성화되어 있는 리셀러별 AI 스위치를 통해 판매 권한을 제어합니다.
고객이 구매하기 전에 모델을 테스트해 볼 수 있나요?
고객 포털에 플레이그라운드가 마련되어 있어 고객이 모델과 대화하고, 여러 모델을 나란히 비교하며, 해당 코드를 복사할 수 있습니다.
자체 호스팅 방식으로 운영되나요? 비용은 얼마인가요?
네, 자체 NexCMP 패널에서 직접 실행됩니다. AI Models는 NexCMP Free(첫해 $0, 이후 연간 $99) 및 NexCMP Source($499 일회성)에 추가 비용 없이 포함되어 있습니다. 기본적으로 비활성화되어 있으며, License & updates의 Modules에서 켤 수 있습니다.
이용 정책 준수 및 고객 콘텐츠에 대한 책임은 누구에게 있나요?
운영자에게 있습니다. 고객을 대상으로 한 이용 정책을 직접 수립하고, 어뷰징 신고를 처리하며, 모델 제공처의 이용약관 및 관련 법률을 준수해야 합니다. NexCMP는 이를 원활히 관리할 수 있도록 키, 제한 설정 및 로그 기능을 제공합니다.

출처

AI Models 모듈에 대한 NexCMP 설명서입니다.

NexCMP 무료로 시작하기

AI Models를 포함한 모든 모듈이 무료로 제공됩니다. 지금 서버에 설치해 보세요.

최종 업데이트: