ข้ามไปยังเนื้อหา
TH
รับ NexCMP ฟรี

AI Models

แพลตฟอร์มตัวแทนจำหน่าย AI API และระบบเรียกเก็บเงิน LLM แบบโอเพนซอร์ส

NexCMP AI Models คือส่วนเสริมสำหรับพาเนล NexCMP แบบ self-hosted ที่ช่วยให้คุณขายสิทธิ์การเข้าถึงโมเดล AI บนโดเมนของคุณเองได้ คุณเพียงเชื่อมต่อแหล่งโมเดลที่คุณได้รับอนุญาตให้ใช้งาน กำหนดราคาสำหรับแต่ละโมเดล จากนั้นลูกค้าของคุณจะสามารถเรียกใช้งานได้ด้วย API key เพียงคีย์เดียว โดยคิดค่าบริการตามจำนวนโทเคนและชำระเงินผ่านกระเป๋าเงินแบบเติมเงิน

รับ NexCMP ฟรีรับ NexCMP Source — $499ดูเดโม

AI Models เป็นส่วนหนึ่งของ NexCMP โดยไม่มีค่าใช้จ่ายเพิ่มเติม ระบบจะปิดการใช้งานไว้จนกว่าคุณจะเปิดใช้งาน NexCMP ไม่ได้ให้บริการโมเดล, API key, โทเคน หรือบัญชีผู้ให้บริการแต่อย่างใด คุณต้องนำแหล่งโมเดลที่คุณได้รับอนุญาตให้ใช้งานมาเชื่อมต่อด้วยตนเองNexCMP Source: ซอร์สโค้ดฉบับเต็มในราคา $499 จ่ายครั้งเดียว ใช้งาน แก้ไข และโฮสต์เองสำหรับธุรกิจของคุณ คุณสามารถขายบริการที่คุณเป็นผู้ดำเนินการได้ แต่ห้ามนำซอร์สโค้ดหรือบิลด์ไปขายต่อหรือเผยแพร่ซ้ำ ข้อกำหนดสิทธิ์การใช้งาน Source

ส่วนเสริม NexCMP AI Models คืออะไร?

NexCMP รองรับการคิดค่าบริการเวอร์ชวลแมชชีนผ่านกระเป๋าเงินแบบเติมเงินอยู่แล้ว AI Models ได้เพิ่มเกตเวย์ลงในพาเนลเดียวกัน ทำให้กระเป๋าเงิน ลูกค้า ตัวแทนจำหน่าย และตั๋วแจ้งปัญหาที่ใช้จัดการเซิร์ฟเวอร์สามารถใช้ขายสิทธิ์การเข้าถึง AI API ได้เช่นเดียวกัน

ระบบนี้ทำหน้าที่เป็นเลเยอร์สำหรับควบคุมและคิดค่าบริการ ไม่ใช่ผู้ให้บริการโมเดล คุณสามารถเพิ่มผู้ให้บริการที่คุณมีสิทธิ์ใช้งาน เลือกโมเดลที่ต้องการเปิดให้บริการ และกำหนดราคาของแต่ละโมเดลได้ ลูกค้าของคุณจะเรียกใช้งานผ่านเอนด์พอยต์เดียวบนโดเมนของคุณด้วยคีย์ของพวกเขาเอง ลูกค้าจะเห็นเฉพาะโดเมนและราคาของคุณเท่านั้น โดยไม่เห็นผู้ให้บริการจริงที่ประมวลผลคำขอดังกล่าว

กำลังมองหา AI Chat และ AI Agent อยู่ใช่หรือไม่? ฟังก์ชันดังกล่าวเป็นผลิตภัณฑ์คนละส่วนกัน โดยเป็นผู้ช่วยภายในพอร์ทัลลูกค้าและเอเจนต์ที่ทำงานบนเซิร์ฟเวอร์ของลูกค้า ซึ่งไม่ได้มีไว้สำหรับขายสิทธิ์การเข้าถึงโมเดล และทั้งสองโมดูลนี้ทำงานแยกจากกันโดยไม่ขึ้นต่อกัน

วิธีที่ลูกค้าของคุณใช้งาน AI Models

ทุกหน้าจอคือแท็บของหน้าบริการในพอร์ทัลลูกค้า ซึ่งแสดงด้วยข้อมูลตัวอย่าง เลือกแท็บ ใช้ปุ่มลูกศรหรือปุ่มซ้ายและขวา หรือเปิดดูแบบเต็มหน้าจอ

โมเดล

พอร์ทัลลูกค้า AI Models แท็บโมเดล: ลิงก์ API ราคาและตารางโมเดลพร้อมแท็ก ขนาด context ราคาอินพุต และราคาเอาต์พุต
โมเดลที่มีจำหน่ายพร้อมราคาต่อล้านโทเค็น และลิงก์ไปยัง API ราคา

API Keys

พอร์ทัลลูกค้า AI Models แท็บ API Keys: รายการคีย์พร้อมการซ่อนความลับ การใช้งานล่าสุด สถานะ และยอดใช้จ่ายเทียบกับงบประมาณ รวมถึง base URL ที่รองรับ OpenAI และ Anthropic
สร้างคีย์ กำหนดงบประมาณต่อคีย์ และคัดลอก base URL สำหรับไคลเอนต์ที่รองรับ OpenAI และ Anthropic

การใช้งาน

พอร์ทัลลูกค้า AI Models แท็บการใช้งาน: ยอดใช้จ่ายรวม คำขอ คำขอที่สำเร็จและล้มเหลว โทเค็น และกราฟค่าใช้จ่ายรายวัน
ค่าใช้จ่าย คำขอ และโทเค็นตามวัน โมเดล และคีย์

Logs

พอร์ทัลลูกค้า AI Models แท็บ Logs: รายการคำขอพร้อมเวลา ประเภท สถานะ ID คำขอ ค่าใช้จ่าย ระยะเวลา และคีย์
หนึ่งแถวต่อหนึ่งคำขอพร้อมสถานะ ค่าใช้จ่าย และระยะเวลา โดยไม่มีการจัดเก็บพรอมต์และคำตอบ

การตั้งค่า

พอร์ทัลลูกค้า AI Models แท็บการตั้งค่า: ยอดใช้จ่ายรอบปัจจุบัน กฎงบประมาณแบบ soft และ hard อีเมลแจ้งเตือน และ rate limit
งบประมาณ soft limit ที่ส่งการแจ้งเตือน hard limit ที่บล็อกคำขอ และ rate limit

Playground

พอร์ทัลลูกค้า AI Models แท็บ Playground: แชตพร้อมตัวเลือกโมเดลและพารามิเตอร์ขั้นสูง
ทดลองใช้โมเดลในเบราว์เซอร์ก่อนเรียกใช้งานจากโค้ด

จากลูกค้าของคุณไปยังผู้ให้บริการของคุณ

ลูกค้าจะส่งคำขอมายังโดเมนของคุณ จากนั้น NexCMP จะตรวจสอบคีย์ วงเงินจำกัด และยอดเงินในกระเป๋า ก่อนจะส่งต่อคำขอไปยังผู้ให้บริการที่คุณเพิ่มไว้

ผู้ให้บริการ A และผู้ให้บริการ B หมายถึงแหล่งโมเดลที่คุณเพิ่มด้วยตนเอง โดย NexCMP ไม่ได้จัดหาให้แต่อย่างใด

สิ่งที่คุณต้องมีในการขายสิทธิ์การเข้าถึง AI API

NexCMP ครอบคลุมในส่วนของซอฟต์แวร์ ส่วนที่เหลือคุณเป็นผู้จัดการเองทั้งหมด

  • แหล่งโมเดลที่คุณได้รับอนุญาตให้ใช้งานและจำหน่ายต่อ: ผู้ให้บริการหนึ่งรายขึ้นไปที่รองรับ API ซึ่งเข้ากันได้กับ OpenAI หรือ Anthropic
  • พาเนล NexCMP ที่เปิดใช้งานโมดูล AI Models แล้ว
  • ราคาขายสำหรับแต่ละโมเดลที่คุณเปิดให้บริการ ซึ่งกำหนดโดยคุณเอง
  • บริการสนับสนุนลูกค้าและนโยบายการใช้งานที่ยอมรับได้ของคุณเอง
  • พาเนลที่สามารถเชื่อมต่อไปยังผู้ให้บริการของคุณผ่าน HTTPS ได้

คีย์เดียวใช้งานได้หลากหลายโมเดล

ไคลเอนต์ของลูกค้าจะชี้มายังโดเมนของคุณและใช้คีย์จากพาเนลของคุณ คีย์เดียวสามารถเรียกใช้งานได้ทุกโมเดลที่ได้รับสิทธิ์ เกตเวย์จะทำงานบนโดเมนของพาเนลเองและสตรีมคำตอบกลับในทั้งสองรูปแบบ

  • ไคลเอนต์ที่เข้ากันได้กับ Anthropic ยังสามารถใช้งาน /ai/v1/messages/count_tokens ได้ด้วย
  • จำนวนโทเคนจะถูกคำนวณจากการตอบกลับของผู้ให้บริการ หากการตอบกลับไม่มีข้อมูลดังกล่าว NexCMP จะทำการประเมินและทำเครื่องหมายรายการนั้นว่าเป็นการประเมิน
  • เกตเวย์ไม่ได้ทำการแปลงรูปแบบข้ามไปมาระหว่างสองฟอร์แมต โมเดลที่ให้บริการโดยผู้ให้บริการที่เข้ากันได้กับ OpenAI จะต้องเรียกผ่านเอนด์พอยต์ที่เข้ากันได้กับ OpenAI และโมเดลที่ให้บริการโดยผู้ให้บริการที่เข้ากันได้กับ Anthropic จะต้องเรียกผ่านเอนด์พอยต์ที่เข้ากันได้กับ Anthropic ส่วนผู้ให้บริการประเภท Both จะสามารถให้บริการได้ทั้งสองรูปแบบ
  • เครื่องมือที่ทำงานบนฝั่งของผู้ให้บริการและคิดค่าบริการต่อการเรียกใช้งาน เช่น การค้นหาเว็บ จะถูกปฏิเสธเนื่องจากไม่สามารถวัดปริมาณการใช้งานได้ โดยระบบจะส่งต่อเฉพาะพารามิเตอร์ของคำขอที่ปลอดภัยตามรายการที่กำหนดไว้เท่านั้น
POST https://your-domain/ai/v1/chat/completions   OpenAI-compatible
POST https://your-domain/ai/v1/messages            Anthropic-compatible
GET  https://your-domain/ai/v1/models              model list
GET  https://your-domain/ai/v1/models/pricing      public price list, no key

นำแหล่งโมเดลของคุณมาเชื่อมต่อเอง

ระบบไม่มีการโหลดข้อมูลล่วงหน้า: ไม่มีทั้งผู้ให้บริการ โมเดล ที่อยู่เริ่มต้น หรือรายการราคา

  • เพิ่มผู้ให้บริการ

    กำหนดชื่อ, ประเภท (OpenAI-compatible, Anthropic-compatible หรือ Both), base URL, API key, ลำดับความสำคัญ รวมถึงสวิตช์เปิดหรือปิดการใช้งาน โดยคีย์จะถูกจัดเก็บแบบเข้ารหัสและแสดงเฉพาะสี่หลักสุดท้ายในภายหลัง

  • ทดสอบการเชื่อมต่อ

    การทดสอบจะอ่านรายการโมเดลของผู้ให้บริการและรายงานผลสำเร็จ หรือแจ้งสาเหตุที่ล้มเหลว: ปัญหาการยืนยันสิทธิ์, ที่อยู่ถูกบล็อก, ปัญหาด้านการเรียกเก็บเงิน หรือโฮสต์ไม่สามารถติดต่อได้

  • ซิงค์รายการโมเดล

    NexCMP จะอ่านรายการของผู้ให้บริการและเพิ่มโมเดลใหม่เข้ามาในสถานะปิดใช้งานโดยไม่มีราคา โมเดลที่ผู้ให้บริการยกเลิกจะถูกตั้งค่าสถานะแจ้งเตือน ในขณะที่โมดูลเปิดอยู่ รายการจะซิงค์โดยอัตโนมัติทุก 6 ชั่วโมงตามค่าเริ่มต้น

  • มีการตรวจสอบที่อยู่

    ที่อยู่ของผู้ให้บริการต้องเป็น HTTPS บนพอร์ต 443 และเป็นโดเมนสาธารณะ ระบบจะยอมรับโฮสต์ภายใน พอร์ตอื่นๆ และ HTTP ทั่วไป ก็ต่อเมื่อคุณระบุไว้ใน Allowed internal hosts เท่านั้น

  • กำหนดราคาได้เองอย่างอิสระ

    NexCMP จะไม่อ่านราคาจากผู้ให้บริการ ราคาขายทุกรายการคือราคาที่คุณเป็นผู้กำหนดเอง

การกำหนดราคาแยกตามโมเดล

คุณตัดสินใจได้เองว่าลูกค้าของคุณจะต้องจ่ายเท่าใดสำหรับแต่ละโมเดล

  • 3 ราคาต่อหนึ่งโมเดล

    Input, cached input และ output ในหน่วยดอลลาร์สหรัฐต่อ 1 ล้านโทเค็น โมเดลที่ไม่มีการตั้งราคาขายจะไม่สามารถเปิดใช้งานได้

  • Cached input

    จนกว่าคุณจะกำหนดราคา cached input โทเค็นที่แคชไว้จะถูกคิดเงินตามราคา input โดยไม่ได้เปิดให้ใช้งานฟรี

  • ราคาทุน (ระบุหรือไม่ก็ได้)

    ระบุต้นทุนของคุณสำหรับโมเดลหากคุณต้องการดูข้อมูลกำไรขาดทุนรายวันและรายโมเดลในหน้า Profit เมื่อระบุแล้ว ระบบจะไม่อนุญาตให้ตั้งราคาขายต่ำกว่าต้นทุนบวกกำไรขั้นต่ำ เว้นแต่คุณจะยืนยันว่าต้องการยอมรับการขาดทุนโดยเจตนา

  • ตั้งราคาจากต้นทุน

    มีปุ่มสำหรับตั้งราคาขายจากต้นทุนของคุณบวกกับ markup ที่คุณเลือก โดยไม่มีการกำหนด markup เริ่มต้นไว้

  • รายการราคาสาธารณะ

    ลูกค้าและผู้เยี่ยมชมสามารถดูราคาของคุณได้โดยไม่ต้องใช้คีย์ ผ่านทางที่อยู่รายการราคาของเกตเวย์ของคุณ

API keys, ขีดจำกัด, การใช้งาน และ logs

แต่ละรายการคือสิ่งที่ลูกค้าดำเนินการในพอร์ทัล หรือสิ่งที่คุณกำหนดให้กับพวกเขา

  • คีย์

    สร้าง เปลี่ยนชื่อ หมุนเวียน ปิดใช้งาน และลบคีย์ รหัสลับจะแสดงเพียงครั้งเดียว และ NexCMP จะจัดเก็บเฉพาะค่าแฮชเท่านั้น

  • โมเดลที่อนุญาตและวันหมดอายุ

    จำกัดคีย์ให้ใช้ได้เฉพาะโมเดลในรายการและกำหนดวันหมดอายุ

  • งบประมาณ

    งบประมาณแบบ soft budget จะแจ้งเตือนผ่านการแจ้งเตือนและอีเมล ส่วนงบประมาณแบบ hard budget จะบล็อกคำขอด้วยข้อผิดพลาด 402 ซึ่งทั้งสองแบบสามารถกำหนดเป็นรายรอบระยะเวลา สำหรับคีย์เดียวหรือสำหรับทั้งบัญชี

  • Rate limits

    จำนวนคำขอต่อนาทีและจำนวนโทเค็นต่อนาที ทั้งต่อคีย์และต่อบัญชี พร้อมการจำกัดคำขอที่เกิดขึ้นพร้อมกัน และจำกัดจำนวนคีย์สูงสุดต่อบัญชี

  • การใช้งาน

    การใช้งานแยกตามโมเดล คีย์ และรายวัน พร้อมการส่งออกเป็น CSV

  • Logs

    บันทึกประวัติคำขอที่สามารถกรองได้ พร้อมข้อมูลเวลา คีย์ โมเดล โทเค็น ค่าใช้จ่าย สถานะ และ latency ทั้งนี้ NexCMP จะไม่บันทึก prompt หรือ response และจะเก็บ logs ไว้เป็นเวลา 90 วันตามค่าเริ่มต้น

การคิดค่าบริการผ่าน Wallet สำหรับ LLM APIs

การใช้งาน AI จะถูกหักจากกระเป๋าเงินเติมเงิน (prepaid wallet) ของลูกค้า ซึ่งเป็นกระเป๋าเงินเดียวกันกับที่ใช้ชำระบริการอื่นๆ ของ NexCMP ทั้งหมด คุณเป็นผู้กำหนดราคา ส่วนลูกค้าก็เติมเงินได้ตามช่องทางปกติ

ก่อนที่คำขอจะถูกส่งไปยังผู้ให้บริการ NexCMP จะกันเงินสำรองจากกระเป๋าเงินตามจำนวนสูงสุดที่คำขอนั้นอาจมีค่าใช้จ่าย หากยอดเงินคงเหลือต่ำกว่าเกณฑ์ขั้นต่ำ (ค่าเริ่มต้นคือ 20 เซนต์) หรือไม่เพียงพอ คำขอจะถูกปฏิเสธด้วยข้อผิดพลาด 402 insufficient_balance และจะไม่มีการเรียกใช้ผู้ให้บริการ เนื่องจากมีการกันเงินไว้ก่อน คำขอที่ประมวลผลพร้อมกันจึงไม่สามารถทำให้ยอดเงินในกระเป๋าติดลบได้

ข้อมูลการใช้งานจะถูกรวบรวมเป็นรายบัญชีและตัดยอดลงในบัญชีแยกประเภทย่อยของกระเป๋าเงิน (wallet ledger) เมื่อผ่านพ้นชั่วโมงนั้นไป โดยมีการเคลียร์ยอด (sweep) ทุก 5 นาที สำหรับการใช้งานที่ยังไม่ได้ตัดยอด จะถูกหักออกจากยอดคงเหลือที่เกตเวย์มองเห็นไว้แล้ว

การกำหนดเส้นทางและ Failover ระหว่างผู้ให้บริการ

  • กำหนดได้หลายเส้นทางต่อโมเดล

    โมเดลสามารถมีเส้นทางไปยังผู้ให้บริการได้หลายรายตามลำดับที่คุณกำหนด โดยสามารถเปิดหรือปิดใช้งานแต่ละเส้นทางได้ และชื่อโมเดลที่ส่งไปยังผู้ให้บริการอาจแตกต่างจากชื่อที่คุณเผยแพร่ได้

  • Failover

    เมื่อผู้ให้บริการเกิดข้อผิดพลาดจากเซิร์ฟเวอร์ ข้อผิดพลาดในการยืนยันตัวตนหรือการเรียกเก็บเงิน ไม่พบโมเดล หรือติด rate limit ระบบ NexCMP จะลองใช้เส้นทางถัดไป

  • ไม่มีการคิดเงินซ้ำซ้อน

    หากการอ่านข้อมูลหมดเวลาหลังจากส่งคำขอไปแล้ว NexCMP จะไม่ส่งคำขอนั้นไปยังผู้ให้บริการรายอื่น คุณจึงไม่ต้องจ่ายเงินซ้ำสองครั้งสำหรับคำขอเดียวกัน

  • การควบคุมอัตราคำขอต่อผู้ให้บริการ

    คำขอไปยังผู้ให้บริการแต่ละรายจะถูกจำกัดต่อนาที โดยค่าเริ่มต้นอยู่ที่ 50 คำขอ เพื่อไม่ให้ช่วงที่มีการใช้งานหนาแน่นใช้งานโควตาของผู้ให้บริการจนหมด

  • การแจ้งเตือน

    หากผู้ให้บริการส่งข้อผิดพลาดด้านการตรวจสอบสิทธิ์หรือการเรียกเก็บเงินซ้ำๆ NexCMP จะแจ้งเตือนผู้ดูแลระบบผ่าน Telegram เมื่อมีการตั้งค่า Telegram ไว้

  • รายละเอียดผู้ให้บริการจะถูกซ่อนไว้เสมอ

    ข้อผิดพลาดจะได้รับการล้างข้อมูลก่อนส่งถึงลูกค้า โดยชื่อผู้ให้บริการ โฮสต์ ชื่อโมเดลฝั่ง upstream และที่อยู่จะถูกลบออก รวมถึงไม่มีการส่งต่อส่วนหัวของผู้ให้บริการ ลูกค้าจะไม่เห็นว่าผู้ให้บริการรายใดเป็นผู้ประมวลผลคำขอ

Playground และพอร์ทัลลูกค้า

แต่ละรายการคือสิ่งที่ลูกค้าดำเนินการในพอร์ทัลบนโดเมนของคุณ

  • โมเดลและราคา

    ดูโมเดลที่คุณให้บริการพร้อมราคา base URL และตัวอย่างคำสั่งพร้อมใช้งาน

  • คีย์ การใช้งาน และบันทึกประวัติ

    สร้างคีย์ ตรวจสอบการใช้งานตามโมเดล คีย์ และรายวัน พร้อมทั้งกรองบันทึกคำขอ โดยบันทึกจะแสดงเฉพาะข้อมูลเมทาดาทาเท่านั้น และไม่แสดงเนื้อหาของคำขอโดยเด็ดขาด

  • การตั้งค่า

    กำหนดยอดงบประมาณของบัญชีและที่อยู่อีเมลสำหรับรับการแจ้งเตือน

  • Playground

    สนทนากับโมเดล เปรียบเทียบหลายโมเดลแบบเคียงข้างกัน และคัดลอกโค้ดที่ตรงกันด้วย Get Code

สิ่งที่คุณทำได้ในฐานะผู้ดูแลระบบ

แต่ละรายการมีให้ใช้งานในคอนโซลผู้ดูแลระบบของ NexCMP

  • ผู้ให้บริการ โมเดล และเส้นทาง

    เพิ่มและทดสอบผู้ให้บริการ ซิงค์รายการโมเดล กำหนดราคา เปิดหรือปิดการใช้งานโมเดล ตลอดจนเลือกผู้ให้บริการและลำดับการประมวลผลของแต่ละโมเดล

  • การใช้งานและกำไร

    ดูปริมาณการใช้งานของแต่ละบัญชีลูกค้า พร้อมทั้งตรวจสอบรายได้เทียบกับต้นทุนรายวันและตามโมเดล สำหรับโมเดลที่คุณได้ระบุต้นทุนไว้

  • การตรวจสอบ

    ทุกการเปลี่ยนแปลงจะมีการขอเหตุผลและบันทึกลงใน audit log ทั้งนี้ คีย์ของผู้ให้บริการสามารถป้อนได้จากเซสชันของผู้ดูแลระบบที่เข้าสู่ระบบแล้วเท่านั้น

  • สวิตช์ควบคุมสองระดับ

    โมดูลจะเปิดใช้งานได้ที่ License & updates เมนู Modules ส่วนสวิตช์เปิดการขายแยกต่างหากในหน้าผู้ดูแลระบบ AI Models จะปิดอยู่เป็นค่าเริ่มต้น ในขณะที่ปิดอยู่ ลูกค้าจะเห็นว่าบริการยังไม่เปิดให้บริการ และรายการราคาแบบสาธารณะจะแสดงสถานะว่าไม่พร้อมใช้งาน

  • การปิดใช้งาน

    เมื่อปิดโมดูล หน้าของลูกค้า หน้าของผู้ดูแลระบบ และ gateway ทั้งหมดจะตอบกลับเป็น 404 รายการเมนูจะถูกซ่อน และการซิงค์เบื้องหลังจะหยุดเรียกไปยังผู้ให้บริการ

หน้าจอ NexCMP AI Models

ภาพหน้าจอจริงจากการติดตั้ง NexCMP 1.5.0 พร้อมข้อมูลตัวอย่าง โดย Provider A, B และ C เป็นเพียงชื่อตัวอย่าง

หน้า AI Models Providers ในส่วนผู้ดูแลระบบของ NexCMP แสดงรายการ Provider A, Provider B และ Provider C พร้อมประเภท ลำดับความสำคัญ สถานะ รวมถึงปุ่มทดสอบการเชื่อมต่อและซิงค์โมเดล
Providers: แหล่งที่มาของโมเดลที่คุณเพิ่ม พร้อมประเภท ลำดับความสำคัญ และสถานะ โดย Provider A, B และ C เป็นเพียงชื่อตัวอย่าง
หน้า AI Models ในส่วนผู้ดูแลระบบของ NexCMP แสดงรายการโมเดลพร้อมราคาขาย input, cached input และ output ต่อ 1 ล้านโทเค็น พร้อมสวิตช์เปิดหรือปิด
โมเดลและราคา: ราคาขายสามระดับต่อโมเดลที่คุณกำหนดเอง พร้อมสวิตช์สำหรับแต่ละโมเดล
หน้าการใช้งาน AI ในพอร์ทัลลูกค้าของ NexCMP แสดงยอดใช้จ่ายรวม คำขอ โทเค็น กราฟการใช้จ่ายรายวัน ตลอดจน API keys และโมเดลยอดนิยม
การใช้งานตามโมเดล คีย์ และรายวัน
หน้า API Keys สำหรับ AI Models ในพอร์ทัลลูกค้าของ NexCMP แสดงชื่อคีย์ กิจกรรมล่าสุด วันหมดอายุ สถานะ รอบการรีเซ็ต ยอดใช้จ่ายปัจจุบันเทียบกับงบประมาณ และ base URL สำหรับทั้งสองรูปแบบ API
API keys ของลูกค้า พร้อมวันหมดอายุ สถานะ ยอดใช้จ่ายเทียบกับงบประมาณ และ base URL
AI Playground ในพอร์ทัลลูกค้าของ NexCMP พร้อมส่วนแชท ตัวเลือกโมเดล และจำนวนโทเค็นที่ใช้ในการตอบกลับ
Playground ในพอร์ทัลลูกค้า

การขายผ่านตัวแทนจำหน่าย

ตัวแทนจำหน่ายแบบ White-label สามารถขาย AI Models บนโดเมนของตนเองด้วยราคาที่กำหนดเองได้ โดยระบบจะนำส่วนเพิ่มหรือส่วนลดของตัวแทนจำหน่ายไปคำนวณจากราคาขายของคุณ และรักษาราคาส่งให้อยู่ที่หรือสูงกว่าต้นทุนรวมกับอัตรากำไรขั้นต่ำเมื่อคุณได้ระบุต้นทุนไว้ ทั้งนี้ ระบบจะหักราคาส่งจาก wholesale wallet ของตัวแทนจำหน่าย

สวิตช์ AI สำหรับตัวแทนจำหน่ายแต่ละรายใช้กำหนดว่าตัวแทนจำหน่ายรายนั้นจะสามารถขาย AI Models ได้หรือไม่ ซึ่งเปิดใช้งานอยู่เป็นค่าเริ่มต้น

ขั้นตอนการทำงาน

ตั้งแต่เริ่มต้นเปิดใช้โมดูลไปจนถึงคำขอแรกของลูกค้า

  1. เปิดใช้งานโมดูล

    ในคอนโซลผู้ดูแลระบบ ไปที่ License & updates เมนู Modules แล้วเปิดใช้งาน AI Models

  2. เพิ่มผู้ให้บริการและทดสอบการเชื่อมต่อ

    ป้อนประเภท base URL และคีย์ของผู้ให้บริการ จากนั้นเรียกใช้การทดสอบการเชื่อมต่อ

  3. ซิงค์โมเดลและกำหนดราคา

    ซิงค์รายการโมเดล กำหนดราคาขาย เพิ่มผู้ให้บริการรายที่สองเป็นเส้นทางสำรองหากคุณมี และเปิดใช้งานโมเดล

  4. เปิดสวิตช์เปิดการขาย

    เปิดสวิตช์เปิดการขายในหน้าผู้ดูแลระบบ AI Models เพื่อให้ลูกค้าสามารถเริ่มใช้งานบริการได้

  5. ลูกค้าสร้างคีย์และเรียกใช้ endpoint ของคุณ

    ลูกค้าเติมเงินเข้า wallet สร้างคีย์ในพอร์ทัล และกำหนดให้ client ชี้มาที่โดเมนของคุณ

ข้อกำหนดด้านโครงสร้างพื้นฐาน

คุณเป็นผู้ดูแลพาเนล NexCMP และเตรียมแหล่งโมเดลมาเอง รายการทั้งหมดพร้อมขั้นตอนอย่างละเอียดระบุไว้ในเอกสารที่ https://nexcmp.com/docs/infrastructure/ai-models/

  • พาเนล NexCMP ที่เปิดใช้งานโมดูล AI Models แล้ว
  • การเชื่อมต่อ HTTPS ขาออกจากพาเนลไปยังผู้ให้บริการแต่ละรายของคุณ หรือไปยังเกตเวย์ภายในที่คุณระบุไว้ใน Allowed internal hosts
  • ลูกค้าเข้าถึงเกตเวย์ผ่านโดเมนของพาเนลคุณ
  • ไม่ต้องใช้ GPU และไม่มีฮาร์ดแวร์พิเศษ: NexCMP ทำหน้าที่เพียงส่งต่อคำขอไปยังผู้ให้บริการของคุณเท่านั้น

AI Models ใน NexCMP Free และ NexCMP Source

AI Models เป็นโมดูลหนึ่งเช่นเดียวกับโมดูลอื่นๆ และรวมอยู่ในทั้ง NexCMP Free และ NexCMP Source แล้ว NexCMP ไม่คิดค่าธรรมเนียมเพิ่มเติมสำหรับโมดูลนี้และไม่มีแพ็กเกจแยกต่างหาก โดยค่าใช้จ่ายของผู้ให้บริการของคุณ ฮาร์ดแวร์ และค่าธรรมเนียมเกตเวย์การชำระเงินจะเป็นส่วนที่คุณรับผิดชอบเอง

NexCMP Free ราคา $0 สำหรับปีแรก: มาพร้อม signed build ตัวเต็มที่มีทุกโมดูล การแก้ไขข้อผิดพลาดและการอัปเดตเป็นเวลา 1 ปี และรองรับโดเมนผู้ค้าต่อได้ไม่จำกัดตามที่คุณต้องการ หลังจากปีแรกจะต่ออายุที่ $99 ต่อปี และซอฟต์แวร์จะยังคงทำงานต่อไปแม้คุณจะไม่ต่ออายุ NexCMP Free มีไว้สำหรับผู้ให้บริการเครือข่ายที่มี ASN ของตนเองและมี subnet ที่ลงทะเบียนในชื่อของตนเอง โดยการสมัครจะได้รับการตรวจสอบ NexCMP Source เป็นการซื้อครั้งเดียวในราคา $499 พร้อมซอร์สโค้ดฉบับสมบูรณ์ แอพทั้งหมดที่บิลด์ให้คุณ และการทำงานร่วมกับวิศวกรผู้เชี่ยวชาญเป็นเวลา 30 วันทำการ

การตรวจสอบความเหมาะสม

NexCMP AI Models เหมาะสำหรับคุณหากคุณดำเนินธุรกิจโฮสติ้ง คลาวด์ หรือซอฟต์แวร์ มีแหล่งโมเดลที่คุณได้รับอนุญาตให้ใช้งานและขายต่อได้ และต้องการจัดการคีย์ ราคา wallet ปริมาณการใช้งาน และการเรียกเก็บเงินของลูกค้าในพาเนลเดียวบนโดเมนของคุณเอง

ระบบนี้ไม่เหมาะหากคุณต้องการให้จัดหาโมเดล โทเค็น API keys หรือบัญชีผู้ให้บริการมาให้ ต้องการแคตตาล็อกโมเดลหรือรายการราคาแบบสำเร็จรูป การแปลงระหว่างรูปแบบที่เข้ากันได้กับ OpenAI และ Anthropic การ fine-tuning โฮสติ้ง GPU หรือข้อตกลงระดับการให้บริการจาก NexCMP

ก่อนที่คุณจะเริ่มขาย: แหล่งที่มา ข้อกำหนด และความรับผิดชอบ

NexCMP ไม่ได้จัดหาโมเดล API keys โทเค็น บัญชีผู้ให้บริการ หรือราคาใดๆ คุณเป็นผู้เชื่อมต่อแหล่งโมเดลที่คุณได้รับอนุญาตให้ใช้งานและขายต่อได้ และคุณยังคงต้องรับผิดชอบในการปฏิบัติตามข้อกำหนดของแหล่งที่มาเหล่านั้นรวมถึงกฎหมายที่บังคับใช้กับคุณ

แหล่งโมเดลจำนวนมากจำกัดการขายต่อหรือการส่งต่อการเข้าถึงให้แก่บุคคลที่สาม โปรดอ่านข้อกำหนดของแต่ละแหล่ง และสอบถามผู้ให้บริการแหล่งนั้นว่าจำเป็นต้องมีข้อตกลงแยกต่างหากหรือไม่ ก่อนที่คุณจะนำเสนอโมเดลดังกล่าวแก่ลูกค้าของคุณ

นอกจากนี้ คุณยังต้องมีนโยบายการใช้งานที่ยอมรับได้สำหรับลูกค้าของคุณเอง รวมถึงแนวทางในการจัดการรายงานการใช้งานที่ไม่เหมาะสม สิ่งที่แหล่งโมเดลปฏิบัติต่อข้อมูลที่คุณส่งไปจะอยู่ภายใต้ข้อกำหนดของแหล่งนั้นๆ ทั้งนี้ NexCMP เองไม่ได้บันทึกพรอมต์หรือคำตอบแต่อย่างใด หน้านี้ไม่ใช่คำแนะนำทางกฎหมาย

แพลตฟอร์มตัวแทนจำหน่าย AI API: คำถามที่พบบ่อย

แพลตฟอร์มตัวแทนจำหน่าย AI API คืออะไร และ NexCMP AI Models ทำหน้าที่อะไร?
คือซอฟต์แวร์สำหรับขายการเข้าถึงโมเดล AI ผ่าน API ของคุณเอง NexCMP AI Models ทำหน้าที่เป็นเกตเวย์และระบบคิดเงินบนพาเนล NexCMP ของคุณ: ลูกค้าของคุณจะได้รับคีย์และเรียกใช้ endpoint เดียวบนโดเมนของคุณ คุณกำหนดราคาต่อโมเดลและต่อ 1 ล้านโทเค็น โดยจะมีการวัดปริมาณการใช้งานและคิดค่าบริการจาก wallet แบบเติมเงิน และส่งต่อคำขอไปยังผู้ให้บริการที่คุณเพิ่มไว้
NexCMP จัดหาโมเดล API keys หรือโทเค็นให้หรือไม่?
ไม่ NexCMP จัดส่งโดยไม่มีผู้ให้บริการ ไม่มีโมเดล ไม่มีที่อยู่เริ่มต้น และไม่มีการตั้งราคา คุณเป็นผู้นำแหล่งโมเดลที่คุณได้รับอนุญาตมาใช้งานเอง และ NexCMP จะจัดเตรียมระบบเกตเวย์ คีย์ การกำหนดราคา และการเรียกเก็บเงินให้
ฉันได้รับอนุญาตให้ขายต่อการเข้าถึงโมเดลจากแหล่งที่มาของฉันหรือไม่?
เรื่องนี้ขึ้นอยู่กับข้อกำหนดของแหล่งที่มาของคุณ ไม่ได้ขึ้นอยู่กับ NexCMP แหล่งที่มาจำนวนมากจำกัดการขายต่อหรือการส่งต่อการเข้าถึงให้แก่บุคคลที่สาม และบางแห่งอนุญาตภายใต้ข้อตกลงแยกต่างหาก คุณมีหน้าที่รับผิดชอบในการอ่านข้อกำหนดเหล่านั้น และปฏิบัติตามข้อกำหนดรวมถึงกฎหมายที่บังคับใช้กับคุณ ข้อความนี้ไม่ใช่คำแนะนำทางกฎหมาย
ลูกค้าของฉันสามารถใช้รูปแบบ API ใดได้บ้าง?
รูปแบบที่เข้ากันได้กับ OpenAI ที่ /ai/v1/chat/completions และรูปแบบที่เข้ากันได้กับ Anthropic ที่ /ai/v1/messages ซึ่งทั้งสองรูปแบบรองรับ streaming ลูกค้าเพียงเปลี่ยน base URL เป็นโดเมนของคุณและใช้คีย์จากพาเนลของคุณ เกตเวย์จะไม่แปลงระหว่างสองรูปแบบนี้ ดังนั้นการเข้าถึงโมเดลจะขึ้นอยู่กับรูปแบบที่ผู้ให้บริการโมเดลนั้นรองรับ
ฉันจะกำหนดราคาอย่างไร?
คิดราคาตามแต่ละโมเดล เป็นดอลลาร์สหรัฐต่อ 1 ล้านโทเค็น โดยแยกราคาสำหรับ input, cached input และ output สำหรับโมเดลที่ไม่ได้กำหนดราคาขายจะไม่สามารถเปิดใช้งานได้ นอกจากนี้ คุณยังสามารถระบุต้นทุนเพื่อดูผลกำไรและขาดทุนตามวันและตามแต่ละโมเดลได้อีกด้วย
ระบบการเรียกเก็บเงินผ่าน wallet ทำงานอย่างไร และจะเกิดอะไรขึ้นเมื่อยอดเงินคงเหลือหมด?
ค่าบริการการใช้งานจะถูกหักจากกระเป๋าเงิน NexCMP แบบเติมเงินของลูกค้า โดยก่อนที่คำขอจะถูกส่งไปยังผู้ให้บริการ NexCMP จะกันเงินตามจำนวนสูงสุดที่อาจเกิดขึ้น หากยอดเงินคงเหลือไม่เพียงพอ คำขอจะถูกปฏิเสธด้วยข้อผิดพลาด 402 insufficient_balance และไม่มีการเรียกไปยังผู้ให้บริการ
สามารถกำหนดขีดจำกัดใดให้กับ API key ของลูกค้าได้บ้าง?
โมเดลที่อนุญาต วันหมดอายุ soft budget สำหรับแจ้งเตือนและ hard budget สำหรับบล็อก จำนวนคำขอต่อนาทีและโทเค็นต่อนาที รวมถึงขีดจำกัดคำขอพร้อมกัน นอกจากนี้ ยังสามารถตั้งค่างบประมาณและขีดจำกัดอัตราสำหรับทั้งบัญชีได้ รวมถึงจำกัดจำนวนคีย์ต่อบัญชีได้อีกด้วย
ลูกค้าสามารถดูประวัติการใช้งานและบันทึกคำขอได้หรือไม่? มีการจัดเก็บ prompt หรือไม่?
สามารถดูได้ โดยลูกค้าจะเห็นการใช้งานตามโมเดล คีย์ และวันที่ พร้อมส่งออกเป็น CSV และมีบันทึกคำขอที่สามารถกรองได้ บันทึกจะเก็บเฉพาะ metadata เท่านั้น ได้แก่ เวลา, คีย์, โมเดล, โทเค็น, ค่าใช้จ่าย, สถานะ และความหน่วง ทั้งนี้ NexCMP จะไม่บันทึก prompt หรือการตอบกลับ และจะเก็บรักษาบันทึกไว้เป็นเวลา 90 วันตามค่าเริ่มต้น
จะเกิดอะไรขึ้นหากผู้ให้บริการรายใดรายหนึ่งขัดข้อง?
โมเดลสามารถกำหนดเส้นทางไปยังผู้ให้บริการได้หลายรายตามลำดับที่คุณเลือก หากผู้ให้บริการส่งคืนข้อผิดพลาดของเซิร์ฟเวอร์ ข้อผิดพลาดด้านสิทธิ์หรือการเรียกเก็บเงิน ไม่พบโมเดล หรือเกินขีดจำกัดอัตรา NexCMP จะลองใช้เส้นทางถัดไป ส่วนคำขอที่หมดเวลาหลังจากส่งไปแล้วจะไม่ถูกส่งไปยังผู้ให้บริการรายที่สอง
สามารถขายโมเดล AI ผ่านตัวแทนจำหน่ายได้หรือไม่?
ได้ ตัวแทนจำหน่ายแบบ white-label สามารถขาย AI Models บนโดเมนของตนเองได้ โดยบวกกำไรเพิ่มหรือให้ส่วนลดจากราคาขายของคุณ และชำระเงินจากกระเป๋าเงินราคาส่งของตนเอง โดยมีสวิตช์ AI สำหรับตัวแทนจำหน่ายแต่ละรายเปิดใช้งานเป็นค่าเริ่มต้นเพื่อควบคุมว่าใครสามารถขายได้บ้าง
ลูกค้าสามารถทดสอบโมเดลก่อนซื้อได้หรือไม่?
พอร์ทัลลูกค้ามี playground ที่ลูกค้าสามารถแช็ตกับโมเดล เปรียบเทียบหลายโมเดลแบบเคียงข้างกัน และคัดลอกโค้ดที่เกี่ยวข้องได้
ระบบเป็นแบบ self-hosted หรือไม่ และมีค่าใช้จ่ายเท่าใด?
ใช่ ระบบทำงานบนพาเนล NexCMP ของคุณเอง โดย AI Models รวมอยู่ใน NexCMP Free ($0 ในปีแรก จากนั้น $99 ต่อปี) และ NexCMP Source ($499 ชำระครั้งเดียว) โดยไม่มีค่าใช้จ่ายเพิ่มเติม ซึ่งจะปิดใช้งานเป็นค่าเริ่มต้น และคุณสามารถเปิดใช้งานได้ที่ License & updates, Modules
ใครเป็นผู้รับผิดชอบต่อนโยบายการใช้งานที่ยอมรับได้และเนื้อหาของลูกค้า?
คุณเป็นผู้รับผิดชอบ โดยคุณต้องกำหนดนโยบายการใช้งานที่ยอมรับได้กับลูกค้าของคุณเอง จัดการรายงานการละเมิด และปฏิบัติตามข้อกำหนดของผู้ให้บริการต้นทางรวมถึงกฎหมายที่เกี่ยวข้อง ซึ่ง NexCMP จะจัดเตรียมคีย์ ขีดจำกัด และบันทึกข้อมูลเพื่อช่วยให้คุณดำเนินการดังกล่าวได้

แหล่งข้อมูลอ้างอิง

เอกสารประกอบ NexCMP สำหรับโมดูล AI Models

รับ NexCMP ฟรี

ฟรี พร้อมรวม AI Models และทุกโมดูลไว้ครบถ้วน ติดตั้งบนเซิร์ฟเวอร์ของคุณได้แล้ววันนี้

รับ NexCMP ฟรีติดต่อฝ่ายขายดูเดโม

อัปเดตล่าสุด: