开源模型,本地部署推理
Qwen 等开源模型运行在自有推理环境中。你通过 API 调用服务,无需自行管理模型权重或部署推理环境。
看看调用方式Qwen 等开源模型,在自有推理环境中运行。通过兼容 OpenAI 格式的 API,按需购买 Token 用量,把模型能力接入你的应用。
01 / BUILT FOR BUILDERS
从模型选型到 API 接入,让开源模型成为可调用的推理服务。
02 / MODEL ACCESS
当前可调用的模型如下。其他开源模型的接入需求,可通过邮件沟通确认。
/v1/models查询可用模型/v1/chat/completions发起对话请求模型 ID 以实际 /models 响应为准。各模型的 Token 单价、可用额度与能力在购买前确认。
TOKEN-BASED ACCESS
根据模型与预计调用规模确认报价。具体费用和购买额度,在开通前沟通清楚。
采购的是模型 API 的推理用量。输入内容与生成输出的 Token 单价、可用额度及结算方式,以双方确认的方案为准。
BEFORE YOU START
无论是应用验证还是持续调用,从具体的模型和用量开始沟通。
所需的 Qwen 或其他开源模型,以及实际应用场景。
预计输入、输出规模,以及希望采购的调用额度。
单价、并发、速率限制与结算方式,确认后开通 API Key。
当前通过邮件办理购买咨询与开通。
03 / HELLO, SOYMILK.
确认模型与 Token 额度后,配置你的 API Key,即可使用熟悉的请求格式开始调用。
邮件确认所需模型、单价、额度与并发需求,再开通访问密钥。
配置 Base URL,从 /models 获取模型 ID。
发送 messages;如需流式输出,设置 stream: true。
export SOYMILK_API_KEY="YOUR_API_KEY"
curl https://91ddf.xyz/llm-server/v1/chat/completions \
-H "Authorization: Bearer $SOYMILK_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen3.8-27B-W4A16-AWQ",
"messages": [
{"role": "user", "content": "Hello, Soymilk!"}
],
"stream": false
}'点击“购买咨询”发送邮件,说明所需模型、预计 Token 用量和应用场景。目前通过邮件确认模型、价格、购买额度及接入条件,确认后提供 API Key。
对于支持自定义 Base URL、API Key 和模型 ID 的客户端,可配置本站地址接入。当前展示模型列表与 Chat Completions 接口;具体客户端和模型功能的兼容性需要实际验证。
请通过邮件说明预计用量与业务需求。具体价格、速率限制、并发额度及任何服务保障,以接入前双方确认的条件为准。
本站售卖本地部署模型的推理 API 用量,按约定 Token 单价与额度提供访问服务;不通过购买 Token 转让模型权重、著作权或许可证。实际可用模型以接口返回为准。
LET’S BUILD SOMETHING.
告诉我们需要的模型、预计 Token 用量与并发需求,获取对应报价和接入方式。