本地与兼容端点

本页覆盖两类渠道：运行在你自己机器上的本地推理服务，以及 Hoshimi 内置的、用 API 密钥接入的常规 API 服务（OpenAI、Anthropic、OpenRouter、DeepSeek、Groq 等五十多个）。它们共用同一套账号字段和渠道选项。

本地后端复制锚点链接

Hoshimi 不扫描本地端口：只有添加了账号且渠道开启，才会连接这些地址。

添加本地服务复制锚点链接

• base_url 必须是 HTTP(S) 地址，不能带用户名密码、查询参数或片段；不以 /v1 结尾时会自动补上。
• api_key（或 access_token、token）有值时以 Authorization: Bearer 发送，没有就不带鉴权头。
• 本地模型不会被标记为免费（free 为 null）。

各后端的处理复制锚点链接

• LM Studio：读取已加载模型的实际上下文长度（缓存 30 秒）。请求前做粗略检查：消息 JSON 字节数的四分之一加上 max_tokens 超过已加载的上下文时，直接返回 400（LM Studio request exceeds this model's loaded context window）。接近上限的请求仍以服务端的分词结果为准。思考级别通过 reasoning_effort 发送（minimal 映射为 low，xhigh、max 映射为 high）。
• Ollama：逐个读取模型的能力，只保留能做补全或工具调用的模型，并据此标记视觉、思考和工具能力；上下文长度取模型信息中的最大值。读取单个模型的详情失败时仍保留该模型。思考级别通过 reasoning_effort 发送（minimal 映射为 low，xhigh 映射为 max）。
• llama.cpp：思考开关映射到聊天模板参数：chat_template_kwargs 中的 enable_thinking 和 thinking。请求中已有 enable_thinking 时不能同时指定思考级别。

只有目录表明模型会思考时，才会出现思考菜单（含关闭选项 none）。

常规 API 服务复制锚点链接

这些服务的地址、协议和目录接口已经内置，账号只需要密钥。

添加账号复制锚点链接

在 渠道 中选择服务，点 添加账号，鉴权方式为 API 密钥，填写 API 密钥，可选填 API 地址（可选） 和 模型 ID；OpenAI、xAI、Vercel AI Gateway 还有 通信协议 选项。部分服务也支持浏览器或设备码登录：

hoshimi login openrouter
hoshimi login github-copilot

或写入 config.json：

{
  "providers": {
    "openrouter": {"accounts": [{"id": "openrouter-1", "api_key": "<OpenRouter key>"}]},
    "deepseek": {"accounts": [{"id": "deepseek-1", "api_key": "<DeepSeek key>"}]}
  }
}

账号字段复制锚点链接

每个账号的目录单独读取；请求只交给目录中有该模型的账号。某个账号的目录刷新失败时，保留它上一次成功的结果。

渠道选项复制锚点链接

协议复制锚点链接

渠道按服务的默认协议发送：多数为 Chat Completions，openai、meta、xai、codex 为 Responses，anthropic、minimax-api、minimax-cn、vercel-ai-gateway 为 Anthropic Messages。“多协议”的渠道按模型选择：

• github-copilot 按目录中模型支持的端点选择 Responses、Messages 或 Chat。
• fireworks、opencode-go 中 claude 开头的模型走 Messages；opencode-go 中 gemini- 开头的模型走 Gemini 原生协议。
• 其余默认 Chat。可以用账号的 protocol 或 options.model_protocols 覆盖。

上游讲 Anthropic Messages 时，来自 Anthropic 客户端（如 Claude Code）的 /v1/messages 请求原样转发，不经过格式转换。能力边界和客户端配置见 Anthropic 接口。

兼容处理复制锚点链接

Hoshimi 按各服务已知的差异调整请求，例如：

• Chat 请求中的 max_completion_tokens 改为 max_tokens（minimax-chat、wandb 反过来使用 max_completion_tokens）；不接受 developer 角色的服务把它改为 system。
• deepseek 的历史助手消息补上 reasoning_content；mistral 和 mistral-codestral 把工具调用 ID 统一转换为 9 位字母数字；cohere 去掉它不支持的字段和消息中的 name。
• 不接受某些字段的服务会去掉 store、reasoning_effort 或工具定义中的 strict。
• openrouter 的目录读取 /models/user，被拒绝时退回 /models。

思考级别的发送方式因服务而异（目录表明模型会思考时才有菜单）：

其余渠道除了上面提到的去字段规则，原样转发调用方的思考字段。详细规则见模型行为。

内置服务一览复制锚点链接

codex（ChatGPT 订阅登录）见免费站点；云平台和 NVIDIA 见云平台和 NVIDIA NIM。这些服务的来源对照见渠道清单。

什么时候用 agg复制锚点链接

服务在上表中时，用对应的渠道：它带有该服务的协议、目录接口和兼容规则。服务不在表中但讲 OpenAI Chat Completions 时，用 agg：在账号里写上地址和密钥即可，同一个 agg 渠道可以放多个站点。