一个端点,
所有模型。
Tare 是挡在你所有模型前面的一层 OpenAI 兼容网关 —— 我们的,和你自己带来的。一个 base URL、一把 key,每一个 token 都算得清。
控制台操作指南
这篇解决什么问题:把控制台里从建 key 到配告警的动作串成一条能照着做的路径,每一步 都告诉你做完怎么验证。
控制台里的动作按实际操作顺序排成一条线:进入哪个页面 → 做什么 → 做完怎么验证。三步里最容易 被跳过的是「怎么验证」,而它恰恰最有用。
1. 建一把 Inference key
- 进入:
API Keys页。 - 做什么:点
Create,类型选Inference,名称写清用途(如support-bot-production)。 - 怎么验证:
- 列表里出现这把 key,显示为掩码
ak-…3f2a。 - 用它在客户端发一条
chat/completions请求,返回 HTTP 200 且模型有内容。 - 响应头里有
X-Generation-Id,或回包里出现gen-...编号。
- 列表里出现这把 key,显示为掩码
完整 key 明文只在创建时显示一次,平台仅存哈希,丢失后无法找回。复制后立刻存进密钥管理 系统。
2. 接一条渠道
- 进入:
Channels页 →Add。 - 做什么:
base URL填到/v1为止(如https://api.example.com/v1), 后面拼什么由 Dialect(各家 API 的差异)决定。- 选 Dialect:OpenAI (messages) / Responses (input) / Anthropic / LM Studio(本地)/ Custom。
- 填凭据(LM Studio 本地不填;Custom 用于不遵循路径约定的上游)。
- 怎么验证:保存后,按实际会用到的顺序做三道检查,三道都不算你一次真实调用:
- 探测 Dialect:发一个空 body,看上游抱怨缺哪个必填字段,反推它说的是哪种 Dialect。 不花一个 token。
- 测试连通:确认地址通、key 认、Dialect 对。它给的是一串步骤而不是一个成败结果。
- 发一句话:真的跟模型说句话。前两项全过这条渠道也可能不通(模型名拼错、模型下线、 余额用尽、内容策略拦截)。这一步会花上游真实 token,但不计费、也不进 Call Traces。
LM Studio 跑在你自己的机器上,而连接由 Tare 的服务器发起,所以 localhost
不可达。请在 LM Studio 里开启局域网服务,并填一个公网可达的地址。
3. 录入进价
- 进入:
Channels→ 选渠道 →Costs。 - 做什么:
- 点
Browse upstream models取上游模型名,不要手打;键是上游侧的模型名 (如z-ai/glm-5.1),不是调用平台时用的名字。 - 按上游模型名录入 Input / Output 价格(每百万 token),缓存读写价可选。
- 点
- 怎么验证:渠道页不再把该模型列进「缺进价」;录入后此前无价的调用会被补记(用的是 当前价格)。
上游在回包里报告成本时,完全不使用进价表,不录任何一行也能拿到准确的归因。需要录入的是 不报成本的上游:自建推理服务、部分中转、本地模型。
进价没有生效期:平台只保存当前值,改价后补算历史调用用的是新价格,不是当时的价格。 这是按月对账的一个明确偏差来源。
4. 配路由
- 进入:
Routing页。 - 做什么:给一条路由起与平台默认同名的模型名,即由你的路由接管;上游名从下拉里选, 下拉列的是你在所选渠道上录过进价的模型。
- 怎么验证:
- 调用
GET /v1/models,确认业务侧要使用的模型名已经出现。 - 再发一次真实调用确认命中;或对单条路由跑
POST /v1/routing/routes/{routeId}/test(地址、凭据、Dialect 三道检查,外加 一条:上游模型名到底存不存在)和POST /v1/routing/routes/{routeId}/chat(真发一句话)。两个都不计费、不进 Call Traces。
- 调用
兜底(模型名填 *)只在某个模型没有任何路由时生效。模型配置过但渠道全部失败
时返回失败,不会静默换一家,否则你会在自己请求的模型名下收到另一个模型的输出,且没有任何
地方说明。
5. 看花费
- 进入:
Billing/Analytics页。 - 做什么:读表前先分清两个数:
- Charged:平台向你收取的金额。
- Attributed spend:这次调用花掉你多少,含供应商直接向你收取的部分。衡量单个功能的 成本时用这个值。
- 怎么验证:
Analytics页把用量、按模型的占比、成功率放在一起;再用GET /v1/generation?id=gen-...按单次调用核对成本与耗时。
要按客户或业务线拆分花费,光看页面不够,得让工程团队在请求体里加入 usage_label
等归因字段,或用不同子钥区分客户/业务线。
usage_label 这类字段 Tare 会记在这次调用上,转发前剥除,供应商看不到。
6. 配告警
- 进入:
Alerts页。 - 做什么:规则监控花费、错误率和渠道故障;通道决定通知发往何处(Webhook / 飞书 / Lark)。
- 怎么验证:保存后验证投递:查看最近通知记录,并确认目标群或 Webhook 实际收到了 消息。
飞书签名校验配错是无声的:开启校验的机器人会拒收未签名的消息,拒收原因留在飞书那一 侧,而平台只能看到一个错误码,你收不到任何告警。这个开关的状态只能由你确认。
没有平台级兜底通道:未配置任何通道时,告警会被记为「发送失败」并停留在该状态,不会转发 给平台。