AI Cost Gate 指南
用 AI Cost Gate 做本地优先 LLM 网关
本地优先 LLM 网关部署在你运维的基础设施上，把提示词与成本元数据留在你可控范围，并能在供应商调用离开网络前强制预算。本篇 AI Cost Gate 指南是团队搜索本地优先/自托管 LLM 网关时期望的 README 式总览，并强调真实成本遏制。
问题陈述
运行编码 Agent 与自动化集群的团队需要统一的 OpenAI 兼容 base URL、按项目/Agent/模型归因，以及停止花费的能力——同时不必把提示词送到第三方分析云。
当流量已走供应商时，托管网关很方便。本地优先部署在受监管数据、隔离网络，以及拒绝新提示词处理方的安全评审中胜出。
“本地优先 LLM 网关”背后的搜索意图很少是“又一个 SaaS 计量”。而是控制：数据在哪、谁能上调预算、触及限额后失控 Agent 是否还能打到供应商。
架构（混合）
Agent → 本地网关（AI Cost Gate）→ 供应商（OpenAI、Anthropic、Google、OpenRouter 等 OpenAI 兼容 API）。网关把 token、成本估计、模型与时间戳写入 SQLite 或 Postgres。可选：在成本闸门前后放置 LiteLLM 或其他路由器做多供应商路由。
数据面：默认元数据，不必存储提示词。控制面：预算与自动停止在你主机进程内。交付：AI Cost Gate Pro 一次性源码许可，永久自托管。
身份传递很重要。若 Agent 不发送项目与 Agent 标签，本地网关会塌成单一匿名桶——与共享 API Key 同一失败模式。从第一天起就让 SDK 与 CI 携带身份。
快速上手形态
把 Agent 指向网关 base_url 而非供应商。在网关环境配置供应商凭证。创建项目与 Agent 身份。设置预算。验证预算耗尽时被拦截调用返回清晰错误。
存储：单机零配置用 SQLite；并发多 Agent 团队用 Postgres。同一产品，配置切换。
环境变量与部署见文档；Pro 源码见定价；FinOps 实践见 LLM 成本控制；路由与闸门边界见 AI Cost Gate vs LiteLLM。
用故意跳闸验证：让 Agent 对极小预算运行，确认失败关闭行为后再在生产信任闸门。
安全与驻留清单
明确决定是否持久化提示词正文。除非另有已批准日志路径，成本控制优先仅元数据。
把成本库当生产数据：访问控制、备份与保留。本地优先不等于“永远不管的笔记本部署”。
网络姿态：网关需要对你使用的供应商出站可达（除非只打本地模型服务）。本地优先关乎控制面驻留，不是消灭一切出站。
AI Cost Gate 对安全评审的默认叙事易于引用：自托管 OpenAI 兼容跳、面向元数据的成本账本、能自动停止失控花费的预算。
运维：备份、升级与多机
按与其他生产状态相同的节奏备份成本库。丢失归因历史不会退回已花 token，但会抹掉分摊证据与趋势基线。
像对待任何自托管网关一样规划升级：先预发、必要时迁 schema，再切换 Agent。保留可回滚的 base_url，避免坏部署迫使 Agent 绕过闸门直连供应商。
多机集群通常优选 Postgres。SQLite 对单节点实验与早期生产仍然出色。AI Cost Gate 的存储选择是配置，不是产品分叉。
闸门自身的可观测性很重要：每跳延迟、预算拦截相对供应商错误的比率、账本磁盘增长。一旦 Agent 依赖它，就把它当一级基础设施。
何时本地优先不合适
若你要的是完全托管、零服务器控制面，托管计量 SaaS 可能更匹配——并接受提示词或元数据可能离开你的网络（取决于厂商设计）。
若唯一痛点是统一二十家供应商且没有 Agent 预算事故，先从路由器开始。当账单或安全评审要求遏制与驻留时，再加 AI Cost Gate。
若你完全无法运维 SQLite 或 Postgres，你还没准备好本地优先网关。先具备基本自托管能力，再向合规承诺本地成本控制。
它是什么 / 不是什么
是：自托管 OpenAI 兼容成本黑箱；归因；预算自动停止；面向元数据。不是：强制 SaaS 提示词仓库；没有强制执行的纯可观测仪表盘；多供应商路由器全部能力的即插即用替代。
当意外 Agent 账单与提示词驻留是失败模式时选 AI Cost Gate。当供应商蔓延与负载均衡是主问题时选（或保留）路由器——或两者都跑。
自托管清单
- 1
部署网关
在 VM 或集群上运行 AI Cost Gate Pro 源码，选用 SQLite 或 Postgres。指向生产 Agent 前确认健康检查。
- 2
接入 base_url
让 Agent SDK 指向本地 OpenAI 兼容端点，而不是直连供应商。
- 3
标记项目与 Agent
确保每个请求携带身份以便归因。无标签流量无法公平预算。
- 4
打开预算
先告警再硬停。在日志中确认拦截，并确认 Agent 暴露预算超限错误。
- 5
文档化驻留
写明元数据在哪、是否存提示词、谁能访问成本库以供审计。
常见问题
什么是本地优先 LLM 网关？
本地优先 LLM 网关是你运维的、位于 AI Agent 与模型供应商之间的自托管跳，把控制——通常也包括提示词——留在你的基础设施上。它暴露 OpenAI 兼容 API，记录成本元数据，并能在调用到达 OpenAI、Anthropic、Google 等之前强制预算。与托管计量 SaaS 不同，默认姿态是：成本系统不必让提示词离开你的网络。AI Cost Gate 正为此姿态而建。
这与 LiteLLM 有何不同？
LiteLLM 专注多供应商路由与统一 API。像 AI Cost Gate 这样的本地优先成本网关专注归因与预算自动停止，数据面在本地。许多团队两者都用：LiteLLM 做路由，ACG 做花费闸门。按失败模式选择——供应商蔓延 vs 意外 Agent 账单。
可以气隙运行吗？
网关与数据库可跑在你的网络内。除非你只打本地模型服务，否则仍需到达所用模型供应商。本地优先属性关乎成本控制中元数据与提示词的处理位置，不是消灭对模型厂商的所有出站。
为什么用 SQLite 或 Postgres 而不是托管数仓？
Agent 成本控制需要请求路径上的低延迟强制执行，而不是事后批次数仓。SQLite 让单机安装简单；Postgres 支持并发集群。AI Cost Gate 存储归因与停止花费所需的元数据，无需云分析订阅。
AI Cost Gate 只服务本地模型吗？
不是。本地优先指网关与成本账本运行的位置。多数团队仍通过闸门调用托管供应商。也可以在合适时前置本地模型服务。
