部署 · 加固 · 运维
自托管 AI API 网关
部署与运维
我为需要统一管控 LLM 流量入口的团队部署、加固并运维自托管 AI API 网关——密钥是你的，日志是你的，基础设施也是你的。
# 每次交付以证据收尾，而不是口头承诺
$ deployctl preflight --remote gateway-host
ok 80/443 空闲 · docker 27.x · 磁盘余 4GB
$ deployctl apply --plan plan.json
ok 容器 healthy · 仅绑定 127.0.0.1
$ deployctl verify --target gateway-host
ok TLS A · HSTS · 安全头 6/6 · 日志已脱敏
# 交接物：运维手册 + 备份 + 属于你的密钥问题在哪
密钥散落各处
服务商 API 密钥被贴进 notebook、CI 变量和桌面应用。没人说得清哪把密钥在哪里被使用，轮换一把要付出什么代价。
成本不可见
账单月底才来。是哪个团队、哪个功能、哪个失控脚本花掉了预算？服务商的控制台答不上来。
代码层面的厂商锁定
每个服务都硬编码一家厂商的 SDK。想换模型——或者想扛过一次宕机——都得改代码、重新发布。
网关解决什么
自托管网关（如 LiteLLM、one-api 或 Sub2API 一类的开源项目）在你所有上游之前提供一个 OpenAI 兼容端点。业务服务拿到的是可创建、可限额、可吊销的虚拟密钥；上游密钥集中保管在一处。你获得按密钥计量的用量、速率限制、模型路由与故障转移——全部跑在你自己的服务器上。
我交付什么
部署
Docker Compose 或 systemd 部署，反向代理带 HTTPS 与 HSTS，非 root 容器，目录结构成文档，升级路径经过实测而不是拍脑袋。
加固
密钥入库并收紧权限，管理面与数据面分离，安全响应头、fail2ban、日志脱敏——密钥永远不会以明文落进日志。
运维
健康检查与告警、用量看板、备份与恢复演练（附成文 runbook）、按团队与按密钥的配额策略。
交接
最终一切归你：基础设施、文档和一段录屏讲解。系统的运转不依赖我——这正是交付目标。
服务边界，事先说明
我部署的网关只路由你自己的服务商账号与 API 密钥（或你的组织获得授权使用的密钥）下的流量。我不构建、不运维以下系统：把消费级订阅转售为 API、共享或拼池账号配额、绕过服务商速率限制、提取账号凭证。完整清单见合规页。