Appearance
AI 网关设计：配额、路由、缓存和降级
修订于 2026-10-12：原文的促销事故、请求量与缓存阈值没有记录，已删除。下文是架构检查方法，不是本站项目复盘。
LLM 应用在模型调用前设置统一入口，可以集中认证、配额、路由、观测和成本管理。但网关也会成为新的依赖，必须测量其延迟、可用性与故障模式。
配额与限流
不少模型服务同时限制请求数和 token 数，且规则可能按模型、组织、项目或区域变化。网关应分别记录请求数、输入和输出 token、并发量与预算消耗。仅用“每秒请求数”无法反映长文本请求的资源差异。达到上游限制时，遵循上游返回的错误和等待信息，控制重试次数与整体期限，避免多个应用同时重试造成更大压力。
路由与降级
路由可以依据任务类型、模型能力、成本和数据要求选择候选模型，但先要定义验收集：不同模型回答格式、工具调用、延迟和安全边界可能不同。故障时切换模型之前，应验证下游解析是否兼容，并向用户或调用方保留必要的降级信号。不要把“模型可用”当作“输出可替代”。
缓存的适用边界
完全相同且不含敏感上下文的请求可能适合缓存。相似度缓存更容易误命中：两个问题字面接近，不代表可以返回相同答案。缓存键应考虑模型版本、系统提示、租户、权限、上下文版本和输出格式。对于实时价格、个人数据、订单状态等内容，必须明确失效机制或避免缓存。命中率目标应由实际流量决定，不能套用固定阈值。
观测与上线检查
- 记录每条路由的调用量、拒绝量、模型错误、延迟分位数、token 用量和成本。
- 监控路由器与缓存自身的故障，不要只监控模型供应商。
- 记录模型和提示版本，以便定位回答变化；敏感内容应按权限与保留策略处理。
- 用代表性任务集比较路由前后的质量、延迟和成本，并进行灰度与回退演练。
- 对重要动作设置输出校验和人工复核，尤其是会修改外部系统的调用。