AI Gateway 不是万能代理:观测、预算、回退应该怎样设计
Cloudflare 2026 年介绍了面向 Agent 的统一推理层。对应用来说,统一入口可以降低供应商切换的集成成本,但不同模型的参数、上下文长度、工具调用行为和输出质量并不天然一致。
定义可观测事件
每次请求记录匿名化用户或租户 ID、模型、请求 ID、输入输出用量、延迟、状态与估算成本;不要默认记录完整提示词和敏感数据。关联 Agent 的工具调用,才能计算“一次成功任务”的总成本,而不是只看到某一次模型调用的价格。
预算与回退
按租户和功能设置预算、速率限制、并发限制与超时。模型失败时,回退必须考虑语义兼容:备用模型能否处理同样的工具 schema?是否允许跨地域或跨供应商处理数据?如果答案不确定,返回可恢复错误比悄悄切换更安全。
重试要区分限流、网络故障和业务错误,使用退避与上限,避免流量放大。涉及收费或副作用的步骤还需要幂等控制。对常见、可复用且没有敏感数据的请求可以评估缓存,但缓存键必须包含模型版本、提示词版本、权限边界和相关参数。
用相同基准测试原模型与候选模型,比较成功率、P95、成本和拒答;上线后做小流量实验并保留回滚路径。产品支持范围、计费与数据政策应以当前官方文档为准。