跳到内容
AI

AI API 成本告警:如何发现账单异常和模型调用失控

AI

AI Cost Calculator

2 分钟阅读

AI API 成本告警不是等账单月底出来再看,而是在调用增长、重试率升高、输出变长或 Agent 工具循环刚出现时就提醒团队。

如果你已经有 AI 成本治理 Playbook成本事故复盘流程,下一步就应该建立主动告警。复盘解决“出事后怎么查”,告警解决“出事前怎么发现”。

为什么 AI 成本告警不能只看总账单

传统云成本告警常看总费用或资源用量。AI API 更复杂,因为一次请求的成本可能因为输入长度、输出长度、模型选择、缓存命中、工具调用和重试次数而变化。

指标为什么要看
单次请求成本找出异常长输入或长输出
成功任务成本排除失败重试造成的虚假效率
重试率发现上游或 JSON 解析错误
输出 token 占比发现报告/代码生成失控
Agent 工具调用次数发现循环和过度执行
缓存命中率发现 prompt caching 失效

只看总账单,会等到问题已经放大后才知道。

五类 AI 成本告警

1. 日预算告警

适合所有线上功能。

今日成本 > 日预算 70% → 提醒
今日成本 > 日预算 100% → 降级非核心功能

日预算告警不需要很复杂,但必须能告诉你是哪一个功能消耗最多。

2. 单请求成本告警

当某次请求成本超过正常范围时触发。

适合:

  • 长文总结;
  • RAG 问答;
  • 代码生成;
  • Agent 任务;
  • 报告生成。

建议用 P95 或 P99 作为基线,而不是固定金额。

3. 成本漂移告警

如果平均成本每天慢慢上涨,可能不是事故,但一定要调查。

常见原因:

  • system prompt 变长;
  • 历史消息没有截断;
  • RAG chunk 增多;
  • 输出格式从短答变成长报告;
  • 模型路由升级过多。

4. 重试率告警

重试率升高会直接放大账单。

重试率 > 10%:检查错误类型
重试率 > 20%:暂停自动重试或降级功能

重点看失败原因:timeout、JSON 解析失败、工具参数错误、上游限流,还是应用层重复提交。

5. Agent 循环告警

Agent 一旦能调用工具,就必须监控步骤数。

告警字段:

  • 单任务模型调用轮数;
  • 工具调用次数;
  • 同一工具重复调用次数;
  • 是否触发人工确认;
  • 是否超过单任务预算。

成本告警字段设计

建议每条请求记录:

字段示例
featuresupport_answer
modelclaude-sonnet
user_tierfree / pro
input_tokens3200
output_tokens850
estimated_cost$0.011
retry_count1
tool_call_count3
cache_hitfalse
statussuccess / error

没有这些字段,告警只能告诉你“变贵了”,不能告诉你为什么。

告警分级

等级条件动作
Info成本接近预算 50%记录趋势
Warning成本超过预算 70%通知 owner
Critical成本超过预算 100%降级或限流
Emergency成本持续增长且无法归因暂停高风险功能

不要把所有告警都发给全团队。每类功能应该有明确 owner。

调查流程

收到告警后按这个顺序查:

  1. 哪个 feature 触发;
  2. 是否是流量增长;
  3. input tokens 是否变长;
  4. output tokens 是否变长;
  5. retry rate 是否升高;
  6. Agent tool calls 是否增加;
  7. 最近是否发布了 prompt 或模型路由改动;
  8. 是否有批处理重复执行。

如果不能在 15 分钟内定位原因,先降级或限流,再继续排查。

和成本事故复盘的关系

成本告警不是替代复盘,而是减少事故规模。

  • 告警:告诉你风险正在发生;
  • 止血:限制继续增长;
  • 复盘:找系统性原因;
  • 治理:把规则写进上线流程。

可以把本文和 AI API 成本事故复盘 一起使用。

上线前告警清单

  • 每个功能有日预算;
  • 单请求成本有 P95 基线;
  • 重试率有阈值;
  • Agent 工具有最大调用数;
  • 批处理有幂等键;
  • 告警有 owner;
  • 有降级策略;
  • 有复盘模板。

FAQ

AI 成本告警要从第一天就做吗?

只要功能会上线给真实用户,就应该至少有日预算和单请求成本告警。早期可以简单,但不能完全没有。

用固定金额还是百分比阈值?

两者都要。固定金额用于预算边界,百分比和 P95/P99 用于发现异常请求。

告警太多怎么办?

先按 feature 分 owner,再降低低价值告警频率。真正重要的是 Critical 和 Emergency,而不是每个小波动都打扰团队。

总结

AI API 成本告警的目标不是让账单永远不变,而是让异常增长尽早被发现、能被归因、能被止血。只要你能按功能记录成本、设置阈值、定义 owner 和降级动作,AI 成本就会从“月底惊吓”变成可管理的运营指标。

推荐阅读