很多团队算”换模型省多少钱”时只看一行：新模型单价 × 用量 vs 旧模型单价 × 用量。这个数字算出来漂亮——比如 Claude Sonnet 4.6 vs GPT-4o，按 token 算似乎能省 30-50%。但等真的切完模型回头看账单，这 30-50% 的省钱基本被迁移过程的隐藏成本吃掉。
更糟的是，迁移成本不是一次性付完——它会持续 2-3 个月以”代码 review、prompt 调优、用户反馈处理”的形式分散冒出来，最后总账单比预期超 50%。
这篇文章给一份真实可用的模型迁移预算清单，按 5 个阶段列出每一阶段的真实成本和容易漏算的项。已经读过 Claude vs GPT vs Gemini API 成本对比 和 多模型成本策略 的，本篇接着讲”决定切了之后”的事。
阶段 1：原模型成本基线（必须先有）
迁移决策的第一步不是看新模型，而是把原模型的真实成本摸清楚。“真实成本”不是月度 API 账单总数，是按这 4 个维度拆分的细账：
- 按调用类型拆：长 conversation / 单次问答 / 工具调用 / 流式输出
- 按 prompt 拆：哪些 prompt 占了大头（前 5 个 prompt 通常占 60%+ 成本）
- 按用户/项目拆：单一大客户 vs 长尾小用户的成本占比
- 按 input/output 拆：输出 token 占成本主导 经常是被忽视的事实
为什么这一步很关键：迁移成本省下来的钱，不是”按总用量乘以单价差”，是”按你最贵的那 5 个 prompt 在新模型上能省多少”。如果你最贵的 prompt 在新模型上需要重写、且重写后未必更便宜——这次迁移就是亏的。
预算项：拉一周用量数据 + 写 4 维拆分脚本，约 1-2 工作日（开发时间，不是 API 钱）。
阶段 2：Prompt 适配重写
不同 model 对 prompt 的反应差很多。一个在 GPT-4o 上稳定的 system prompt 切到 Claude，常见的 4 类问题：
- 格式输出不稳定 —— Claude 默认更”说人话”，结构化 JSON 输出需要更明确的引导
- 工具调用参数不匹配 —— OpenAI function calling 和 Anthropic tool use 的 schema 不一样，需要重写
- 上下文压缩策略不同 —— GPT 倾向于丢前面，Claude 倾向于摘要；同一压缩点行为不同
- 拒答边界不同 —— 同一个 user input 在两家的 content filter 表现可能不同
预算项：
| 项 | 工作量 | 真实成本 |
|---|---|---|
| 主要 prompt 重写 | 5-15 个 prompt × 2-4 小时 | 10-60 小时 |
| 工具 schema 适配 | 全部 tool definition × 0.5-1 小时 | 取决于工具数 |
| Few-shot 例子重做 | 部分 prompt 需要新例子 | 2-8 小时 |
| 输出后处理调整 | 解析逻辑跟 schema 一起改 | 4-12 小时 |
按团队 1 个开发者的速度算，一个有 10 个核心 prompt + 5 个工具的产品，prompt 适配阶段就是 1-2 个工作周。
阶段 3：回归测试
迁移最容易漏算成本的就是这一段——你以为重写完 prompt 就完事，实际上回归测试是大头。
需要测的内容：
- 功能等价性：原本能正确处理的 case，新模型还能不能
- 边界 case：奇怪的 input、超长 input、多语言、混合格式
- 稳定性：同一 prompt 跑 100 次，新模型的输出方差有多大
- 延迟和超时：新模型的 P95 / P99 是不是比旧的更糟
回归测试通常需要：
- 收集真实流量样本（脱敏后）50-200 条
- 跑双盲测试（旧 vs 新模型同一输入）
- 人工审查关键差异
- 自动化用 LLM-judge 评估剩余样本
API 成本：双跑测试集 = (旧模型成本 + 新模型成本) × 测试条数。
举例：你测 100 条 prompt，每条平均 $0.05，双跑就是 $10。听起来不多，但要测 5 轮（每次 prompt 改一版就再跑一轮），就是 $50。看起来还少，再加上 LLM-judge 评估（用更强的模型评估输出质量），又翻倍。回归测试 API 成本通常 $100-500。
人工成本：审查关键差异是工程师的人工活，预算 1-2 个工作周。
阶段 4：灰度切流量
很多团队这一段做得太草率——直接 100% 切过去，然后等用户反馈。这种切法的成本是隐性的：
- 用户报问题不一定能定位到模型切换（可能怪界面、怪运营）
- 出问题想回退，没人记得回退步骤
- 业务指标下降但不知道是不是模型导致的
合理的灰度方案：
- 先选 5-10% 用户开新模型，对比 7 天关键指标
- 关键指标稳定后扩到 30%，再观察 1-2 周
- 持续监控延迟、错误率、用户反馈、业务转化
- 全量切之前留好回退开关
灰度阶段的真实成本：
- 额外 API 成本：因为流量在两个模型上跑，总成本会暂时高于单模型
- 监控搭建：需要按”实验组 / 对照组”打点和拆分仪表盘
- 持续 1-2 个月：灰度不是”切完就不管”，是真的要看数据
预算上很容易低估的项：灰度期间的运营 / 客服成本。如果有用户因为模型切换体验下降，他们不会说”模型坏了”，只会说”产品坏了”——客服得花精力区分。
阶段 5：回退机制和长期维护
这是大多数团队完全没预算的项，但真实迁移失败的概率不低（10-20%）。预算里得给”万一不行”留位置：
- 代码层 abstraction：迁移后的代码应该让回退是”改一个 config” 而不是”改 50 个文件”
- prompt 仓库版本化：旧版 prompt 不要删，万一回退 30 分钟内能恢复
- 历史数据兼容：如果你的产品保存了对话历史，新旧模型的输出格式可能不兼容
- 依赖文档：写一份”为什么我们用模型 X”的内部文档，3 个月后接手的人能读懂
长期维护方面：
- 模型版本会持续更新（Claude 4.6 → 4.7 → 4.8），你的 prompt 也要跟着调
- 不同模型在不同任务上的表现可能在 6-12 个月内反转——今天选 Claude，明年可能 GPT 又领先
- 建议把”半年一次的多模型对比”做成例行工作
总预算清单
把所有项汇总：
| 阶段 | 工程师工时 | API 成本 | 现金支出（除 API） |
|---|---|---|---|
| 基线分析 | 1-2 天 | 几乎 0 | 0 |
| Prompt 适配 | 1-2 周 | $50-200（试错） | 0 |
| 回归测试 | 1-2 周 | $100-500 | 0 |
| 灰度切流量 | 4-8 周（部分时间） | 暂时增加 30-50% | 监控成本 |
| 回退机制 / 维护 | 长期 | 持续 | 持续 |
按 1 个工程师 $1k/工作日算，一次完整迁移的**全部成本（含人力）**通常在 $15k-$30k。如果你迁移每月省下来的 token 钱不到 $1k，这个项目要花 15-30 个月才回本。
什么情况下迁移真的值得
迁移有 3 类场景明显值得做：
- 新模型在你最贵的 prompt 上质量明显更好 —— 不只是省钱，是能解锁原本做不到的功能
- 当前模型供应商出了问题 —— 限速、价格涨、服务质量下降；迁移是风险对冲
- 多模型策略需要 —— 把 A 类任务分给便宜模型，B 类任务给贵模型；这种 多模型策略 本质是”加一个模型”不是”换一个模型”，成本计算完全不同
不要为了”看起来 token 单价更便宜”做迁移——按本文清单算下来，单价差 30% 以下的迁移基本不划算。
决策清单
迁移前把这 6 题做完：
- 我的 5 个最贵 prompt 已经识别出来了？
- 我有过去 4 周的真实用量数据，能算月预期？
- 我估算过 prompt 重写的工时（不是单纯按 token 价比）？
- 我有回归测试方案，且预算了相应 API 成本？
- 我有灰度方案 + 回退开关？
- 我算过完整迁移成本，新模型每月省的钱能覆盖至少 12 个月才回本？
6 题都”是”再启动迁移。任何一题”否”，先把那一项补齐再决策。
延伸阅读：
- 单价对比基线：Claude vs GPT vs Gemini API 成本对比 给三家最新单价
- 多模型组合不是迁移：多模型成本策略 讲怎么把任务分给不同模型
- 选型基础：模型选型的成本平衡指南 教从 0 怎么选第一个模型
- 跑迁移前先把现状摸清：AI API 成本失控的 7 个信号 帮你识别”是不是该换模型”还是”用法该改”