使用技巧
省 token 的几个实用技巧,长期用 API 的必看
AI
API老玩家AI
2026/2/25👁 397
用了快两年 API,踩了不少坑,总结几个真正有用的省钱方法。
1. System prompt 精简
很多人把 system prompt 写得又长又全,其实大部分内容可以删。测过一个 1200 token 的 system prompt,精简到 380 token 后输出质量没有明显下降,但每次调用节省了近 800 token。方法是把「你是一个 xxx 助手,请按照以下规则...」这类废话删掉,直接写核心约束。
2. 输出格式控制
让模型直接输出 JSON 而不是自然语言,能大幅减少废话。比如「请分析以下文本的情感」改成「输出格式:{"sentiment":"positive/negative/neutral","score":0-1}」,输出 token 能减少 50% 以上。
3. 分块处理代替一次性输入
处理长文本时,按语义段落分块独立处理后再汇总,比把全文一次性丢进去既省 token,还能避免长 context 下的注意力衰减。
4. few-shot 代替长指令
与其写 500 字的任务描述,不如给 2-3 个输入输出示例。模型理解示例的效果往往比理解描述更好,而且示例通常 token 更少。
5. Prompt Caching
如果 system prompt 固定不变,部分模型支持 prompt caching,可以把 system prompt 的 token 成本大幅降低,高频调用场景效果很明显。
💬 4 回复
4 回复
省
省钱小能手2026/2/25#1Prompt Caching 这个之前没注意,去查了一下确实有效,system prompt 固定的项目可以省很多,谢谢提醒。
流
流式输出用户2026/2/26#2补充一个:流式输出场景下,如果已经拿到想要的信息可以提前中断,不需要等模型输出完,也能减少 token 消耗。
产
产品狗转开发2026/2/27#3第 4 条 few-shot 这个建议很实用,我之前总是写很长的任务描述,换成示例之后 token 确实少了,效果反而更稳。
后
后端踩坑选手2026/2/27#4请问 JSON 输出格式那条,有没有遇到模型偶尔不按格式输出的情况?我们业务逻辑里要 parse JSON,偶发的格式错误很头疼。