[快科普] 长对话中，为什么你只回复了"ok"，却给你扣了大量token（费用）🌐 链接:

对很多佬们应该是常识，不过可能还是有小白不知道这点，稍微提一下 众所周知（是吗？至少常用agent的基本都知道一些吧），大模型是没有状态的，一问一答就结束了，它完全记不住之前发生了什么。而为了让大模型在一次长任务/对话中知道我们当前要干什么，无论网页聊天还是用cc、codex等AI agent，同一个session中 ，每一次你的回复（包括工具调用也算你的回复）都会【完整地】带上你和大模型之间之前对话的所有内容作为输入发过去 所以，假设你之前跟大模型之间的累计对话内容到0.5M了，现在这一轮，你回复…