llama cpp发布大模型的缓存问题🌐 链接:

最近发现llama cpp发布大模型是有缓存的，机制还很复杂，slot、checkpoint、kv cache等等，这就导致我同样的输入，输出结果会不一样。 我的具体情况是：我写了个agent调用skill，确保会话每次的是新建的情况下，问同一个问题，连续三次、模型表现都有不同（温度都设为0了）。用商用模型api就不一样，每次都是一致的。这种现象其实不太好，结果不可控。佬们有没有相关经验可以分享指点一下？