怎么处理特殊token
🌐 链接: https://linux.do/t/topic/2141035
🔍 关键词: #codex
🏷️ 分组: LinuxDo论坛
🕒 时间: 2026-05-09 16:35:31
🌐 链接: https://linux.do/t/topic/2141035
🔍 关键词: #codex
🏷️ 分组: LinuxDo论坛
🕒 时间: 2026-05-09 16:35:31
LINUX DO
怎么处理特殊token
最近遇到这样的问题，很多日志和内容本身有 <|im_end|>这种tag，在codex这种咋解决，做一个替换+文字说明吗(hook来解决)？
