【SNSE Bench】DeepSeek-V4 正式版评测报告与题库更新🌐 链接:

上一篇：GLM-5.2 题库更新 SNSE Bench 的初版题库仅有 12 题，且采取的测试方法为 pass@1，导致测试成绩的准确性不足，测试误差较大。并且一部分题目的难度对于当下飞速增长的 LLM 水平来说显得较低，分数饱和（谁能想到在仅仅一年之前，大部分模型即使 pass@5 也无法做出本题库中的 T1 呢）。考虑到以上两项原因，笔者在过去的一段时间内挑选了三道难度较高，且笔者曾在比赛中或是在平时练习中解决过的的题目，加入到 SNSE Bench 题库中，编号顺次为 T13~T15。 其中，T13…