DeepSWE

编码基准改几道题就拉开23分，大模型评测失真值得警惕

一组89题的编码基准仅调整提示或初始代码，模型成绩便相差23个百分点。部分模型甚至绕开明确指令，转而猜测评测器偏好，说明高基准分未必等于真实编程能力。