笔者让目前市面上主流的大模型来做公务员考试行测真题，来尝试从一个侧面观察大模型的综合能力。在让30多个大模型各做了一千多道行测题后，笔者发现了一些比较有意思的线索（非专业大模型研究者，观点仅供参考）：

• Deepseek-R1确是真神，总分第一并在所有科目中均排到前2，相对于其他大多数大模型，甚至其基础模型Deepseek-V3来说都具有极大的优势；
• 虽然热度平平，但豆包大模型(仅限pro版)已经具备了很强的实力，在行测任务中成绩优异，令人刮目相看；
• 各家模型的在行测数学能力方面，最近半年都有很大的提升（相比于知乎网友在24年8月行测方面的评测）；
• 有的模型很懂政治（豆包pro和Deepseek-V3/R1均做到满分），有的模型很懂封杀……（step-2系列超过一半的政治题都因为内容审查而拒绝作答）；
• 通过强化学习来赋予模型深度思考能力这条路，在综合能力上确实有很优秀的表现，但从各家模型的总体表现来看似乎并不总是银弹：
  • 深度思考大模型，在综合表现上全部超过了基础模型（glm-zero-preview除外），甚至说通过R1蒸馏这种外挂式增强的Qwen2.5-32B模型综合表现都超过了原始的Qwen2.5-72B；
  • 在言语理解等一些题型里面，具备深度思考能力的很多模型相对于基础模型都退步了，即便是o1-mini在这方面也远远落后于gpt-4o，
  • 然而，Deepseek-R1确实在所有科目上表现都超过了Deepseek-V3且有极大提升，原因目前我也没想清楚；
• 低于32B的小模型在行测中表现不佳。看起来尺寸较小不管怎么折腾，即使各个评测数据集上成绩刷到飞起，在考察综合能力的时候也很难有特别亮眼的表现；

以下正文；）

1. 背景介绍

1.1 为什么要做这个评测

• 原因1: 春节在家走亲戚太无聊了，需要找点有意思的事儿对冲一下；
• 原因2: 大模型能力的评测一直是一个业界难题。与其说它是一个问题，倒不如说是一个博弈，因为任何在公众领域公开的数据集，必然面临刷分的问题。半年前我们在做大模型测试用例生成的时候，内部搞了一些测试集与公开的Coding类benchmark进行对比，就发现几乎市面上所有的公开benchmark都几乎无法准确反映模型的代码能力（lmarena除外）

年前Deepseek一举爆红，笔者跟朋友也在尝试用各种方法评测Deepseek等新模型的能力。周围有不少朋友在考公（坐标猜猜？），有时候发一些题目给大模型，结果我们发现不少行测题即使是Deepseek V3/R1也很难正确解答。正好笔者春节在家无聊，一时兴起，想着说那不如爬一些行测题目来做一个测试集，摸排一下市面上大模型，尤其是最近半年的新模型，综合能力到底如何？

公务员行测题目都是选择题，做起来方便，判卷也容易。同时考察的范围非常综合，既包含常识知识和政治，也有数学推理和资料分析，同时其中很多题目对考生的抽象能力又有一定要求。笔者觉得是评价大模型能力的一个相对比较全面的方法。

1.2 数据来源和准备工作

太长不放，这里的README详细介绍了数据来源和收集过程。简单来说就是24-25年几个题目比较难的重点省份和国考的行测真题，同时将涉及图片信息的一律去掉，经过简单的筛选之后总共得到六大类题型（政治理论、常识判断、言语理解、数量关系、判断推理、资料分析）共计1383道题目。

1.3 参与评测的有哪些模型

选取在我自己工作中使用过认为表现相对较好的开源模型（通义千问系列，Llama系列，Deepseek系列，浦语，GLM部分开源模型等）和闭源模型（Openai，豆包，混元，月之暗面，零一万物，阶跃星辰，MiniMax等。以国内厂商的大模型为主，一方面是因为海外的大模型不太懂政治（结果Gpt-4o打我脸了，告诉我海外模型也很懂政治！）；另一方面是近半年来国外的大模型确实没那么香了，不必投入那么多精力和💲。

另外如果模型系列有类o1的内生思维链推理的版本，这里均纳入评测（如Deepseek-R1，QwQ，o1-mini，glm-zero等，o3-mini目前没弄到API就没放进去，p.s. 思维链好是好，就是tokens太贵了……）在评测过程中，商用闭源模型均采用官方API（Deepseek由于官网服务不稳定，使用Siliconflow✖️华为昇腾提供的API，后期该API限流之后改用Deepinfra），其他开源模型均使用Siliconflow或Deepinfra提供的API。总计成本约1000+RMB。

p.s. Siliconflow的R1 API简直太卡了，是因为R1现在太火爆嘛？

纳入评测的模型详细清单如下（顺序随机排列，看心情；）,共计33个模型：

2. 测评结果简单总结

2.1 总体答题情况

在知乎网友在24年8月做的评测中，参与评测的大模型整体正确率在65%-75%之间。仅仅过了半年，就有多家大模型的正确率突破了75%，最高的甚至达到了85%，可见大模型能力进步之神速。

这里的表格列出了所有平均正确率超过了75%的大模型，得分从高到低排序（要不然列的太多了也看不过来，文章后边会附上完整的排序表格）。至于为什么只看超过75%的，主要是因为身边考公的朋友说正确率超过75%就已经属于进面相对比较稳的范畴，到85%+已经算是考公天才了（狗头）。

从这里可以看出支持深度思考的模型有非常出色的表现。两个基于Qwen2.5-32B进行深度思考强化的模型 正确率都超过了75%，而Qwen2.5-72B并没有达到这个分数。另外若干家闭源的旗舰模型也都达到了相当可观的分数。

不过整体来看，Deepseek-R1和豆包Pro与其他模型能够拉开相当大的差距。

2.2 政治理论部分

政治理论是2025年新加入的题型，因此总共只有60道题目。以前的相关内容零散分布在常识判断模块中。所处的题目和考点基本围绕总书记讲话和党建理论展开。因此这部分题型可以评价模型在中国政治方面的背景知识，同时从拒绝回答的角度来看，可以评价模型的内容审计与拒绝策略是否合理。

由于政治理论题目一半的模型得分都超过了90%，这里我们仅列出前五名，总表我会放在文末。现在的AI很懂政治啊;)

另外比较有趣的是，在政治理论题目的答题过程中，阶跃星辰的Step-2-16k和Step-2-mini这两个模型均因为内容审核不通过拒绝作答大多数题目（均拒绝33道题，占比超过一半，两个模型看上去共享同一个内容审核策略），成为虽然不一定最懂政治，但一定最懂封杀的模型。

2.3 常识判断部分

这部分主要考察背景知识是否丰富。所以理论上训练语料更丰富的模型应该能够的到更高的分数。这里Deepseek R1和豆包Pro断崖式领先，比其他模型超超出接近10%。下面的表格列出了前10名，但其实3-10名并没有拉开很大的差距。

2.4 言语理解部分

言语理解包含逻辑填空，短文阅读理解，语句表达等题型，主要考察对文字内容的理解能力。在这部分Deepseek R1和豆包仍然交替领先。一个比较有趣的发现是，大多数类o1的深度思考模型在这部分表现都不佳（例如，qwq和r1蒸馏的qwen2.5-32b均远远落后于原始的qwen2.5-32b模型，glm-zero也落后于glm-plus甚至比qwen2.5-14b更差，o1-mini更是排到了20名开外）。

这个观察与之前知乎网友段小草的评测中所提到的（CoT会导致模型言语理解能力下降）的观察基本符合。但是黑马仍旧出现了，Deepseek R1的表现远远超出它的基础模型Deepseek V3。这里面的原理到底是什么，跟R1的RL训练方式有什么关系？我自己不是LLM方面的专家，还需要蹲一个有缘人来解释下；）

2.5 数量关系部分

数量关系是类o1（以及本尊）的深度思考模型的天下，即使是R1蒸馏的小模型也普遍有比较好的正确率，相对于半年前的评测有了长足的进步。o1-mini在这方面仍然领先，但更加意外的是豆包pro作为一个非深度思考模型仍然做到了很高的正确率（前5名中其他全部是类o1模型），体现出了很强的数学能力。

2.6 判断推理部分

判断推理题目中，豆包pro和Deepseek R1仍然有不相伯仲的成绩（这话我都说累了！）并且能跟其他模型拉开相当大的差距。

2.7 资料分析部分

资料分析类题目通常是给定一段图文资料（这里参与评测的题目都是纯文字背景资料），主要考查的是对复杂资料的综合理解与分析加工能力，以及一部分速算能力（有时候需要根据资料中的公式计算结果）。由于带图形的题目都被筛掉了，因此这部分只留下64道题目。

在这部分中，前4名均为支持深度思考的推理强化模型，且与第5名（豆包pro）拉开一定的差距。并且所有模型系列中，支持深度思考的模型均碾压同系列其他模型（例如，Deepseek R1 » V3, Qwen QwQ » 72B, glm-zero » glm-4-plus, …）可见对于资料的深度理解和分析方面，深度思考有很大的提升。

3. 一些有意思的观察

3.1 深度思考（或者说运行时推理）是否一定更智能

综合来看，针对深度推理强化过的模型（QwQ，o1等，后续我们简称为类o1模型）表现出了较大的优势。

但是，在言语理解类的题目中，类o1模型大多数翻车（除了R1之外）。在笔者认为，这体现出：思考固然很重要，但判断何时应该深度思考，何时应该相信直觉也许更加重要。从技术角度出发，也许我们需要让大模型具备针对不同的问题设置不同的思考方式的能力。正如人在社会中生存，面对技术问题和政治问题的思考方式就是截然不同的。

另外相比于基础模型而言，深度推理模型普遍带来了很大的tokens开销（接近翻番），是否总是需要这么多的推理开销，能不能灵活控制推理长度和成本也是个值得探讨的问题。

3.2 知识蒸馏带来的能力提升的不确定性

Deepseek 通过R1的知识蒸馏对多个模型进行强化。但其效果差距却很大，Llama-3-70b在强化后，整体表现的提升仅从63.9%提升到了64.2%，难兄难弟了可以说。但是对Qwen2.5-32B的强化却取得了非常好的效果，强化之后的模型甚至超越了Qwen2.5-72B。从另一个侧面看，同样是在Qwen2.5-32B的基础上进行深度思考微调，Qwen-QwQ-Preview也达到了非常接近的效果（总成绩一个75.7%一个74.7%），让人不禁猜想是不是这种深度思考微调的上限很大程度上取决于基础模型本身。

4. 完整测试数据表格

4.1 总成绩全排序

4.2 政治理论成绩全排序

4.3 常识判断成绩全排序

4.4 言语理解成绩全排序

4.5 数量关系成绩全排序

4.6 判断推理成绩全排序

4.7 资料分析成绩全排序