经济学家式思维：在经济问题上进行后训练，让大语言模型产生战略性泛化能力

近日，由杜克大学的周宇发、上海交通大学EPIC实验室的王少博、董星宇、金相奇、陈怡方、闵越，阿里巴巴集团钱团队的杨可欣、任兴章、刘岱恒，以及上海交通大学的张临风等学者共同合作的一项重要研究，于2025年5月31日发表在arXiv预印本平台（arXiv:2506.00577v1）。这项研究探索了如何通过后训练技术，让大语言模型（LLM）像经济学家一样思考，从而展现出在多智能体系统中的战略性泛化能力。

在人工智能研究的浪潮中，大语言模型（LLM）已经从简单的文本生成工具，发展到能够在数学和编程等领域展现强大推理能力的智能系统。然而，直接训练LLM在多智能体系统（MAS）中表现良好仍然面临着巨大挑战，主要是因为复杂的奖励建模、动态智能体交互以及严格的泛化要求。那么，我们能否通过"后训练"技术（即在预训练模型基础上进行进一步优化）来有效地提升模型在多智能体场景中的表现呢？

研究团队别出心裁地选择了经济推理作为测试平台。为什么选择经济学？原因很充分：经济学拥有数学和博弈论的坚实基础，要求结构化的分析推理能力，并且与市场设计、资源分配和政策分析等现实世界应用密切相关。就像经济学家需要分析复杂的市场互动并预测参与者行为一样，智能体也需要在多方互动中做出合理决策。

研究团队开发了名为Recon（Reasoning like an ECONomist，像经济学家一样推理）的开源语言模型，这是一个基于7B参数模型，通过在精心策划的2,100个高质量经济推理问题数据集上进行后训练而成的模型。想象一下，就像一个经济学专业的学生通过做习题来掌握经济学思维一样，Recon模型通过"学习"这些经济问题，逐渐掌握了经济推理的能力。

最令人惊叹的是，Recon模型不仅在经济推理基准测试上表现出色，更重要的是，它在从未直接训练过的多智能体博弈中展现出了令人印象深刻的战略性行为。这就像一个学生在课堂上只学习了经济学理论，却能在实际商业谈判中灵活运用这些原则一样——这种能力的泛化令人惊叹。

研究的核心方法包括两个主要阶段：首先是监督式微调（SFT），教模型理解经济推理的基本思路；然后是通过可验证奖励的强化学习（RLVR），让模型进一步优化其决策过程。这就像先教学生经济学的基本原理，然后通过实际案例分析和模拟练习来强化他们的应用能力。

接下来，我将详细介绍这项研究的各个方面，包括研究背景、数据集构建、模型训练过程，以及实验结果与发现。无论你是对人工智能、经济学还是两者的交叉领域感兴趣，这项研究都提供了引人深思的见解，展示了如何让AI系统掌握人类最复杂的推理能力之一——经济战略思维。

一、研究背景与挑战

如果将AI的发展比作一场长跑，那么最近几年大语言模型（LLM）可以说是完成了从匀速慢跑到突然冲刺的转变。以OpenAI的o1系列和DeepSeek-R1为代表的模型不再满足于简单地生成连贯文本，而是展现出令人印象深刻的推理能力。这种转变并非偶然，而是得益于多种技术的融合：思维链（Chain-of-Thought）提示、监督式微调（SFT）以及人类反馈强化学习（RLHF）。

想象一下，这些模型就像经历了从背诵课本到真正理解知识的飞跃。其中一个特别有效的方法是"可验证奖励强化学习"（RLVR），它不再依赖模糊的人类反馈，而是使用明确的验证函数来判断答案是否正确。就像数学老师不仅告诉学生答案对错，还要求他们展示完整的解题过程一样，RLVR促使模型学习正确的推理路径，而不仅仅是猜测答案。

与此同时，基于LLM的多智能体系统（MAS）也逐渐成为研究热点。想象一个虚拟市场，不同的AI代理扮演着买家、卖家、中介等角色，彼此互动、协商和竞争。这些系统为研究复杂互动、合作行为和社会动态提供了绝佳平台。而在这些互动中，经济理性——即系统地分析激励、权衡和战略决策的能力——成为关键因素。

STEER基准测试通过评估LLM在效用最大化、行为偏差和战略推理等方面的表现，正式将经济理性这一概念纳入AI评估体系。这与博弈论紧密相连，后者长期以来一直是MAS研究的理论基础，现在也越来越多地用于评估LLM代理。

然而，直接训练LLM用于多智能体互动仍然十分复杂且研究不足。主要挑战包括：如何构建合适的奖励模型？如何处理不稳定的协调动态？如何调和不同智能体的冲突目标？现有方法如多智能体协同训练和MARFT通常需要大量监督和定制的智能体架构，限制了它们的可扩展性和泛化潜力。

这就引出了本研究的核心问题：后训练技术能否有效地泛化到多智能体场景？研究团队选择经济推理作为测试平台，理由十分充分：经济任务通常涉及复杂的多步推理，如评估权衡、调整激励机制和预测他人行为——这些正是利用SFT和RLVR改进的理想场景。此外，经济推理的现实世界应用进一步强化了这一领域的重要性，从市场设计到资源分配，再到政策分析，都依赖于这种能力。

二、Recon：像经济学家一样思考的语言模型

Recon项目的核心就是创建一个专门为结构化经济决策而设计的语言模型。想象一下，如果普通的LLM像是通才，掌握各种知识但不专精，那么Recon就像是经过专业训练的经济学家，能够应用经济学原理解决复杂问题。

研究团队精心策划了一个包含2,100个示例的高质量数据集，涵盖15个关键经济类别，包括行为偏差检测、重复博弈策略和机制设计均衡等。这个数据集建立在并扩展了现有的基准测试，如STEER、EconLogicQA和EconNLI。如果将这些经济问题想象成经济学训练营的各种练习，那么每个问题都在训练模型的不同"经济肌肉"，从基础的效用计算到复杂的博弈论推理。

研究使用了监督式微调（SFT）和随后的组相对策略优化（GRPO）技术，在DeepSeek-R1-Distill-Qwen-7B模型的基础上进行优化。这一过程可以比作对一个已经聪明的学生进行专业的经济学培训：首先通过示例学习（SFT），然后通过实践和反馈（GRPO）来强化和优化学习成果。

Recon的训练过程分为三个主要步骤，形成了一个完整的训练流水线：

首先是数据集策划和推理轨迹提取。研究团队从各种经济学基准测试中精选问题，并使用教师模型生成详细的推理过程。这就像一位经济学教授不仅提供问题答案，还详细展示了解题思路，让学生能够理解整个推理过程。

其次是通过SFT和RL进行后训练。基础模型首先通过SFT在包含推理轨迹的数据集上学习，随后通过RL在完整的Recon数据集上进一步优化。这类似于学习经济学的两个阶段：先理解基本概念和解题方法，然后通过实践和思考来真正掌握这些知识。

最后是模型评估，包括在推理基准测试、自我对弈和多智能体博弈中对模型进行测试。这相当于通过不同难度和类型的考试来评估学生的经济学知识和应用能力，从基础理论题到复杂的案例分析和模拟谈判。

整个过程就像一个经济学家的培养计划：从掌握基础知识，到理解推理方法，再到在实际场景中应用这些原则。这种系统化的训练方法使Recon不仅能够回答经济问题，还能在更广泛的战略互动场景中展现出人类经济学家般的思考能力。

三、数据集：经济推理的训练场

想象一下，如果要培养一位优秀的经济学家，你需要提供什么样的学习材料？当然是涵盖经济学各个领域、难度适中且高质量的问题。研究团队正是带着这样的理念构建了Recon的训练数据集。

研究团队策划了四个核心数据集，它们共同构成了经济推理的全面训练场：

STEER基准测试提供了约60万个多项选择题，横跨48个微观经济学类别，包括算术、概率、心理偏差和博弈论。如果说经济学是一栋大楼，那么STEER就提供了这栋楼的各个房间。每个问题都包含提示、候选答案、正确标签和元数据，为模型提供了广泛的经济推理基础训练材料。

EconLogicQA则包含650个经过人工验证的问题，这些问题受真实新闻启发，需要正确的时间或因果排序。想象一下，这就像给经济学家一系列经济事件，要求他们判断"先有鸡还是先有蛋"——这种训练有助于培养规划和因果一致性的能力。

EconNLI提供了11,000对前提-假设对，标记为蕴含或中性。这些内容来自维基百科，评估模型推断经济叙述中因果和逻辑关系的能力。这类似于训练经济学家阅读复杂的经济报告，并准确判断其中的逻辑关联。

纯策略均衡博弈数据集则包含标记有纯Nash均衡和完全透明均衡的3×3支付矩阵。研究团队将这些来自苏黎世联邦理工学院的矩阵转换为自然语言提示，以评估均衡推理能力。这就像为经济学家提供抽象的博弈论练习，测试他们找出最优策略的能力。

在初步实验中，研究团队评估了不同LLM在这些数据集上的表现。结果显示，闭源模型（如GPT-4o）在大多数宏观类别中领先，但值得注意的是，DeepSeek-R1-Distill-Qwen-7B在数学基础（0.896 vs 0.887）和多智能体环境（0.630 vs 0.625）两个类别上略微超过了GPT-4o。这表明专门的开源推理模型能够有效地与闭源对手在基础经济任务上竞争。

推理提炼显著提升了性能。DeepSeek-R1-Distill-Qwen-7B在大多数宏观类别上优于所有其他可比大小的开源模型，特别是在多智能体环境方面表现出色。这表明经济推理是一个特别适合精细推理能力的领域。

然而，复杂的博弈论任务仍然具有挑战性。即使是领先的GPT-4o在触发策略和可执行性等高级推理任务上也只能达到有限的准确率（分别为0.176和0.824），而大多数开源模型在这些长期推理任务上的表现则更低。

基于这些发现，研究团队选择了DeepSeek-R1-Distill-Qwen-7B作为进一步训练的最佳基线。尽管存在瓶颈，但它的整体坚实表现（宏观平均0.69）和在战略推理方面的基线能力使其成为通过SFT和RL微调来增强经济推理能力的理想候选者。

最终的Recon数据集包含了15个最具挑战性的经济类别，总计2,100个问题-答案对。这些问题根据经验错误率按比例采样，分为训练集（1,800个问题）和评估集（300个问题）。每个问题都使用结构化提示，鼓励模型逐步推理并明确标注最终答案。

这就像为经济学家设计了一套全面的训练课程，从基础概念到高级博弈论，从行为经济学到逻辑推理，确保模型能够掌握经济学思维的各个方面。

四、训练方法：从学习到掌握经济推理

Recon的训练过程可以比作一个经济学专家的培养计划，包含两个关键阶段：监督式微调（SFT）和强化学习（RL）。这两个阶段分别对应了知识获取和技能精炼的过程。

在监督式微调阶段，研究团队从一个更强大的教师模型（QwQ-32B）提取思维链（CoT）轨迹，并筛选其正确性。想象一个学生跟随资深经济学教授学习，不仅记住答案，还要理解完整的推理过程。教师模型为每个问题生成详细的思考过程，放在特殊标记`...`内，并将最终选择放在`\boxed{...}`中。这使得学生模型（Recon）能够学习如何构建结构化的推理过程。

研究团队只保留了教师模型回答正确的示例，最终得到了868个高质量的（问题、黄金答案、思维链）三元组，覆盖所有15个Recon类别。这些示例构成了Recon-CoT数据集，用于SFT阶段的训练。

在SFT过程中，模型学习从一个输入提示x生成目标输出y。每个输出是一个元组y = (c, a)，其中c代表逐步推理，a是最终答案。训练目标是最小化负对数似然：

``` LSFT(θ) = -E(x,y)~DSFT [log pθ(y | x)] ```

这里θ是模型参数，pθ(y | x)是给定x生成y的条件概率。这个过程就像学生通过模仿专家的解题思路来学习经济推理。

完成SFT后，研究团队采用了组相对策略优化（GRPO）进行强化学习阶段的训练。与其他RL方法不同，GRPO通过从一组采样输出中估计优势来提高效率，无需价值函数。对于每个输入查询q，模型生成一组G个响应，然后优化当前策略πθ以最大化以下目标：

``` JGRPO(θ) = Eq~Dq,{oi}G i=1~πθold(·|q) [1/G ∑G i=1 min{wiAi, clip(wi, 1-ε, 1+ε)Ai} - β KL(πθ||πref)] ```

其中wi是当前策略与旧策略的概率比，Ai是每个响应的标准化奖励，反映了其相对质量。KL惩罚通过惩罚与参考策略πref的偏差来鼓励稳定性。

为了支持GRPO训练中的结构化输出，研究团队开发了一个分层的基于规则的奖励函数，对响应进行三个阶段的评分：格式有效性、答案提取和正确性。这确保模型不仅给出正确答案，还要以一种结构化、可解析的方式呈现其推理过程。

整个训练过程就像经济学家从学徒到专家的成长过程：首先学习基本原理和解题方法（SFT），然后通过实践和反馈不断完善自己的推理能力（RL）。这种两阶段方法不仅使Recon能够理解经济问题，还能展示出其推理过程，使其决策更加透明和可解释。

五、实验结果：从经济推理到战略行为

研究团队的实验结果令人振奋，不仅证明了后训练技术可以显著提升经济推理能力，更重要的是，这种能力能够泛化到未曾训练过的多智能体博弈场景中。这就像一位经济学家不仅能解决教科书上的问题，还能在实际商业谈判中运用这些原则一样令人印象深刻。

在300题的Recon-Eval测试集上，模型的进步非常明显。基础模型的准确率为48.3%，经过SFT后提升至59.7%（增加11.4个百分点），这表明从教师模型提取的推理轨迹有效地传递了结构化推理模式。而GRPO进一步将准确率提升至63.0%（再增加3.3个百分点）。总体而言，SFT→RL流程实现了14.7%的绝对增益，验证了后训练作为调整DeepSeek-R1-Distill-Qwen-7B进行经济推理的可行策略。

更令人惊叹的是，经济后训练带来的收益超出了单步推理，扩展到了未曾见过的交互式设置。研究团队在两个互动环境中评估了模型，测试经济推理后训练是否能泛化到战略互动。

在自我对弈的纳什均衡准确率方面，随着经济后训练的添加，模型表现出明显的单调增长。相对于R1-Distill基线，Recon-SFT在同时博弈中将均衡结果的比例从0.39提高到0.47，同时在序贯博弈中保持了0.79的强水平。随后的GRPO阶段将这些数字提高到0.51和0.86，总体平均达到0.685，比R1-Distill提高了9.5个百分点，几乎是非推理型Qwen-2.5-7B-Instruct所达到的0.345的两倍。

这种频繁收敛到纳什均衡的现象表明，模型变得更善于(i)预测其他智能体的激励，以及(ii)选择非占优策略。研究团队将均衡率的提升解释为后训练注入了可转移的均衡先验：模型已经内化了经济理性原则，即使在训练过程中从未见过的博弈中也能应用这些原则。

在GTBench战略博弈评估中，同样的归纳偏差也表现出来。Recon-SFT已经在7B模型中获得了最高的平均胜率(0.53)。GRPO再次提供了一致的提升至0.56，在10个任务中有8个获胜或平局。最大的相对收益出现在谈判(+0.20)和突破(+0.20)两个游戏中，这两个游戏需要扩展的前瞻和自适应竞价能力，这些能力在我们的训练语料库中从未明确包含。

与非推理模型Qwen-2.5-7B-Instruct相比，Recon-RL模型有更高的准确率，验证了推理能力帮助模型在战略博弈场景中取得成功的想法。

这些改进不能用模式记忆或组合搜索来解释；相反，它们表明离线学习的经济推理技能转化为更一般的战略行为，能够对抗强大的、未见过的对手。事实上，每个DeepSeek检查点（包括Recon-RL）在nim游戏上得分都很低，这个游戏的解决方案是一个单一的XOR不变量，而不是激励驱动的最佳响应问题，这突显了这一边界：我们的后训练注入了寻求均衡的偏好，而不是现成的组合技巧。

在多智能体博弈中，Recon-RL和Recon-SFT在Draco序列博弈上的表现对比揭示了后训练带来的几种系统性行为：

首先是明确的战略建模。Recon-RL自发构建博弈树，标记子博弈，并诉诸"子博弈完美纳什均衡"和"逆向归纳"等解决方案概念。相比之下，Recon-SFT非正式地走过支付线，从不命名底层的均衡逻辑。

其次是迭代搜索和自我纠正。RL模型展示了一个长时的"试错"思维链——模拟每个分支，发现矛盾，并在收敛到最优路径之前修改中间结论。

这些观察表明，SFT阶段获取了解决战略场景的基础知识，而GRPO阶段教导模型模拟训练有素的经济学家会遵循的解决程序，而不仅仅是记忆答案模式。更丰富的内部搜索和对正式术语的更严格遵守为之前报告的定量收益提供了一个合理的机制，也为在未见过的交互基准上的改进胜率提供了解释。

六、洞见与未来工作

研究团队的实验结果引发了对后训练与智能体对齐之间关系的深刻思考。从单次、教科书式的经济学到交互式、对抗性的博弈的跃迁尤为引人注目。研究团队提出了两种互补机制来解释这种域外泛化：

首先，结构化提示促成了模块化潜在策略。Recon模板强制执行明确的思考|行动分离，这反映了博弈中所需的内部推演/外部承诺循环：在假设分支上搜索，然后输出单一行动。研究团队推测，这种模板因此训练了一个策略-通过-思想模块，当相同的模型被要求对抗另一个智能体时，可以原封不动地调用这个模块，产生更系统的树构建和自我纠正。

其次，结果对齐的奖励培养了"均衡先验"。GRPO优化的是与最终正确性成正比的标量信号。因此，模型保证非零回报的最简单方法是向后规划：选择在任何延续中都能存活的非占优步骤。在数千个问题上，这培养了一种偏向互惠最佳响应的偏好。当被放入多玩家环境中时，同样的偏好表现为(i)拒绝占优移动，(ii)倾向于均衡结果。

这些发现的意义重大，主要体现在两个方面：

首先是可扩展的对齐。通常，将模型对齐到"合作和理性"行为依赖于昂贵的人类标注。研究结果表明，单一智能体、可验证的数据集已经注入了相当大一部分这种归纳偏差。

其次是可解释性。GRPO后暴露的更丰富、自我纠正的思维链为从业者提供了一个透明的窗口，了解模型的决策过程，便于事后审计和安全检查。

对于未来的工作，研究团队计划探索几个方向：

工作流集成：研究团队计划调查集成多智能体工作流（如谈判和均衡解析框架）是否能进一步增强交互推理和合作能力。

更广泛的微观经济泛化：研究团队的目标是调查对更广泛的微观经济场景（如讨价还价、市场出清或税收）的后训练是否能引发更强大、更稳定的智能体行为。

跨域转移：研究团队还希望将他们的方法推广到其他结构化领域，包括医学、法律和民用设计，以评估类似的对齐效应是否出现在经济领域之外。

七、结论：从经济训练到战略智能

总结这项开创性研究，Recon展示了如何通过经济推理的后训练打造具有战略泛化能力的语言模型。利用精心策划的2,100个问题数据集和两阶段SFT+GRPO流程，Recon在经济基准测试上实现了14.7%的提升，并在多智能体博弈中将纳什均衡收敛率提高了9.5个百分点。

这些结果表明，领域对齐的后训练不仅增强了任务级准确率，还促进了新兴的理性行为。就像经济学家需要理解激励、预测行为和找到均衡一样，经过训练的Recon模型学会了类似的思维方式，能够在从未直接训练过的战略场景中做出合理决策。

这项研究为AI系统的对齐和训练提供了新的视角，表明通过特定领域的结构化问题训练，可以培养出更广泛的理性决策能力。这不仅对学术研究有意义，对实际应用也具有深远影响——从市场设计到资源分配，再到政策分析，都可能从这种"像经济学家一样思考"的AI系统中受益。

随着研究继续推进，这种将经济学原理注入AI系统的方法有望为创建更理性、更有战略性的智能体开辟新途径，最终帮助我们构建能够理解和参与复杂人类互动的AI系统。