动态心智理论：评估大语言模型对人类心理状态时间演化的适应能力

在人工智能与人类互动日益频繁的今天，大语言模型（LLMs）是否能够真正理解人类心理状态的动态变化，成为一个关键性问题。2025年5月，来自香港理工大学和上海交通大学的研究团队发表了一项创新性研究，着眼于这一重要课题。这项由杨晓、王家硕、许乾成、宋常河等人领导的研究《走向动态心智理论：评估LLM对人类状态时间演化的适应》（论文编号arXiv:2505.17663v1），为我们提供了全新视角，探索大语言模型在理解人类心理状态动态变化方面的能力。

想象一下，你有一位AI助手，它能够理解你今天心情不好是因为昨天发生的事情，而不仅仅是根据你当前的言语做出判断。这正是研究团队所关注的"动态心智理论"（Dynamic Theory of Mind，简称ToM）能力。心智理论是指理解和推理他人心理状态的能力，它是人类社交互动的基础。正如我们在日常生活中能够感知朋友情绪的变化，一个具备良好ToM能力的AI系统应该能够追踪和理解人类心理状态的动态演变，而不仅是捕捉静态的、孤立的心理状态快照。

现有的研究大多关注大语言模型在静态场景中的ToM能力，就像给AI看一张照片并询问"照片中的人在想什么"。然而，这种评估方法忽略了一个关键因素：在真实社交互动中，人类的信念、情绪和意图是不断变化的。香港理工大学的研究团队意识到这一重要缺口，他们设计了一个名为DYNTOM的基准测试，专门用于评估大语言模型追踪和理解心理状态时间演变的能力。

DYNTOM的创建过程就像是精心编织一部连续剧。研究团队首先构建了1,100个社交情境，涵盖261个不同的社交场所（如咖啡厅、办公室、学校等）。在每个情境中，他们为两个角色创建了详细的个人资料，包括姓名、职业、种族和性格特点等。随后，研究人员设计了每个角色在五个连续场景中的心理状态轨迹，展示他们的信念、情绪、意图和行为如何随着情境变化而演变。最后，他们生成包含自然对话的场景，并制定了针对性的问题来测试模型对心理状态动态变化的理解能力。

想象你正在看一部电视剧，主角Angela和Kevin在第一集中讨论Kevin对工作的不满，Angela表现出关心；到了第二集，Kevin的情况恶化，Angela的担忧加深并提出具体建议。DYNTOM就像是让AI模型观看这部剧，然后测试它是否能够正确理解"Angela的情绪从第一集到第二集发生了什么变化？"这类需要追踪心理状态变化的问题。

研究团队设计了四种类型的问题：理解问题（测试模型识别特定时刻的心理状态的能力）和三种转换问题（测试模型理解心理状态如何在不同场景间变化的能力）。这些问题的难度逐级递增，从简单的"角色的情绪是否改变"到复杂的"角色的信念如何在所有场景中演变"，全面考察模型的动态心智理论能力。

研究团队对十个代表性的大语言模型进行了全面评估，包括GPT-4系列、Llama 3系列、Qwen 2系列和GLM系列等。评估结果令人深思：即使是最先进的模型，其表现也远低于人类水平。平均而言，这些模型的表现比人类差44.7%，其中GPT-4o表现最佳，但其64.0%的准确率仍比人类的77.7%低了13.7个百分点。更令人担忧的是，当涉及到追踪心理状态的变化时，模型的表现进一步下降，揭示了当前大语言模型在理解动态社交情境方面的根本局限。

研究还发现了一个有趣的现象：所有模型在处理连续场景中的中间部分时表现明显下降。这就像人们往往记得故事的开头和结尾，但对中间部分的记忆较为模糊。当研究人员将情境序列从7个缩减到4个时，模型在中间部分的表现显著提升，这表明当前模型在处理长期连续互动时存在"迷失在中间"的问题。

链式思维提示（Chain-of-Thought，CoT）对不同模型的影响也不尽相同。对于能力较弱的小型模型，CoT提供了有益的推理支架；但对于更强大的模型，如GPT-4o，这种严格的推理结构反而限制了其捕捉场景间时间依赖关系的能力，导致性能下降2.9%。

总的来说，DYNTOM基准测试揭示了当前大语言模型在理解人类心理状态动态演变方面存在显著差距。尽管这些模型在识别单一场景中的心理状态方面表现不错，但它们在追踪这些状态如何随时间变化时面临严峻挑战。这一发现对于开发真正能够理解人类并与之自然互动的AI系统具有重要意义。

研究团队的工作为大语言模型的评估打开了一个新窗口，从静态评估转向动态评估，更贴近真实世界的社交互动本质。他们创建的DYNTOM基准不仅揭示了当前技术的局限，也为未来研究指明了方向：如何开发能够理解人类心理状态动态性质的更先进系统。这项研究对于改进客服机器人、心理健康助手等需要长期追踪用户心理状态的AI应用具有直接的实践意义。

尽管研究主要关注了大语言模型的能力评估，但研究人员也承认存在一些局限。例如，评估范围仅限于十个代表性模型，可能忽略了其他新兴开源模型和商业模型（如Claude）的见解。此外，研究仅使用了普通提示和链式思维提示两种方法，未来可以探索其他提示方法如think-twice、belief tracker和self-consistency等，以增强LLMs在真实社交情境中的ToM表现。

对于我们日常使用AI助手的普通人来说，这项研究提醒我们，当前的AI系统在理解持续对话中的情感变化和意图转变方面仍有很大提升空间。虽然它们可能在单次互动中表现得体，但在长期、连续的交流中，它们可能会"忘记"或误解之前的情感状态，导致互动体验不够自然或共情。

随着研究人员继续探索和改进这一领域，我们可以期待未来的AI助手能够更好地理解我们情绪的细微变化，记住我们过去的互动历史，并据此调整自己的回应，提供更加个性化、体贴的服务。DYNTOM基准测试为这一发展方向提供了宝贵的评估工具和研究基础。

有兴趣深入了解的读者可以通过论文编号arXiv:2505.17663v1查阅完整研究内容，研究团队也在GitHub和HuggingFace上公开了DYNTOM数据集和评估代码，供社区使用和进一步研究。