大语言模型合成高质量数据：麦吉尔大学研究团队打造智能统计引导框架

在当今的数字时代，高质量的合成数据已成为研究、创新和政策制定的关键推动力，特别是在隐私保护、法律限制或物流障碍使真实数据难以获取的情况下。麦吉尔大学的唐义宏（Yihong Tang）、孔梦林（Menglin Kong）和孙立军（Lijun Sun）教授团队最近在预印本平台arXiv上发表了一项突破性研究"Large Language Models for Data Synthesis"（大语言模型用于数据合成），论文于2025年5月20日提交，目前正在审核中。这项研究提出了一种名为LLMSYNTHOR的创新框架，利用大语言模型（LLMs）的强大能力来生成高质量的合成数据。研究团队已将相关代码开源在GitHub上，供研究社区使用和验证。

想象一下，如果你在玩拼图游戏，但手中的拼图不是固定形状的，而是能够根据需要自由变形。传统的数据合成方法就像是用固定形状的拼图试图重现一幅画作，往往无法完美还原原画的复杂细节。而LLMSYNTHOR则像是拥有了一支"魔法画笔"，能够精准捕捉并重现数据的统计特性，就像艺术家能够精确复制名画的笔触和色彩一样。

在数据分析领域，传统的数据合成方法通常依赖强参数假设或需要手动设计结构，在处理高维度或异构数据时往往力不从心。虽然深度学习模型在捕捉非线性结构方面取得了进展，但它们训练不稳定，控制性有限，并且难以在不同数据格式之间泛化。与此同时，大型语言模型在近年来展现出作为灵活、高维度先验分布的潜力，但当应用于数据合成时，标准的LLM采样效率低下，受到固定上下文长度的限制，并且无法确保统计一致性。

研究团队提出的LLMSYNTHOR框架巧妙地将LLM转变为由分布反馈引导的结构感知模拟器。这个框架将LLM视为一个非参数copula模拟器，用于建模高阶依赖关系，并引入了"LLM提案采样"（LLM Proposal Sampling）机制，生成扎实的提案分布，提高采样效率，同时无需使用拒绝采样。通过在摘要统计空间中最小化差异，迭代合成循环逐步对齐真实和合成数据，同时逐渐发现并精炼潜在的生成结构。

为了验证LLMSYNTHOR的实用性，研究团队在电子商务、人口和移动性等隐私敏感领域的异构数据集上进行了测试。结果显示，LLMSYNTHOR生成的合成数据具有高度的统计保真度、实际效用和跨数据适应性，使其成为经济学、社会科学、城市研究等多个领域的宝贵工具。

让我们深入了解这项突破性研究的细节，看看LLMSYNTHOR如何改变我们合成高质量数据的方式。

一、研究背景与挑战

在当今数据驱动的世界中，高质量的合成数据就像是研究者和政策制定者的"秘密武器"。想象你是城市规划师，需要模拟紧急情况下的人群疏散方案，但又不能使用真实的个人移动轨迹数据以保护隐私。这时，能够准确反映真实人群移动模式的合成数据就显得尤为珍贵。

麦吉尔大学的研究团队在论文开篇就指出，高质量的合成数据对于研究、创新和政策制定至关重要，特别是在隐私、法律或物流限制真实数据获取的情况下。当这些合成数据在统计上忠实地反映真实情况时，它们可以支持有意义的分析而不会泄露敏感信息。在复杂的高维度领域（如人类移动性）尤其如此，这些领域的详细数据对城市规划和基础设施设计至关重要，但同时也带来严重的隐私风险。

传统的数据合成方法就像是用固定的模具制作工艺品，虽然可以大批量生产，但难以捕捉精细的细节。这些方法包括参数模型和基于规则的模拟器，它们虽然提供了可解释性和控制性，但依赖强假设，且难以扩展到复杂的依赖关系或高维度数据。比如，传统统计方法就像用一把老式尺子测量一个不规则形状的湖泊面积，只能得到粗略的近似值。

而深度生成模型，如GAN、VAE和扩散模型，则像是更先进的建模工具，能够捕捉非线性结构，但它们在训练上不稳定，控制性有限，且在不同格式之间的泛化能力差。研究团队总结道，大多数现有方法都紧密耦合到特定数据类型，需要重新训练或手动适应新领域，这限制了它们的实用性。就像一个只会弹奏古典音乐的钢琴家，遇到爵士乐就束手无策。

研究团队提供了一个清晰的对比表，展示了不同合成数据生成方法之间的权衡，突出了缺乏一个统一的、分布感知的合成框架，该框架应该是格式无关的、可扩展的且健壮的。这些限制呼吁一种新方法，它能够统一高容量生成先验与显式统计对齐、高效采样和跨域适用性。

近期大语言模型（LLMs）的进展提供了一个新方向。这些在多样化、大规模语料库上预训练的模型展示了强大的结构先验，能够在零样本设置中生成语义连贯的数据。就像一个博学多才的讲故事高手，能够根据几个关键词构建出完整、连贯的故事。这使它们成为合成数据生成的理想通用先验。然而，标准的LLM采样仍然存在根本限制：它缺乏全局分布对齐，生成样本效率低下且相互独立，并且由于上下文长度限制而无法生成大型数据集。这些限制阻止了LLM作为可靠的统计对齐合成工具的应用。

二、LLMSYNTHOR：架构创新与工作原理

为了应对上述挑战，研究团队提出了LLMSYNTHOR，这是一个将大语言模型重新定位为结构感知模拟器的通用框架，嵌入在分布引导的推理循环中。想象LLMSYNTHOR就像一位经验丰富的厨师，不只是按照食谱机械地烹饪，而是能够根据食材的特性和客人的口味偏好不断调整烹饪过程，最终做出令人满意的菜肴。

LLMSYNTHOR的核心创新在于将LLM视为一个非参数copula模拟器，捕捉潜在依赖关系并支持边缘和联合对齐。它不是直接从模型采样，而是利用摘要统计来指导生成过程。为了实现跨域使用，LLMSYNTHOR将连续和离散变量映射到统一的、类型无关的摘要空间，允许对统计结构进行可解释的比较。这确保了在不同数据类型上的一致性能，无需重新训练或重新设计。

为了提高效率，研究团队引入了"LLM提案采样"，其中LLM输出结构化、可采样的分布，而不是单个记录。这就像厨师不是一次只做一道菜，而是设计整个菜单并指导团队同时准备多道菜肴。为了克服上下文限制并确保全数据集覆盖，他们实现了一个迭代细化过程，使用真实和合成数据在统一摘要空间中的差异信号来指导生成。这一理论基础的机制使得可扩展、类型无关的生成能够跨结构化和非结构化格式，无需重新训练。

LLMSYNTHOR统一了LLM的语义灵活性与严格的统计控制，实现了细粒度、高保真度的跨域合成。它支持分布对齐、结构感知泛化和无拒绝采样，构成了一个灵活且可扩展的框架。

让我们详细了解LLMSYNTHOR的工作原理。该方法通过迭代合成循环进行，由四个关键阶段组成：

首先是统计汇总阶段。给定数据集D（真实或合成），计算其摘要统计s(D)，包括所有边缘统计和推断的联合统计，这些共同代表结构信号并作为比较基础。这就像医生不仅测量患者的体温和血压，还要考虑这些指标之间的关系，以获得全面的健康状况图像。

第二阶段是依赖推断。这将LLM建模为非参数copula模拟器，推断联合结构组件C = {c1, c2, ...}，其中每个ci指定相关变量的子集。这相当于识别数据中的潜在模式和关系，就像侦探寻找案件中的关键线索。

第三阶段是结构建立。比较真实和合成数据的摘要统计，使用差异函数Q(·, ·)，产生差异信号δ = Q(s(Dsynth), s(Dreal))，并使用δ来建立生成过程。这就像园丁根据植物的生长状况调整浇水和施肥方案。

最后是LLM提案采样。以C、s(Dreal)和δ为条件，LLM生成一组提案分布{π(i)}ki=1。从这些分布中抽取的样本被合并到合成数据集Dsynth中，用于下一次迭代。这类似于厨师根据顾客反馈调整菜谱，以提高下一轮烹饪的质量。

整个过程通过直接最小化摘要统计空间中的差异来细化和丰富Dsynth，产生忠实反映真实数据集Dreal统计分布的合成数据。

在更详细的层面上，LLMSYNTHOR解决了明确的问题定义。我们观察到的真实世界数据集表示为Dreal = {xi}ni=1，其中每个样本xi包含全局变量集V = {vj}|V|j=1的值，这些变量可能包括非结构化或嵌套字段。每个xi独立同分布地从潜在生成过程中抽取，xi ~ P(x | φ?)，φ? ∈ Φ，其中φ?表示管理数据生成的真实但未知结构参数。

由于生成模型的复杂性，似然函数P(x | φ)在分析上不可处理。然而，我们可以访问隐式生成模拟器Gφ，它由参数φ参数化，诱导模拟分布Pφ并允许抽取合成样本。目标是使用模拟器Gφ生成合成数据集Dsynth = {xj}mj=1，使Dsynth的分布紧密匹配Dreal的分布。

在LLMSYNTHOR框架中，Gφ被实例化为预训练的LLM，作为非参数模拟器，其行为隐式地由提示φ控制。在每次迭代中，基于当前的φ生成新的合成样本，并积累形成合成数据集Dsynth。每次迭代后，使用从Dreal和不断演变的Dsynth之间摘要统计的差异中获得的反馈更新φ，逐步引导合成数据向与真实数据在摘要统计空间中结构对齐，从而促进整体分布对齐。

为了实现有效的统计汇总，研究团队采用了一种类型无关的方法。对于连续变量，他们提取具有分位数范围的经验矩。对于离散变量，他们计算频率表。他们还使用适当的分箱策略为连续变量计算联合频率分布，以捕捉混合变量之间的联合依赖关系。这保证了汇总过程是可扩展的、类型无关的、完全自动化的，同时仍然适用于异构的真实世界数据，可被LLM解释，并为下游结构推断提供信息。

研究团队在理论上证明，在温和条件下，所提出的迭代程序逐步减少合成和真实数据之间的局部结构差异。他们定义了一组假设，确保算法的收敛性和统计一致性，并提供了详细的证明，展示了LLMSYNTHOR如何实现局部结构一致性。

三、实验验证：三大应用场景下的表现

为了证明LLMSYNTHOR的实用性，研究团队设计了三个实际任务，涵盖不同的数据格式、内在分布和科学领域。所有实验都使用相同的提示和代码，它们不直接用作数据接口。除非另有说明，实验使用OpenAI的GPT-4.1-nano模型在聊天完成模式下进行。

第一个任务是电子商务交易合成。电子商务交易数据包含连续和离散变量，具有复杂的依赖关系。这些数据在经济上非常有价值，支持动态定价、推荐和欺诈检测等应用。为了评估LLMSYNTHOR的可控性和保真度，研究团队构建了一个基于已知概率过程的完全合成任务。

想象一个电子商务平台，需要测试新的推荐算法，但又不能使用真实客户数据以免侵犯隐私。LLMSYNTHOR可以生成行为与真实用户相似的"虚拟客户"数据，帮助平台优化算法而不触及敏感信息。

在这个受控环境中，每个合成交易都是从六个变量的封闭形式贝叶斯网络中抽样的：{vA, vG, vL, vC, vX, vM}，分别代表用户年龄、性别、位置层级、产品类别、价格和支付方式。生成过程遵循结构化的概率图模型，联合分布因式分解为p(vA, vG, vL, vC, vX, vM) = p(vA) p(vG) p(vL) p(vC | vA, vG) p(vX | vC) p(vM | vL)。这种设置使得可以精确控制依赖结构，并允许严格评估每个模型捕捉边缘和条件分布的能力。

研究团队生成了2000个样本的参考数据集作为合成的目标分布。所有模型都在相同的数据上训练和评估，使用多个随机种子报告平均性能。他们将LLMSYNTHOR与代表主要生成范式的基线进行比较：TVAE和CTGAN（基于VAE和GAN的模型）；CopulaGAN（具有基于copula的依赖建模的GAN）；GReaT（用于表格生成的自回归Transformer）；以及TabSyn（基于扩散的模型）。这些方法涵盖了多种归纳偏置，作为评估保真度和可控性的强基线。为公平比较，他们对基线应用拒绝采样以确保样本的真实性，而LLMSYNTHOR不需要这种后处理。

研究团队从两个角度评估合成数据质量：统计保真度和下游效用。他们报告了边缘和联合分布度量，评估每个模型如何保持个体变量分布和结构化依赖关系。他们使用Wasserstein距离（W）用于连续变量，总变异距离（TVD）用于离散变量，以及分类器双样本测试（C2ST）Gap（|acc - 0.5|）作为通用目的的散度度量。基于真实贝叶斯网络选择联合子集。

结果令人印象深刻。LLMSYNTHOR在几乎所有统计指标上都优于基线方法，显示出最低的散度和间隙分数。具体来说，在连续变量（如价格）上，LLMSYNTHOR的Wasserstein距离显著低于其他方法，表明它能更准确地捕捉分布形状。在离散变量（如性别、位置和产品类别）上，它也实现了最低的总变异距离，证明了对类别分布的精确建模能力。

研究团队还评估了合成数据的实际效用。他们引入了两个基于经济理论的派生变量：折扣倾向（基于需求价格弹性）和生命周期价值段（客户生命周期价值的简化代理）。这些变量的完整定义在论文附录中提供。他们在每种方法生成的数据上训练逻辑回归、决策树和随机森林模型。结果显示，LLMSYNTHOR生成的数据在泛化到真实数据方面表现最好，证明了其高保真度和效用。

第二个任务是人口合成。人口合成生成真实的微观数据，保留人口统计和家庭属性的联合分布。这对交通规划、城市模拟和政策分析等应用至关重要，在这些应用中需要真实人口数据的隐私保护替代品。

想象一个城市规划团队需要评估新建社区对不同年龄段和收入水平居民的影响。使用LLMSYNTHOR生成的合成人口数据，他们可以模拟各种人口群体的行为模式，而不需要收集可能引发隐私担忧的真实居民数据。

研究团队使用美国社区调查（ACS）的人口微观数据，专注于南加州的家庭。数据集包括家庭和个人级别的属性，由于家庭规模不同，导致非结构化记录。预处理后，他们获得了约15,000个家庭的结构化数据集，包含九个关键变量。任务是生成保留人口统计和家庭特征联合分布的合成人口。

为了评估真实世界的效用，他们定义了16个政策相关查询，涵盖六个类别：公平、脆弱性、就业、家庭、人口统计和流动性。每个查询计算一个有意义模式的中位数或比例（例如，多代家庭的比例），作为分布保真度的代理。

研究团队将LLMSYNTHOR与一系列强大的人口合成基线进行比较：CP（应用非负张量分解并标准化为类别乘积的混合）；HMM（通过期望最大化（EM）估计的层次混合模型，使用潜在家庭和成员类别，以Dirichlet先验正则化的类别分布）；以及NVI（具有摊销神经编码器和Gumbel-Softmax重参数化的变分框架，通过随机梯度变分推断（SGVI）优化）。这些基线涵盖了经典张量方法、概率生成模型和深度学习方法，在保真度、可扩展性和结构感知合成方面提供了多样化的比较点。

结果显示，LLMSYNTHOR在每个类别中都实现了最低的相对误差，通常是以很大的优势。例如，在与公平相关的查询中，误差从4.23（HMM）降至0.25。人口统计、就业、流动性和脆弱性指标也出现了类似的提升。虽然LLMSYNTHOR并非在每个单独查询上都获得最佳结果，但它在大多数查询和每个聚合类别上都优于所有基线。这些发现证实了LLMSYNTHOR更准确地捕捉了真实人口数据中存在的高阶、非线性联合依赖关系，产生了具有优越实际效用的合成人口。

第三个任务是移动性合成。移动性合成生成真实的时空旅行和活动数据，同时保护隐私。这对城市应用如交通规划、需求预测和应急响应至关重要，在这些应用中真实移动轨迹的访问通常受到限制。

想象一个交通部门需要规划公共交通路线，但不想侵犯居民的出行隐私。LLMSYNTHOR可以生成反映真实城市移动模式的合成出行数据，帮助优化公交路线和班次，而不需要跟踪真实居民的移动。

研究团队通过整合两个互补的来源定义了移动性合成任务。从OpenPFLOW中，他们提取了一天的旅行记录（起点、终点、时间戳）并使用固定分布分配交通方式。由于OpenPFLOW缺乏活动标签，他们纳入了来自LLMob的时间-活动模式来建模跨源分布。这个任务评估了对齐异构时空和行为数据的能力。

由于现有方法在没有显著修改的情况下无法处理混合源合成，研究团队专注于定性评估。他们在东京生成了一天内的30,000次旅行，以匹配两个分布。

结果显示，LLMSYNTHOR生成的合成数据在三个视图上与真实移动性模式紧密匹配。在时间-活动热图中，合成数据准确捕捉了"交通与运输"的通勤高峰和"购物与服务"的中午上升。在早上6-9点，LLMSYNTHOR生成了更多的"食品"和"购物与服务"活动，这可能反映了LLM对早晨例行活动的先验知识。虽然这看起来像是一个限制，但这种偏差也可能揭示或纠正真实数据中的审查偏差。

在早高峰期（6-9点）的OD流强度热图中，合成旅行复制了关键的空间模式，匹配住宅和商业区域的高密度起点和终点区域。研究团队还演示了控制性移动性合成用于事件模拟。通过在东京巨蛋添加"将有一个从20-24点的音乐会"的提示，LLMSYNTHOR生成了到事件地点的旅行激增，紧密匹配真实世界模式，同时保留现实的背景流量。这证明了LLMSYNTHOR的可控性及其在隐私保护合成框架中进行"假设"情景规划的潜力。

四、讨论与未来展望

研究团队的实验证明，LLMSYNTHOR在不同领域始终实现高统计保真度、强结构对齐和实际效用。但就像任何突破性技术一样，LLMSYNTHOR也有其局限性和未来的发展方向。

首先，LLM编码了强行为先验，这有时可能引入与真实世界数据不一致的偏差。这类似于一位有着自己烹饪风格的厨师，即使按照食谱烹饪，也可能无意中加入个人风格。这种情况可以通过更严格的提示设计或在生成过程中移除语义线索来缓解。

其次，由于框架的性能取决于LLM的上下文窗口和推理能力，LLMSYNTHOR尚未很好地扩展到极高维度的设置（例如，具有数百或数千个变量的数据集）。不过，随着未来模型的进步，这一点将会改善。就像早期的智能手机存储容量有限，但随着技术发展，这一限制已经大大减轻。

第三，虽然LLMSYNTHOR对混合类型i.i.d.数据有效，但它不太适合感知数据或序列数据，如图像或时间序列。然而，它可以作为高级控制器来指导这些模态的领域特定生成器。就像一位艺术总监可能不亲自创作每幅画作，但可以指导专业画家团队创作出具有一致风格和质量的作品。

最后，虽然LLMSYNTHOR没有明确纳入差分隐私等正式隐私保证，但其合成过程基于对齐摘要统计，而不是记忆或复制个体记录，这本质上降低了直接重新识别和敏感数据暴露的风险。就像创建一个基于真实事件的小说，但改变了所有角色的名字和具体细节，以保护真实人物的隐私。

研究团队的工作为未来开辟了几个有希望的方向。随着语言模型的持续发展，LLMSYNTHOR框架的通用性和可扩展性将使更广泛的应用受益。未来的工作可能会探索将LLMSYNTHOR与特定领域的生成器集成，以处理更广泛的数据类型，或者纳入正式的隐私保护机制，进一步增强其在敏感领域的适用性。

五、结论：数据合成的新范式

在这项开创性研究中，麦吉尔大学的团队展示了LLMSYNTHOR如何将大型语言模型转变为能够产生高保真度、统计上可靠的合成数据的结构感知模拟器。通过统一LLM的语义丰富性和推理能力与严格的分布引导推理，LLMSYNTHOR克服了灵活性、统计对齐和可扩展性之间的长期权衡，这些权衡一直挑战着现有方法。

LLMSYNTHOR就像是一位既了解食材科学又精通烹饪艺术的大厨，能够根据特定需求和口味偏好创造出令人惊叹的菜肴。它不仅能制作出看起来像真实数据的合成数据，还能捕捉数据中复杂的统计关系和内在结构，使生成的数据在下游任务中表现出色。

跨电子商务、人口和移动性数据的结果证明了该模型在结构保真度和下游相关性方面的一致收益，突出了其作为支持数据驱动研究、模拟和政策制定的通用数据合成工具的潜力。这项工作为科学研究、政策制定和数据驱动创新领域开辟了新途径，在语言模型继续发展的同时，LLMSYNTHOR方法的通用性和可扩展性将为更广泛的应用赋能。

对于研究人员、政策制定者和数据科学家来说，LLMSYNTHOR提供了一个强大的工具，可以在保护隐私和遵守法规的同时，利用合成数据的力量。随着数据隐私法规变得更加严格，对高质量、统计上准确的合成数据的需求只会增加，使LLMSYNTHOR这样的创新框架在我们日益数据驱动的世界中变得更加宝贵。