仅需9美元：南加州大学团队开发"超小型"推理模型，挑战大型AI的成本壁垒

这项由南加州大学的Shangshang Wang、Julian Asilis、Omer Faruk Akgül、Enes Burak Bilgin、Ollie Liu和Willie Neiswanger共同完成的研究发表于2025年4月，论文名为"Tina: Tiny Reasoning Models via LoRA"。有兴趣深入了解的读者可以通过arXiv:2504.15777v1访问完整论文，相关代码和模型已在GitHub和Hugging Face平台开源。

在人工智能领域，有一个让普通用户头疼的问题：那些能够进行复杂推理的AI模型往往需要巨额的计算成本。就像想要一辆豪华跑车，却发现不仅买不起，连加油都负担不起一样。大多数能够解决数学问题、进行逻辑推理的AI模型都需要数百甚至数千美元的训练成本，这让很多研究人员和小型团队望而却步。

南加州大学的研究团队却提出了一个颠覆性的解决方案：他们开发出了一个名为"Tina"的AI模型家族，用仅仅9美元的成本就能训练出具有强大推理能力的AI模型。这就像找到了制造经济型轿车的方法，却能达到豪华车的性能表现。

研究的核心创新在于两个"微小"的设计理念。首先，他们选择了一个只有15亿参数的"迷你"基础模型，而不是那些动辄数百亿参数的庞然大物。其次，他们采用了一种叫做LoRA（低秩适应）的技术，这种技术只需要调整模型中极少数的参数，就像只需要更换汽车的几个关键零件，而不是重新制造整辆车。

更令人惊讶的是，这种"小而精"的方法不仅大幅降低了成本，在某些推理任务上的表现甚至超过了那些耗费巨资训练的大型模型。在数学竞赛题目测试中，Tina模型在AIME24数学竞赛中达到了43.33%的准确率，比原始基础模型提升了超过20%。

这项研究的意义远超技术本身。它证明了AI技术的普及不一定需要巨额投资，为更多普通研究者和小型团队打开了进入AI推理研究领域的大门。研究团队还慷慨地开源了所有代码、训练过程和模型权重，让任何人都能复现和改进他们的工作。

一、超小预算的大智慧：重新定义AI训练成本

传统的AI模型训练就像建造摩天大楼一样，需要大量的资源投入。以往那些能够解决复杂数学问题的AI模型，训练成本通常在数千美元甚至更高。这种高成本主要来源于两个方面：巨大的模型规模和全参数微调的训练方式。

研究团队却选择了一条截然不同的道路。他们从DeepSeek-R1-Distill-Qwen-1.5B这个只有15亿参数的基础模型开始，这个模型就像一个已经接受过良好基础教育的学生，虽然体量不大，但基础扎实。选择这样的模型并非随意决定，而是基于一个重要观察：小型模型在经过适当训练后，同样能够展现出令人印象深刻的推理能力。

更关键的创新在于训练方法的选择。传统方法需要调整模型的所有参数，就像要改造一栋房子时需要拆掉重建每一面墙。而LoRA技术则像是一位精明的装修师，只需要更换几个关键部件就能让整个房子焕然一新。具体来说，LoRA只需要训练模型中不到1%的参数，却能实现与全参数训练相媲美的效果。

研究团队在成本控制方面展现了令人叹服的精确性。他们使用两块NVIDIA L40S GPU进行训练，每小时成本约为1美元。通过巧妙的资源分配，他们让训练过程和推理过程共享GPU资源，虽然这可能稍微延长了训练时间，但大幅降低了硬件需求。最终，训练出最优Tina模型的总成本仅为9美元，这个数字甚至低于许多人一顿午餐的花费。

这种极低成本的实现并非偶然。研究团队采用了一种称为GRPO（群体相对策略优化）的强化学习算法，这种算法不需要额外的价值网络，进一步简化了训练过程。同时，他们故意避免了复杂的超参数调优过程，而是采用了已经验证有效的默认配置，这就像按照成熟的菜谱做菜，而不是每次都重新试验调料比例。

成本的革命性降低带来了深远的意义。过去，只有拥有充足资金的大型科技公司或研究机构才能负担得起高质量推理模型的训练。现在，即使是个人研究者或小型创业团队，也能以极低的成本获得强大的AI推理能力。这种民主化的趋势可能会催生更多创新应用，让AI技术真正走进千家万户。

二、小身材大能量：LoRA技术的巧妙运用

LoRA技术的运作原理可以用一个生动的比喻来理解。设想你有一架精密的钢琴，要让它演奏出不同风格的音乐，传统方法是重新调整每一根琴弦。而LoRA技术就像是在钢琴上加装一个精巧的调音装置，只需要调节这个装置的几个旋钮，就能让整架钢琴演奏出全新的风格。

在技术层面，LoRA通过在原始模型的基础上添加两个小型矩阵来实现参数更新。这两个矩阵的乘积产生的调整量会加到原始权重上，从而改变模型的行为。这种设计的巧妙之处在于，这两个矩阵的参数数量极少，通常只占原始模型参数的不到1%，但却能产生显著的性能提升。

研究团队发现，LoRA在推理任务中表现出了特殊的适应性。他们观察到一个有趣的现象：LoRA似乎特别擅长学习推理任务的输出格式和结构，而不是改变模型的基础知识。这就像教一个已经很有学问的人如何更好地表达自己的想法，而不是教给他全新的知识。

这种特性在训练过程中表现得尤为明显。研究团队通过分析训练日志发现，LoRA模型在训练过程中会经历一个明显的"格式适应期"。在这个阶段，与输出格式相关的指标会发生急剧变化，而准确性指标则相对稳定。这种现象表明，LoRA主要在学习如何以正确的方式组织和呈现推理过程，而不是重新学习基础的数学或逻辑知识。

更有趣的是，研究团队发现最佳性能通常出现在格式适应期结束之前。这就像学习书法时，在掌握了基本笔画之后，过度练习反而可能影响字体的自然美感。因此，及时停止训练成为了获得最佳模型的关键。

LoRA的另一个优势是模块化特性。由于LoRA只是在原始模型基础上添加的小型组件，可以轻松地在不同任务之间切换，而无需维护多个完整的模型副本。这就像拥有一套基础工具和多个专用附件，可以根据需要随时组装出不同功能的设备。

在实际应用中，LoRA的这种设计理念可能预示着AI模型开发的新方向。未来，我们可能会看到更多"基础模型+专用适配器"的组合方案，这不仅能降低存储和计算成本，还能让AI系统更加灵活和高效。

三、推理能力的精准测试：六大数学竞赛的全面考验

为了验证Tina模型的推理能力，研究团队选择了六个极具挑战性的数学和科学推理基准测试。这些测试就像给AI模型安排了一场全方位的智力体检，从不同角度考察其推理能力的深度和广度。

AIME（美国数学邀请赛）可以说是这次测试中的"王牌考试"。这项竞赛的题目通常需要多步复杂推理，涉及代数、几何、数论和组合数学等多个领域。研究团队选择了2024年和2025年的AIME题目进行测试，每套试卷包含30道高中级别的数学难题。在这项测试中，最优的Tina模型达到了43.33%的准确率，相比基础模型的23.33%有了显著提升。

AMC（美国数学竞赛）则提供了另一个重要的测试维度。这项竞赛的40道题目混合了逻辑推理和符号操作任务，要求模型不仅要有数学计算能力，还要具备灵活的问题解决策略。Tina模型在AMC23测试中达到了82.5%的高分，展现出了在多样化数学问题上的强大适应性。

MATH500基准测试则像是一场数学马拉松，包含了500道来自各种竞赛的数学题目，覆盖不同难度级别。这些题目往往需要多步推导和复杂计算，是对模型持续推理能力的严峻考验。Tina模型在这项测试中的表现同样令人印象深刻，达到了87%的准确率。

GPQA（研究生级别问答）测试则将难度提升到了博士水平。这个基准包含198道涵盖生物学、化学和物理学的高难度科学问题，每道题都设置了巧妙的干扰选项。这就像给AI模型安排了一场博士入学考试，考察其在专业科学领域的推理深度。

Minerva基准测试提供了本科级别的跨学科挑战。其272道定量推理题目横跨物理、生物、化学和经济学等多个STEM领域，经常需要数学建模或计算步骤。这项测试特别考验模型在不同学科间知识迁移和应用的能力。

为了确保测试结果的公平性和可比性，研究团队对所有基准模型进行了重新评估。他们统一使用lighteval框架结合vLLM推理引擎，保持相同的硬件配置和推理参数。这种标准化的评估方法就像在相同的实验室条件下进行对比实验，确保了结果的可靠性。

测试结果显示，Tina模型不仅在多数基准上达到了与全参数训练模型相媲美的性能，在某些情况下甚至超越了后者。更重要的是，这种性能是在极短的训练时间内实现的——大多数Tina模型只完成了不到一个完整训练周期就达到了最佳性能。

四、训练过程的奇妙发现：格式学习与知识保持的平衡艺术

在深入分析Tina模型的训练过程时，研究团队发现了一个令人着迷的现象，这个发现可能会改变我们对AI学习机制的理解。他们观察到，LoRA在强化学习过程中表现出了一种独特的"相变"现象，就像水在特定温度下从液体突然变成气体一样。

通过仔细分析训练日志，研究人员发现训练过程可以明确分为两个阶段。在第一阶段，模型主要学习如何以正确的格式输出推理过程。这个阶段的特征是格式相关指标（如输出长度、格式奖励）发生剧烈变化，而准确性指标相对稳定。这就像学习写作时，先要掌握文章的基本结构，再逐步提升内容质量。

更有趣的是，最佳模型性能几乎总是出现在这个格式学习阶段的末期，而不是在准确性指标看似更高的后期阶段。这个发现挑战了传统的"训练时间越长，效果越好"的观念。实际上，过度训练不仅浪费资源，还可能损害模型性能。

研究团队提出了一个引人深思的假设来解释这种现象。他们认为，LoRA的高效性源于其专注于"格式适应"而非"知识重建"的特性。基础模型已经包含了丰富的数学和逻辑知识，LoRA的作用更像是教会模型如何更好地组织和表达这些知识，而不是从头学习新知识。

这种假设得到了多项观察证据的支持。首先，LoRA模型在训练过程中表现出的计算成本与性能关系呈现出一种独特的"少即是多"模式。与全参数训练模型不同，LoRA模型的性能随着训练计算量的增加反而可能下降，这表明它们确实在进行着不同性质的学习过程。

另一个支持这一假设的证据来自对不同LoRA配置的对比实验。研究团队测试了多种LoRA参数设置，包括不同的秩值（4、8、16、32、64）和学习率。结果显示，中等规模的配置（如秩16或32）往往表现最佳，这符合"适度调整"比"大幅改动"更有效的预期。

训练算法的选择也提供了有趣的洞察。研究团队比较了GRPO和Dr.GRPO两种强化学习算法，发现Dr.GRPO能够更快地达到最佳性能，但最终性能水平相似。这进一步支持了"格式适应"假设——不同算法的主要差异在于学习速度，而非最终能达到的性能上限。

数据量的影响也验证了这一理论。令人惊讶的是，在仅有7000个样本的小型数据集上训练的模型，性能竟然超过了在94000个样本的大型数据集上训练的模型。这种反直觉的结果表明，对于格式学习来说，数据质量和多样性比数据量更为重要。

这些发现对AI模型训练具有深远的意义。它们暗示，未来的模型开发可能会更多地采用"通用基础模型+专用适配器"的模式，而不是为每个任务从头训练完整模型。这不仅能大幅降低成本，还可能带来更好的性能和更强的可解释性。

五、成本革命的深层影响：AI民主化的里程碑

Tina项目最震撼人心的成就，或许不在于其技术突破本身，而在于它所代表的成本革命对整个AI生态系统可能产生的深远影响。当训练一个高质量推理模型的成本从数千美元降低到9美元时，这不仅仅是一个数字的变化，而是一次真正的范式转换。

这种成本降低的意义可以从多个维度来理解。对于个人研究者来说，9美元的成本意味着他们可以进行多次实验而不用担心预算限制。过去，一次失败的实验可能意味着数百美元的损失，现在即使进行50次尝试，总成本也不到500美元。这种变化释放了创新的潜能，让更多有想法但缺乏资源的研究者能够参与到AI推理研究中来。

对于教育机构而言，这种成本革命同样具有变革性意义。一个计算机科学系现在可以让每个学生都训练自己的推理模型，而不是只能通过理论学习或使用预训练模型。这就像从观看烹饪节目转变为亲自下厨房，学生们能够获得真正的动手经验。

更重要的是，这种成本降低可能会催生全新的商业模式和应用场景。小型创业公司现在可以快速验证他们的AI推理想法，而不需要大量的前期投资。这可能会导致AI应用的百花齐放，从专门针对特定行业的推理工具到个性化的学习助手，各种创新应用都变得触手可及。

研究团队在开源方面的慷慨态度进一步放大了这种影响。他们不仅公开了所有代码和模型权重，还详细记录了训练过程和实验结果。这种完全透明的做法就像在建造一座桥梁，让其他研究者可以站在他们的肩膀上继续前进。

成本效益的提升还可能改变企业对AI技术的采用策略。过去，许多中小企业因为成本考虑而对AI推理技术望而却步。现在，他们可以以极低的成本试验和部署定制化的推理解决方案，这可能会加速AI技术在传统行业中的普及。

然而，这种成本革命也带来了新的挑战和思考。当AI推理技术变得如此廉价和易得时，我们需要更加关注其使用的伦理和安全问题。就像当摄影技术从昂贵的专业设备普及到人人都有的手机摄像头时，社会需要适应新的现实并制定相应的规范。

从技术发展的角度来看，Tina项目可能预示着AI研究的一个重要趋势：从追求模型规模的竞赛转向追求效率和可访问性的竞赛。这种转变可能会推动更多关于模型压缩、高效训练和智能优化的研究，最终使AI技术真正成为普惠技术。

六、技术细节的巧思：GRPO算法与参数优化的艺术

在Tina项目的技术架构中，GRPO（群体相对策略优化）算法的选择体现了研究团队对效率和简洁性的极致追求。这个算法的工作原理可以用一个团队项目的比喻来理解：相比传统的PPO算法需要一个独立的"评判员"来评估每个成员的表现，GRPO让团队成员互相比较，从中学习改进。

具体来说，GRPO在每次训练时会生成一组候选答案，然后通过比较这些答案的质量来计算优势函数。这种设计消除了对额外价值网络的需求，不仅简化了算法架构，还减少了内存使用和计算复杂度。对于资源受限的训练环境，这种简化带来的效益是显著的。

在参数配置方面，研究团队展现了务实的智慧。他们没有陷入复杂的超参数搜索，而是采用了已经在类似任务中验证有效的默认配置。这种做法的背后是一个重要认识：在资源有限的情况下，使用经过验证的稳定配置比追求理论上的最优配置更为明智。

LoRA的参数设置同样体现了这种平衡艺术。研究团队选择了32的秩值和128的缩放因子，这个组合在参数效率和表达能力之间找到了最佳平衡点。通过对比实验，他们发现过高的秩值（如64）反而可能导致过拟合，而过低的秩值（如4）则限制了模型的适应能力。

训练过程中的批次大小和学习率调度也经过了精心设计。32的批次大小既能保证训练稳定性，又不会给有限的GPU内存造成过大压力。余弦学习率调度则确保了训练过程的平滑收敛，避免了学习率突变可能带来的不稳定性。

特别值得注意的是，研究团队在硬件利用方面的创新思路。他们让训练进程和推理引擎共享GPU资源，通过限制vLLM的内存使用来为训练腾出空间。虽然这种做法可能稍微延长了训练时间，但大幅降低了硬件需求，使得普通研究者也能复现他们的工作。

奖励函数的设计也体现了深思熟虑的平衡。不同任务采用了不同的奖励组合，比如数学推理任务结合准确性奖励和格式奖励，而某些任务还加入了长度控制和推理步骤奖励。这种多维度的奖励设计确保了模型不仅能给出正确答案，还能以合适的格式和长度呈现推理过程。

在数据处理方面，研究团队展现了对质量胜过数量原则的深刻理解。他们发现，在精心筛选的小型数据集上训练往往比在大型但质量参差不齐的数据集上训练效果更好。这个发现对于资源有限的研究者具有重要指导意义——与其追求海量数据，不如专注于数据质量的提升。

七、实验结果的全景分析：数据背后的深层洞察

Tina项目的实验结果不仅在数字上令人印象深刻，更重要的是这些结果背后揭示的深层规律和洞察。通过对大量实验数据的细致分析，研究团队发现了一些颠覆传统认知的重要发现。

在基准测试的表现上，Tina模型展现出了令人惊讶的一致性和稳定性。尽管不同的Tina变体在训练数据和配置上存在差异，但它们在多数基准测试中都达到了48-51%的平均分数范围。这种一致性表明，LoRA方法具有某种内在的稳定性，不容易因为参数调整而产生剧烈的性能波动。

更有趣的发现来自于训练效率的对比。最佳的Tina模型通常在完成不到60%的一个训练周期时就达到了峰值性能。这种现象在多个不同的数据集和配置中都得到了验证，表明这不是偶然现象，而是LoRA学习模式的内在特征。

数据集规模与性能的关系也揭示了有趣的模式。在7000个样本的Open-RS数据集上训练的模型，性能超过了在94000个样本的OpenR1数据集上训练的模型。这个结果强烈支持了"质量胜过数量"的观点，也为资源有限的研究者提供了重要指导。

算法选择的影响分析同样富有启发性。GRPO和Dr.GRPO在最终性能上差异不大，但Dr.GRPO能够更快地达到最佳性能点。这种差异表明，对于LoRA训练来说，收敛速度可能比最终性能上限更为重要，因为过度训练反而可能有害。

学习率的敏感性分析显示了LoRA方法的鲁棒性。在5×10^-7到5×10^-6的学习率范围内，模型性能都保持在相对稳定的水平。这种对超参数的不敏感性是LoRA方法的一个重要优势，使得研究者无需花费大量时间进行超参数调优。

LoRA秩值的影响研究揭示了参数效率的微妙平衡。秩值16到32的配置表现最佳，而更高的秩值（64）反而可能导致性能下降。这个发现支持了"适度调整"优于"大幅改动"的理论，也为实际应用提供了明确的配置指导。

训练动态的分析可能是最有价值的发现之一。通过观察不同指标在训练过程中的变化模式，研究团队识别出了明确的"格式学习阶段"。在这个阶段，与输出格式相关的指标会发生急剧变化，而准确性指标保持相对稳定。这种现象的一致性表明，LoRA确实在进行着与传统全参数训练不同的学习过程。

成本效益分析显示了Tina方法的真正革命性。不仅单次实验成本极低，而且由于训练速度快，研究者可以在相同预算内进行更多次实验。这种迭代能力的提升可能比单次实验成本的降低更有价值，因为它允许更充分的探索和优化。

八、开源贡献与社区影响：知识共享的典范

Tina项目在开源方面的贡献堪称学术界知识共享的典范。研究团队不仅公开了完整的源代码，还提供了详细的训练日志、评估脚本和所有模型检查点。这种全方位的开放态度就像建造了一座知识的桥梁，让任何感兴趣的研究者都能够无障碍地访问、理解和改进他们的工作。

代码仓库的组织体现了研究团队对用户体验的深度关注。他们将代码托管在GitHub上，提供了清晰的文档和使用示例。所有的训练脚本都经过了精心注释，即使是初学者也能够理解每个步骤的作用。这种用户友好的设计大大降低了技术门槛，让更多人能够参与到这一领域的研究中来。

训练日志的公开可能是这个项目最有价值的贡献之一。通过Weights & Biases平台，任何人都可以查看完整的训练过程，包括各种指标的实时变化、资源使用情况和超参数配置。这种透明度不仅有助于结果的可重现性，还为其他研究者提供了宝贵的调试和优化参考。

模型权重和检查点的开放进一步放大了这一贡献的影响。研究团队通过Hugging Face平台提供了所有训练好的模型，用户可以直接下载使用，而无需重新训练。这就像提供了现成的工具，让研究者可以直接在此基础上进行进一步的研究和应用开发。

评估框架的标准化也是一个重要贡献。研究团队提供了统一的评估脚本和基准测试流程，确保不同研究之间的结果可以进行公平比较。这种标准化努力对于推动整个领域的发展具有重要意义，避免了因为评估方法不同而导致的结果差异。

社区反响已经证明了这种开放策略的价值。自项目发布以来，已有多个研究团队基于Tina的工作进行了扩展研究，涵盖了不同的应用领域和技术改进。这种衍生研究的蓬勃发展正是开源项目成功的最好证明。

更重要的是，Tina项目的开源策略可能会设立一个新的标准，鼓励更多研究团队采用类似的开放态度。在人工智能研究日益商业化的今天，这种对知识共享的坚持显得尤为珍贵。它提醒我们，科学进步的最终目标是造福全人类，而不是少数人的专利。

项目的可重现性设计也值得特别称赞。研究团队提供了详细的环境配置说明、依赖库列表和运行步骤，任何人都可以在自己的计算环境中完全重现他们的结果。这种对可重现性的重视体现了严谨的科学态度，也为学术界树立了良好的榜样。

九、未来展望与技术演进：AI研究的新方向

Tina项目的成功不仅仅是一个技术突破，更可能预示着AI研究领域的一个重要转折点。它所展现的"小而精"理念可能会引发整个领域从"大即是美"向"效率为王"的范式转换。

这种转换的深层意义在于，它可能会改变我们对AI能力来源的理解。传统观念认为，更强的AI能力需要更大的模型和更多的数据。但Tina项目表明，通过巧妙的方法设计，小型模型同样可以在特定任务上达到令人瞩目的表现。这种发现可能会激发更多关于"智能的本质"的思考和研究。

从技术发展趋势来看，Tina所代表的参数高效训练方法可能会成为未来AI研究的主流方向之一。随着模型规模的不断增长，全参数训练的成本已经成为许多研究者和机构的沉重负担。LoRA及其后续改进版本可能会为这个问题提供可持续的解决方案。

在应用层面，低成本的推理模型训练可能会催生全新的商业生态。小型企业和个人开发者现在可以负担得起定制化AI解决方案的开发成本，这可能会导致AI应用的爆发式增长。从个性化教育助手到专业领域的决策支持系统，各种创新应用都变得触手可及。

教育领域可能是最直接的受益者之一。当AI模型训练的成本降低到几美元时，学生们可以在课堂上亲自训练和实验不同的模型，而不仅仅是学习理论知识。这种动手实践的机会可能会培养出新一代具有深度AI理解能力的人才。

对于发展中国家和资源有限的研究机构，Tina项目提供了参与全球AI研究竞争的新机会。过去，由于计算资源的限制，这些机构往往只能处于AI技术的接受端。现在，他们可以以极低的成本开发自己的AI解决方案，甚至在某些特定领域实现技术突破。

然而，这种技术普及也带来了新的挑战。当AI开发变得如此容易和廉价时，我们需要更加关注AI系统的安全性、可靠性和伦理使用问题。监管框架和技术标准需要跟上技术发展的步伐，确保AI技术的普及不会带来意想不到的风险。

从研究方法论的角度来看，Tina项目展示了"约束激发创新"的价值。正是因为研究团队给自己设定了极低成本的约束条件，他们才被迫寻找更加高效和巧妙的解决方案。这种思路可能会启发更多"在约束中求创新"的研究项目。

长远来看，Tina所代表的高效AI训练方法可能会推动整个行业向更加可持续的方向发展。当AI研究不再需要消耗巨额能源和计算资源时，这个领域的环境影响将大大降低，也更容易获得社会的广泛支持和认可。

说到底，Tina项目最大的贡献可能在于它证明了一个简单而深刻的道理：创新往往来自于巧思而非蛮力，来自于智慧而非资源。在AI技术日益成为社会基础设施的今天，这种理念的价值怎么强调都不为过。它提醒我们，真正的技术进步应该让更多人受益，而不是加深数字鸿沟。

Tina项目就像在AI研究的高墙上开了一扇门，让更多有想法但缺乏资源的研究者能够进入这个领域。这种技术民主化的推进，可能会为AI的未来发展带来意想不到的惊喜和突破。毕竟，历史告诉我们，最具革命性的创新往往来自于那些看似不起眼的小角落，而不是那些资源充沛的大实验室。

Q&A

Q1：Tina模型真的只需要9美元就能训练吗？这个成本是如何计算的？ A：是的，训练最优Tina模型的确只需要约9美元。这个成本包括训练和评估两部分：使用两块NVIDIA L40S GPU（每小时1美元）进行训练，由于采用了LoRA技术只需训练极少数参数，加上高效的GRPO算法，整个过程只需几个小时。研究团队详细记录了所有计算资源使用情况，确保成本计算的准确性。

Q2：LoRA技术为什么能用这么少的参数就达到好效果？ A：LoRA的核心思想是"格式学习而非知识重建"。基础模型已经具备了丰富的数学和逻辑知识，LoRA主要教会模型如何更好地组织和表达这些知识，而不是重新学习。就像教一个博学的人如何更好地表达观点，而不是教给他全新的知识。因此只需要调整不到1%的参数就能显著提升推理能力。

Q3：Tina模型的性能真的能和大型模型相比吗？在什么情况下表现最好？ A：在数学推理任务上，Tina模型的确能达到与同等基础模型的全参数训练版本相媲美甚至更好的性能。在AIME24测试中达到43.33%准确率，比基础模型提升超过20%。不过需要注意的是，Tina主要在特定的推理任务上表现优异，对于需要广泛知识的复杂任务，大型模型仍有优势。它最适合用于数学、逻辑推理等有明确答案的任务。