
自从人工智能诞生以来,研究人员们一直试图通过让机器人与人类玩游戏来测试机器系统的智能水平。人们通常认为,人类智慧的一大标志,就在于具备创造性思考的能力——考虑多种多样的可能性,并在制定短期决策的同时牢记长期目标。如果计算机能够像人类一样解决困难的游戏,那么它们肯定可以处理更为复杂的任务。从上世纪五十年代出现的早期跳棋机器人,到如今得到深度学习技术加持的新AI,智能系统已经能够在国际象棋、围棋以及《DOTA》等游戏中击败全球顶尖人类选手。从这个角度来看,单纯依靠解决谜题的能力来判断机器智能水平的思路已经过时。要衡量AI的极限,我们还得找到更靠谱的方法。

因此,组织开发AI方案时采取的一大核心模式,正是目标驱动型系统模式。与其他AI模式一样,这种形式的AI能够解决一系列原本需要人类认知能力才能处理的常见问题。在这种特定模式下,机器的任务非常明确——找到解决问题的最佳途径。具体问题可能是找到顺利穿过迷宫的路径、优化供应链或者优化驾驶路线与空闲时间。无论实际需求如何,我们对AI系统的期望都是通过反复试验完成学习,并找到解决问题的最佳(即使直观度很低)方法。
强化学习与实验试错学习
强化学习是目前使用比例不高、但却最为有趣的机器学习形式之一。与监督学习方法(人类首先对数据做出标记,再由机器利用标记数据完成学习)或者无监督学习方法(由机器自主尝试对信息进行分组与聚类,借此完成学习)相反,强化学习主要通过实验试错的方式进行学习,并在迭代当中不断匹配环境反馈与总体目标,最终达成理想性能。
在不使用AI的情况下,组织需要依靠人类建立基于程序与规则的系统,借此指导软件与硬件系统的运作流程。程序与规则虽然能够有效管理资金、人员、时间以及其他多种资源类型,但往往存在严重的脆弱与僵化局限。这些系统的能力上限,被牢牢束缚在人类所制定规则的水平身上;换句话说,这类机器根本无法真正学习,而只是将人类智能以规则的形式重新理解,并借此保证系统的正常工作。
也正因为如此,目标驱动型系统才在需要进行资源优化的领域当中迸发出巨大的能量。
如此一来,尽管目标驱动型系统模式在普及度方面不及其他模式(例如识别、预测分析或者对话模式),但却在众多行业中显示出巨大的发展潜力。
除此之外,训练物理机器人、创造可指挥机器人行走及跳跃的算法等也都是目标驱动系统模式的理想施展舞台。
这些系统能够选择最佳试剂与反应参数,设计出所需产品,这种强大的能力也使其成为高度复杂的药物或治疗流程中的新型资产。
目标驱动型系统模式能否成为实现人工通用智能(AGI)的关键?
“通用智能”的概念类似于人类大脑,这意味着人工通用智能不再像当前已经存在的真实AI系统那样只能专注于狭窄的单一学习任务,而能够学习到一切知识并将经验心得从一个领域转移到另一个领域——期间无需进行大量重新训练。
从零开始,以提高胜率作为唯一目标,AlphaZero在多达100款测试游戏中均将AlphaGo斩于马下。
此外,人们还在利用这些技术开发强大的通用学习算法,也许人工通用智能领域的真正突破再有几年就会初现端倪。
很明显,单靠这样的暴力手段,我们永远不可能实现人工通用智能。
凭借着光明的发展前景,它也成为其中最有趣、最值得期待的模式之一。
好文章,需要你的鼓励
RGPO用"临时脚手架"破解大模型强化学习的奖励稀疏难题:先让模型独立解题,失败则分段放出标准解法引导重写,仅采纳经验证更优的答案。难题测试准确率从0跃至99.5%,语言模型平均分高出最强基线5.0分。
论文提出用MoE模型的路由器输出作为跨语言对齐目标,通过持续预训练对翻译句对施加路由KL散度损失,在不改变分词和架构的前提下让隐藏表示更接近,并在四个开源MoE模型、七种语言上验证了下游任务性能的一致提升。
DiffGate提出难度门控的教师指导机制,让验证器决定何时需要教师介入,仅对失败且困难的轨迹提供有界教师指导,结合GRPO强化学习,在数学与代码任务上显著提升解题覆盖率与跨领域迁移能力。
研究者用固定不变的16位二进制编码替代传统可训练词嵌入表,在17亿参数规模模型上训练1000亿token,证明模型仍可获得实质语言能力,揭示输入表并非必需,但性能略逊于可学习方案。