
泰坦尼克号沉没已经过去107年,这场悲剧与可持续农业、人口迁移问题或者健康保险费率等现代问题能有什么关系?这里给大家一点提示:数据证明。
无论是好是坏,现代世界正越来越多地利用算法识别数据中的模式,并根据这些模式做出预测。人们希望回答的问题是,“某个人能否在泰坦尼克号的沉没中幸存下来?”而这个问题的基本分析方法,与“最有可能的人口迁移途径是什么?”完全一致。
▲ 图:2007年5月16日星期三,英国伦敦南肯辛顿的拍卖行以5万英镑(约合9万9300美元)的价格售出了幸存者Laura Mabel Francatelli曾使用过的泰坦尼克号救生圈。
历史悠久的问题
基于泰坦尼克号数据集,以预测海上生存概率,一直是众多胸怀抱负的数据科学家以及程序员的标准实践问题。
这是一个基本的挑战:将一部分泰坦尼克号乘客名单添加至算法,其中描述每位乘客及其特性的一些基本变量。根据这些数据,算法应能够提出相关结论,说明哪些变量决定某个人在1912年4月那个寒冷的夜晚拥有更高的生存或者死亡机率。为了测试结果是否正确,你需要利用训练完成的算法处理名单中的其余乘客信息,而后与实际结果进行比较。
Kaggle.com等在线社区曾经进行过这样的竞赛,看谁能够开发出准确率最高的生存预测算法。此外,这也是大学课程当中的常见问题。乘客名单大到足够能反映出明确的趋势,同时又小到能够被初学者掌握。其结果也相对简单——决定生死的变量可能只有十几项,所以问题并不复杂,初学者也能够解决;但其中的交互关系又足够复杂,能吸引到技术人员的关注。另外,由于泰坦尼克号的故事非常有名,因此即使过去一个多世纪,仍能引发共鸣。
SparkBeyond公司正在将泰坦尼克号问题作为其AI平台的早期测试素材,并希望将其作为向潜在客户展示技术能力的方式之一。该公司联合创始人兼CEO Sagie Davidovich表示,“有趣的是,即使是在像泰坦尼克号这样简单的问题当中,我们仍能够发掘出大量有价值的结论。”
生存结果可归结为变量
如果大家对泰坦尼克号的故事比较熟悉,完全可以通过简单的数字计算对乘客的命运做出合理的猜测。
其中女性的生存机率几乎达到男性的两倍,儿童的生存机率则为成人的1.4倍。一等舱乘客的生存机率为其他乘客的1.9倍。事实证明,中年女性与年轻女性之间,舱位等级对生存率的影响最大;而在中年男性与年轻男性之间,年龄差异则是决定生存率的关键。
虽然这些结果基本在人们的意料之中,但确实能够做出非常准确的预测。除此之外,算法也需要考虑到其它变量对于生存名单的影响,例如一个人的父母、孩子或者兄弟姐妹是否同在船上。正因为这些复杂性因素的存在,泰坦尼克号乘客名单才有长久以来一直成为数据科学家们关注的经典问题。
事实证明,以不同的方式查看数据有时也能带来更快捷的分析结果。Davidovich指出,SparkBeyond的AI方案就通过查看船票上列出的乘客姓名前缀,发现了这样一条分析“捷径”。
Davidovich解释道,“从数据当中可以看出,最简单的高生存率预测指标就是,乘客的名字中不包含「先生」这一表述。这显然涉及到乘客的性别成分,但深入解读,这种现象实际上包含了上面谈到的全部三种生存指标。”因为“先生”这一前缀,能够快速确定最有可能在沉船事故中死亡的群体:中产阶级及资产阶级成年男性,这一群更有能力购买头等舱船票的群体,往往(虽然并非全部)拥有“阁下”这类头衔,而年轻的男孩则被称为“少爷”(主要来自贵族阶层)或者并无特别的称谓。
现代应用
SparkBeyond公司的AI方案目前已经开始研究监狱暴力行为的原因、半导体制造质量控制以及人口迁移模式等问题。
Davidovich介绍称,“机器智能可以确定的一项基本事实,在于自然灾害与人口迁移之间的联系。美国人口迁移的大幅飙升与飓风哈维有关,这一点在某些高速公路及主要道路上体现得尤为明显。”
当然,除了数据模式这一共同本质之外,泰坦尼克号数据集还有着另一大共通的特性——尽管人们在分析时很容易迷失在具体数据当中,但这些纷繁复杂的数字与变量背后仍是真实人生的反映。
好文章,需要你的鼓励
浙江大学团队提出动态专家搜索方法,让AI能根据不同问题灵活调整内部专家配置。该方法在数学、编程等任务上显著提升推理准确率,且不增加计算成本。研究发现不同类型问题偏爱不同专家配置,为AI推理优化开辟新路径。
清华大学研究团队提出SIRI方法,通过"压缩-扩张"交替训练策略,成功解决了大型推理模型"话多且准确率低"的问题。实验显示,该方法在数学竞赛题上将模型准确率提升43.2%的同时,输出长度减少46.9%,真正实现了效率与性能的双重优化,为AI模型训练提供了新思路。
南洋理工大学与腾讯联合研究团队开发出Rolling Forcing技术,实现AI视频实时流式生成的重大突破。该技术通过滚动窗口联合去噪、注意力锚点机制和高效训练算法三项创新,解决了长视频生成中的错误累积问题,可在单GPU上以16fps速度生成多分钟高质量视频,延迟仅0.76秒,质量漂移指标从传统方法的1.66降至0.01,为交互式媒体和内容创作开辟新可能。
华中科技大学研究团队发现,通过让AI模型学习解决几何问题,能够显著提升其空间理解能力。他们构建了包含约30000个几何题目的Euclid30K数据集,使用强化学习方法训练多个AI模型。实验结果显示,几何训练在四个空间智能测试基准上都带来显著提升,其中最佳模型达到49.6%准确率,超越此前最好成绩。这项研究揭示了基础几何知识对培养AI空间智能的重要价值。