CNET科技资讯网 1月20日 上海消息: 我们将迈入大数据的一个新时代,敏捷、准确、低成本的数据分析和预测将成为现实。20日,阿里云发布大数据平台数加,集合了计算引擎、开发套件、可视化工具和行业解决方案,这是全球首个囊括前、中、后台的大数据一站式开发平台,可让数据分析和预测成本降至原有的10%左右。
这次阿里云发布的大数据开发平台,囊括了阿里巴巴十余年来的大数据技术,这些技术正在阿里系的各个商业场景中发挥作用,例如淘宝首页给你推荐什么样的商品、你的芝麻信用分是多少、谁可以获得更大的花呗额度,或者谁可以直接获得贷款。
“过去6年来,阿里巴巴巨大的战略投资就是放在云计算和大数据服务上。我们相信人类已经从IT时代在步入DT(Data Techonology)时代。”马云在2015年致投资者公开信中表示,“我们必须在数据技术的投入和发展上不惜一切的投入发展,我们正在努力让数据和计算能力成为普惠经济的基础。”
马云的DT技术正在变现,集成了人工智能、机器学习、智能语音等前沿技术的阿里云大数据平台数加,让没有足够技术实力的公司,也能实现从数据中提炼“石油”。权威研究机构IDC数据显示,2014年中国企业投入了约14亿美元购买商业分析软件和服务,这个数字在未来5年内将呈几何式增长。
“未来3年,大数据市场规模将达到1万亿元。”阿里云总裁胡晓明在发布会上表示,基于阿里云大数据平台数加,将有千余家合作伙伴、万名首席数据官和5万数据科学家诞生,把中国大数据市场规模拓展至万亿规模。
“大数据”一词近年来在中国十分火热,但真正的数据技术和工具平台一直缺位。“中国的数据技术起步比硅谷晚,但我们看到互联网巨头们正在大量投入研发力量,来缩短差距。”Alliance Development Group分析师David Sullivan表示,以阿里巴巴为典型的中国互联网公司正在自己的商业场景中大规模使用数据技术,技术上与硅谷几乎没有差距。
在发布会上,阿里云提及去年年底刚刚刷新的一项世界纪录。在由数据库之父Jim Gray创办的排序基准评估竞赛Sort Benchmark中,阿里云把100TB数据的排序时间缩短到了377秒,打破了此前由雅虎、微软、斯坦福大学等公司与机构保持的纪录。
从成本上来说,阿里云的大数据平台也把数据技术的使用成本拉到一个新的时代。“数据分析和预测的成本将降至原有的10%,数据技术将变成普惠的技术能力,企业可以跨过技术和资金的障碍,真正从数据中掘金。”阿里云大数据事业部资深总监徐常亮表示。
骤降的数据成本可能让IBM一类的公司倍感压力,因为这让他们提供的传统BI软件显得价格昂贵。此前,企业的数据挖掘依赖购买BI类软件,这类软件不但购买和维护费用高昂,还不能实现在线实时数据分析。
“实时数据分析和预测才是数据技术的魅力所在。”徐常亮表示,阿里云大数据平台数加将为各类机构和企业带来全新的决策依据,“企业们将实时知晓自己面对的挑战,并基于数据预测来判断下一步该往哪走。”
在不久前,阿里云公布了一项与浙江省交通厅的合作,浙江省交通厅利用阿里云的大数据平台来预测高速公路未来5到60分钟的车速情况,预测准确率稳定在91%以上。基于高速车速预测,以便交通部门更好的进行交通引导,公众也可以做出更优的路线选择。
“一开始大家关心的问题是数据运算的速度有多快,然后关心预测的速度有多快。”徐常亮表示,“现在,大家该关心的问题是我是否比竞争对手更快得到数据结果,是否比竞争对手拥有更准确的预测。我们就是想为大家提供这样更快、更准确的大数据平台。”
好文章,需要你的鼓励
新加坡国立大学研究团队开发了SPIRAL框架,通过让AI与自己对弈零和游戏来提升推理能力。实验显示,仅训练AI玩简单扑克游戏就能让其数学推理能力提升8.6%,通用推理提升8.4%,且无需任何数学题目作为训练材料。研究发现游戏中的三种推理模式能成功转移到数学解题中,为AI训练提供了新思路。
同济大学团队开发的GIGA-ToF技术通过融合多帧图像的"图结构"信息,创新性地解决了3D相机噪声问题。该技术利用图像间的不变几何关系,结合深度学习和数学优化方法,在合成数据集上实现37.9%的精度提升,并在真实设备上展现出色泛化能力,为机器人、AR和自动驾驶等领域提供更可靠的3D视觉解决方案。
伊利诺伊大学研究团队通过对比实验发现,经过强化学习训练的视觉语言模型虽然表现出"顿悟时刻"现象,但这些自我纠错行为并不能实际提升推理准确率。研究揭示了AI模型存在"生成-验证差距",即生成答案的能力强于验证答案质量的能力,且模型在自我验证时无法有效利用视觉信息,为AI多模态推理发展提供了重要启示。
MIT等顶尖机构联合提出SparseLoRA技术,通过动态稀疏性实现大语言模型训练加速1.6倍,计算成本降低2.2倍。该方法使用SVD稀疏性估计器智能选择重要计算部分,在保持模型性能的同时显著提升训练效率,已在多个任务上验证有效性。