作为任何企业进行新的应用部署或系统更新的重要组成部分,数据迁移可以完成的远不止简单的数据传输。我们完全可以把它当作改进现有数据质量的一个机会,而且还可以对信息应用采用更高标准,为公司增添力量。它也可作为数据治理计划的理想试点。
数据治理是一个不断发展的学科。其目的是通过持续应用标准流程及方法,给予公司对数据质量和安全性的控制。
数据治理着眼于:提高数据质量、保护敏感数据、鼓励信息共享、提供关键业务数据、信息生命周期中的管理。
“许多数据迁移项目存在这样的问题:过于频繁地把遗留环境中的坏数据移动到全新系统中。”Informatica产品战略副总裁RobKarel说。“在您把数据迁移到新的应用系统之前,您必须先要询问哪些数据可以放入新的干净环境中。”
Karel主张将应用数据清理规则、统协重复数据以及清除孤立和未使用数据作为迈向数据治理标准的良好开端。
“因为对数据治理项目的支持或许可望而不可及,通常需要一套有用的具体步骤来开始。”Karel建议要像TDWI研究概括的那样,使用以下八个步骤,启动一个包含数据迁移的数据治理方案:
学习数据质量技术并加以应用。数据质量是一整套技术和实践,它能为企业数据迁移工作的成功做出巨大贡献。
及早并经常剖析数据质量。剖析数据质量奠定了企业为新系统制定数据质量、模型、架构及使用规则标准的基础。
在前进过程中创建业务词汇表。根据业务使用情况定义遗留或新系统中的数据。
使用数据质量度量标准。使用这些度量标准持续改进数据,并治理数据迁移前后的整个生命周期。
纠正不合规数据。使用有利工具,以允许运行时自动及手动数据迁移数据的一致性问题。
通过验证和确认治理实时数据。一旦新系统启动并运行,在持续基础上监测关键信息,以确保数据与数据治理政策及标准相容。
使用管理技术以调整数据治理和业务目标。数据管理非常重要,因为这一角色为业务和技术团队的沟通服务。
协作管理。跨职能团队决定迁移过程中哪些数据应该被治理以及如何治理,所有数据并非同等重要。
好文章,需要你的鼓励
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。
谷歌DeepMind团队开发的GraphCast是一个革命性的AI天气预测模型,能够在不到一分钟内完成10天全球天气预报,准确性超越传统方法90%的指标。该模型采用图神经网络技术,通过学习40年历史数据掌握天气变化规律,在极端天气预测方面表现卓越,能耗仅为传统方法的千分之一,为气象学领域带来了效率和精度的双重突破。