AI系统透明度新突破：红帽团队提出智能安全卡让AI系统更可信

人工智能正在以前所未有的速度改变着我们的生活。从每天使用的聊天机器人到企业级的智能助手，AI系统已经深度融入了社会的方方面面。然而，随着AI系统变得越来越复杂和强大，一个关键问题浮出水面：我们如何确保这些AI系统是安全、可信的？如何让企业和个人用户在采用AI技术时能够做出明智的选择？

这项由红帽公司的胡泽发·西德普瓦拉（Huzaifa Sidhpurwala）领导的研究团队于2024年12月发表的最新研究，为这个问题提供了一个创新的解决方案。研究团队包括来自红帽的艾米丽·福克斯（Emily Fox）、加斯·莫利特（Garth Mollett）、弗洛伦西奥·卡诺·加巴达（Florencio Cano Gabarda）和罗曼·朱科夫（Roman Zhukov）等专家。他们提出了一个名为"危险感知系统卡"（Hazard-Aware System Card，简称HASC）的框架，这个框架就像是为AI系统制作的一张详细的"身份证"和"体检报告"。

这张特殊的"身份证"不仅记录了AI系统的基本信息，更重要的是，它还详细记录了这个系统可能存在的安全风险、已经解决的问题，以及它的安全防护措施。就像我们在购买汽车时会查看安全评级和维修记录一样，这个系统卡让企业和用户能够清楚地了解一个AI系统的安全状况，从而做出更明智的选择。

研究团队还提出了一个AI安全危险识别码（ASH ID）系统，这就像是为AI安全问题建立的一套"邮政编码"系统。每当发现一个新的AI安全问题时，就会给它分配一个独特的编号，这样整个行业就能够统一地识别、讨论和解决这些问题。

这项研究的意义远超技术本身。它为AI行业建立透明度和问责制提供了一个实用的框架，有助于建立公众对AI技术的信任。随着全球AI市场预计从2024年的6382.3亿美元增长到2034年的3.68万亿美元，这样的透明度框架变得越来越重要。

一、从AI模型到AI系统：为什么需要系统级的透明度

要理解这项研究的价值，我们首先需要明白AI模型和AI系统之间的区别。这就像理解汽车发动机和整辆汽车之间的区别一样重要。

AI模型就像汽车的发动机，它是一个强大的核心组件，但仅凭发动机本身无法带你到达目的地。正如研究团队指出的，即使是像GPT-4这样强大的AI模型，在实际应用中只是整个系统的一小部分。真正让AI发挥作用的是围绕模型构建的完整系统，包括用户界面、数据处理管道、安全防护措施、监控系统等等。

以我们熟悉的ChatGPT为例。GPT-4模型虽然强大，但它需要被集成到一个完整的系统中才能为用户提供服务。这个系统包括网页界面、对话历史管理、内容过滤机制、负载均衡系统等众多组件。就像一辆汽车不仅需要发动机，还需要车身、轮胎、刹车系统、导航系统等才能安全地在路上行驶。

研究数据显示，自2023年中期以来，Hugging Face平台上的AI模型数量大约每10个月翻一倍，到2024年末已经超过100万个模型，预计到2025年中将达到170万个。然而，使用情况高度集中，像BERT这样的基础模型每月下载量达到数千万次，而最新的专家混合模型的下载量却少了几个数量级。同时，自然语言处理模型现在只占新上传模型的约一半，视觉、音频和代码等特定用途模型正在激增。

这种爆炸性增长带来了一个重要挑战：如何确保开发者和企业能够选择合适的AI系统，并理解它们的风险和限制。现有的AI模型卡虽然提供了关于单个模型的信息，但对于系统级的风险管理来说还远远不够。

二、现有透明度工具的局限性

目前，AI行业主要依赖模型卡来提供透明度。模型卡就像产品说明书，描述了AI模型是什么、如何训练的、适用于什么场景等基本信息。然而，就像仅仅了解汽车发动机的参数无法告诉你整辆车的安全性能一样，模型卡也有其局限性。

当前的模型卡主要关注模型本身的技术细节和性能指标，但对于企业决策者来说，他们更需要了解的是：这个AI系统在我的业务环境中会带来什么风险？它有哪些已知的安全问题？开发者是如何解决这些问题的？系统的哪些部分可能会出现故障？

研究团队在之前的工作中已经指出了这些问题，并提出了一些改进建议。他们建议为模型卡添加标准化的最小字段集，包括模型的意图和范围说明、数据治理和来源信息、安全和安全信息跟踪，以及AI材料清单（AI SBOM）的链接。

然而，即使有了这些改进，模型卡仍然无法满足系统级风险管理的需求。这就像了解了汽车每个零部件的信息，但仍然不知道整辆车在实际驾驶中的表现如何。

三、危险感知系统卡：AI系统的全面体检报告

面对这些挑战，研究团队提出了危险感知系统卡（HASC）框架。如果说传统的模型卡是产品说明书，那么HASC就是一份综合的体检报告加上持续的健康监测记录。

HASC的核心理念是将AI系统的安全和风险信息集中在一个动态的、机器可读的文档中。这个框架包含四个主要部分，每个部分都有其特定的作用。

系统概述和预期用途部分就像医疗体检报告中的基本信息栏，记录了AI系统的基本架构、核心功能和适用场景。更重要的是，它明确说明了系统不应该被用于什么目的，就像药品说明书中的禁忌症一样。这帮助用户理解系统的边界，避免不当使用导致的风险。

模型和数据详情部分深入介绍了系统使用的AI模型和训练数据的来源。这就像了解食品的成分表和营养信息一样重要。研究团队特别强调了数据来源追踪的重要性，这能让用户了解AI系统的"营养成分"，判断是否符合自己的需求和标准。

评估和性能指标部分详细记录了系统在各种测试中的表现。这不仅包括准确性等基本指标，还包括在不同场景下的可靠性表现。就像汽车的安全评级不仅看正面碰撞，还要测试侧面碰撞、翻滚等各种情况一样，AI系统也需要在多种条件下进行测试。

局限性和已知偏见部分是HASC的一个重要创新。它诚实地披露了系统的弱点和已知问题，就像药品说明书中的副作用说明。这种透明度虽然可能让一些开发者感到不安，但对于建立用户信任和确保安全使用至关重要。

四、AI安全危险识别系统：为AI安全建立统一语言

研究团队的另一个重要贡献是提出了AI安全危险（ASH）识别码系统。在软件安全领域，CVE（通用漏洞披露）系统已经建立了一套成熟的漏洞识别和管理机制。每当发现一个新的软件安全漏洞时，都会分配一个唯一的CVE编号，这样全世界的安全专家就可以用统一的语言讨论和解决这个问题。

然而，AI安全问题与传统的软件安全漏洞有所不同。AI系统可能会生成有害内容、表现出偏见、或在某些情况下给出错误的建议，这些问题很难用传统的安全漏洞分类来描述。因此，研究团队提出了专门针对AI安全危险的ASH识别码系统。

ASH编号采用"ASH-年份-编号"的格式，比如ASH-2025-0023。这个编号不仅能够唯一识别一个特定的AI安全问题，还能追踪问题的发现时间和解决状态。就像医学界为疾病建立国际分类代码一样，ASH系统为AI安全问题建立了统一的分类和沟通标准。

这个系统的价值在于它能够促进整个行业的协作。当一家公司发现并解决了一个AI安全问题时，其他公司可以通过ASH编号快速了解这个问题的性质和解决方案，避免重复犯同样的错误。这种信息共享机制对于整个行业的安全水平提升具有重要意义。

五、自动化生成：让透明度成为开发流程的自然部分

HASC框架的一个重要特点是它设计为可自动生成的。研究团队认识到，如果需要开发者手动维护这些复杂的文档，那么这个框架很可能会因为维护成本过高而被忽视。因此，他们设计了一套自动化生成系统。

这个自动化系统就像现代汽车生产线上的质量控制系统。在AI系统的开发和部署过程中，各种工具和系统会自动收集相关信息：模型注册表提供模型版本和评估结果，基础设施配置工具提供部署架构信息，数据目录提供训练数据来源信息，问题跟踪系统提供安全问题记录等。

所有这些信息会被自动整合到一个JSON格式的结构化文档中，然后通过模板系统生成人类可读的HTML页面。这个过程就像自动化的体检报告生成系统，各种检查设备的结果会被自动整合成一份综合的健康报告。

更重要的是，这个系统还支持数字签名和版本控制，确保系统卡的真实性和可追溯性。就像银行交易需要数字签名验证一样，AI系统卡也需要这种认证机制来防止伪造和篡改。

六、行业实践与标准化挑战

目前，一些领先的AI公司已经开始发布系统卡，但格式和内容差异很大。OpenAI为其GPT系列模型发布了详细的系统卡，描述了模型的能力、限制、部署前后的安全测试，以及第三方评估结果。Anthropic为Claude模型发布的系统卡则重点关注责任扩展政策对齐的安全测试、提示注入风险和计算机使用风险。Meta发布了广泛的系统卡库，解释支撑Facebook和Instagram的主要AI系统。

然而，这些系统卡在内容结构和呈现格式上存在显著差异，这给想要比较不同AI系统的用户带来了困难。就像不同厂商的汽车安全评级使用不同标准一样，缺乏统一标准使得消费者很难做出明智的选择。

研究团队指出了当前系统卡存在的几个重要问题。大多数系统卡都是PDF或网页形式，很少提供结构化的数据格式供工具处理。这就像医疗报告只有纸质版本，无法被电子健康系统自动处理和分析。

另外，现有的系统卡很少提供数据来源和处理流程的详细信息，用户无法独立验证开发者声明的可靠性。更重要的是，很少有系统卡作为持续更新的活文档，记录系统在部署后发现和解决的问题。

七、克服透明度与竞争力的平衡挑战

实施HASC框架面临的最大挑战之一是如何平衡透明度与商业竞争优势。许多公司担心，过度披露AI系统的内部信息可能会损害他们的竞争地位，或者为恶意攻击者提供攻击路径。

研究团队对此提出了一个有趣的观点：历史经验表明，透明度往往能够促进创新而不是阻碍创新。开源软件的发展历程就是一个很好的例子。当Linux等开源操作系统开始流行时，很多人预测这会损害软件公司的利益。然而，事实证明，开源模式催生了一个更加创新和繁荣的软件生态系统。

在AI领域，我们已经看到了类似的趋势。Hugging Face等平台提供了数千个高质量的开源AI模型，大型数据集越来越多地公开可用，甚至一些前沿模型开发者也开始在开源许可下发布他们的模型。这种转变反映了一个重要认识：AI的价值不在于基础架构的保密，而在于应用、优化和建立用户信任的能力。

对于担心透明度会被恶意利用的顾虑，研究团队提出了"开放设计，封闭漏洞详情"的策略。这意味着公开AI系统的设计理念、评估方法、治理结构和高级别的风险信息，但将具体的攻击路径、防御触发机制等敏感细节限制在可信渠道内分享。

八、与国际标准的协调整合

研究团队还详细分析了HASC框架与ISO/IEC 42001:2023标准的关系。这个国际标准为AI管理系统提供了要求和指导，帮助组织负责任地开发、提供或使用AI系统。

HASC框架与ISO/IEC 42001标准形成了很好的互补关系。ISO/IEC 42001提供了组织级别的管理框架，而HASC则为单个AI系统提供了详细的文档化方法。就像建筑行业中，建筑法规提供总体框架，而具体的建筑安全证书提供单个建筑的详细安全信息一样。

HASC的四个内容类别直接支持ISO标准的多个核心要求。系统概述和预期用途部分为ISO要求的风险分类和政策控制定义提供了必要的治理和背景映射。模型和数据详情部分满足了ISO对AI系统数据的详细要求。评估和性能指标部分符合ISO关于AI系统验证和确认的要求。

更重要的是，HASC的自动化生成和持续更新特性直接解决了ISO/IEC 42001对"文档化信息"的普遍要求。这种自动化和标准化的方法支持更好的版本控制、可审计的工件，并通过记录来源、更新和修复危险来支持持续改进。

九、实际应用场景展示

为了说明HASC框架的实际应用价值，研究团队提供了一个详细的案例研究。他们描述了一个名为"AI健康助手"的公共聊天机器人系统，该系统的HASC当前版本为v1.2。

在这个案例中，实时监控系统检测到用户报告和差评的激增。内部审查发现，用户成功地诱导聊天机器人通过围绕名人健康趋势构建问题来生成看似合理但危险错误的医疗建议。AI安全团队调查后确定这是一个已知风险的新变种，他们为此分配了唯一标识符ASH-2025-0142："通过社交/流行文化框架绕过模型安全机制"。

工程团队实施了双重修复方案。首先，他们更新了单独的"安全检查"模型的提示，使其对医疗查询中的名人姓名和流行文化术语更加敏感。其次，他们在主要聊天机器人的系统提示中添加了一行指令，明确指示在提到健康趋势时应推迟给人类医疗专业人员。

在测试和部署修复后，发布了HASC的新版本v1.3。这个更新不仅记录了新发现的风险和采取的对策，还提供了完整的变更历史，让用户可以清楚地看到系统是如何随时间改进的。

这个案例展示了HASC框架如何支持从问题发现到解决的完整流程，并为用户提供了透明的安全改进记录。

十、未来发展方向与行业协作

研究团队为HASC框架的推广和发展提出了几个重要方向。首先是与行业机构的标准化协作。目标是在AI社区和AI行业内建立共识，开发可在整个行业采用的标准化、机器可读的系统卡架构，解决当前比较性和一致字段缺乏的问题。

建立共享的危险生态系统是另一个重要目标。类似于软件的通用漏洞披露（CVE）系统，研究团队致力于推广通用AI安全危险（ASH）标识符的使用。这将建立一个共享的公共数据库，记录已知的AI危险及其修复方法，促进集体防御并为整个生态系统提供更快的修复时间。

研究团队还倡导分阶段透明度方法。认识到竞争压力和商业机密的考虑，他们主张采用分层的、分阶段的透明度方法。这种策略允许公司逐步增加其披露程度，与越来越多寻求透明系统的消费者建立信任。

在自动化和工具集成方面，HASC的长期可行性取决于其与开发工作流程的集成。未来的工作将专注于开发自动化工具，直接从模型构建和部署管道生成HASC数据。这包括创建用于自动化系统卡生成和使用的API，使其成为反映实时变化的"活文档"。

与监管框架的整合也是一个重要方向。研究团队将探索HASC如何作为新兴AI法规的合规工具，如欧盟AI法案和NIST AI风险管理框架。HASC版本历史和事件日志的结构化、可审计性质可以为组织提供明确的尽职调查记录，帮助向监管机构展示负责任的开发和风险管理。

说到底，这项研究不仅仅是一个技术提案，更是对整个AI行业的行动呼吁。随着AI技术变得越来越强大和普及，建立透明度和问责制的需求变得越来越迫切。HASC框架为实现这一目标提供了一个实用的路径，但其成功最终取决于整个行业的采纳和协作。

就像汽车行业最终接受了统一的安全评级标准，AI行业也需要类似的透明度框架来确保技术的安全和负责任发展。通过提供一个标准化、自动化、持续更新的系统级透明度解决方案，HASC框架有望成为AI治理的重要基础设施，帮助建立一个更加透明、可信和安全的AI生态系统。

这种透明度的价值不仅在于满足监管要求或建立用户信任，更在于它能够促进整个行业的学习和改进。当AI系统的安全问题和解决方案能够被公开分享和讨论时，整个行业都能从中受益，避免重复同样的错误，加速安全技术的发展。

归根结底，AI技术的真正价值在于它能够安全、负责任地为人类服务。HASC框架通过提供一个全面的透明度解决方案，为实现这一愿景奠定了坚实的基础。随着更多组织开始采用这个框架，我们有理由相信，一个更加透明、可信的AI未来正在到来。

Q&A

Q1：什么是危险感知系统卡（HASC），它和普通的AI模型卡有什么区别？

A：HASC是红帽团队提出的AI系统透明度框架，就像AI系统的"体检报告"。与普通模型卡只介绍AI模型基本信息不同，HASC记录整个AI系统的安全风险、已解决问题、防护措施等动态信息，并且能自动更新，帮助用户全面了解AI系统的安全状况。

Q2：ASH识别码系统是什么，为什么需要为AI安全问题建立统一编号？

A：ASH（AI安全危险）识别码是类似软件CVE编号的AI安全问题统一标识系统，格式为"ASH-年份-编号"。建立统一编号是为了让全行业能用相同语言讨论AI安全问题，当一家公司发现并解决安全问题时，其他公司可以通过ASH编号快速了解问题性质和解决方案，避免重复犯错。

Q3：企业采用HASC框架会不会泄露商业机密，影响竞争优势？

A：研究团队提出"开放设计，封闭漏洞详情"的策略来平衡透明度和竞争力。公开AI系统的设计理念、评估方法等高级信息，但将具体攻击路径、防御机制等敏感细节限制在可信渠道分享。历史证明，如开源软件发展，透明度往往促进而非阻碍创新。