太阳石矿山大模型通过中国信通院大模型安全风险防范能力评估
2024-12-16
作者：CAICT AI安全治理
来源：矿山人工智能
当前，随着大模型在生成能力和交互能力上的显著提升，其潜在的风险问题也日益凸显，如模型窃取、数据隐私泄露以及不当内容生成等。中国信息通信研究院人工智能研究所高度重视大模型安全发展态势，联合业界有影响力的企业和机构共同编制了“大模型安全风险防范能力要求及评估方法”系列标准，并于2024年下半年启动“大模型安全风险防范能力”第二批评估工作。
2024年12月，煤炭科学研究总院的太阳石矿山大模型-V1.0顺利通过了中国信息通信研究院的“大模型安全风险防范能力”第二批评估。注：以下内容为企业提供
煤炭科学研究总院有限公司(简称“煤科总院")是我国煤炭行业综合性研究院。以“建成集聚顶尖人才、攀登科技高峰、激扬第一动力的世界能源科技研究中心”为发展目标,为集团公司高质量发展提供强大的技术支撑。煤科总院矿山人工智能研究院以“持续推动矿山人工智能技术创新,服务国家能源产业”为使命,重点面向煤炭产业数字化、智能化、绿色化对新一代人工智能的迫切需求,紧紧围绕矿山智能感知与协同计算、矿山数据科学与认知智能、矿山决策智能与优化三大核心方向开展研究工作,建立“感知智能、认知智能、决策智能”有机贯通的矿山智能生态体系,促进数字煤炭”高质量发展。“太阳石矿山大模型”是由煤科总院自主研发的矿山大模型基座，提供面向行业的可信、安全、高效的认知服务，是助力煤炭产业数字化、智能化、绿色化转型发展的核心产品。
大模型训练数据安全评估
该评估依据AIIA/PG 0151-2024《大模型安全风险防范能力 第1部分：训练数据安全要求及评估方法》，针对大模型技术提供方（以下简称“提供方”）训练数据安全，从数据生存周期安全和通用数据安全两个过程域，提出了大模型训练数据安全要求及评估方法。将提供方应具备的训练数据安全能力量化为安全合规要求、技术保障手段和质量控制措施三个方面，通过多种评估手段帮助提供方在大模型研发过程中掌握训练数据总体安全情况，发现训练数据构建过程的潜在安全风险。该评估依据AIIA/PG 0152-2024《大模型安全风险防范能力 第2部分：模型安全要求及评估方法》，针对大模型技术提供方（以下简称“提供方”）的模型安全，从模型可信和模型安全两个维度提出大模型的安全能力要求及评估方法。在模型可信方面，重点评估模型面对干扰的鲁棒性、模型披露信息的透明度以及输出内容的公平性。在模型安全方面，一方面通过已知的模型攻击方法开展模型安全测试，另一方面基于技术提供方披露信息评估模型的安全保障能力。该评估依据AIIA/PG 0153-2024《大模型安全风险防范能力 第3部分：内容安全能力要求及评估方法》，面向大语言模型的技术提供者、服务提供者，在模型及服务的内容安全防护过程中，配备的对输入输出内容的识别和过滤能力进行评价。在评估过程中，根据当前大模型服务中常见的意识形态、价值观、涉黄、暴恐、违法、偏见歧视、科技伦理等20余个类型的内容安全风险，按照危害程度划分等级；从模型的预期响应角度，划分为“应该正确回答”、“应该拒绝回答”、“可以正向引导”、“可以按实际能力回答”4个类型。在评估过程中，将选取一定量的数据集，对模型的输出做出验证，根据各风险类型的输出结果给出安全防护能力分级。该评估依据AIIA/PG 0154-2024《大模型安全风险防范能力 第4部分：服务安全运营能力要求及评估方法》，面向通过可编程接口形式为我国境内公众提供大模型服务的组织。在大模型服务部署应用和运行维护阶段，针对数据安全能力、内容安全能力、服务规范要求、运行监测等四个方面评估大模型服务的安全运营能力。该标准通过技术评估和材料审核相结合的方式，助力大模型服务提供方在大模型部署和应用过程中安全运营能力的提升，增强用户对大模型服务的信任度和满意度，推动大模型服务的广泛应用和发展。目前，“大模型安全风险防范能力”评估工作持续进行中，欢迎感兴趣的企业积极报名参与！评估流程主要包括商务确认、前期技术对接、测试、评审会、发放证书、测试结果宣传等，具体流程如下图所示：
陈 杰
13661070401 chenjie7@caict.ac.cn
陈文弢
18600022046 chenwentao@caict.ac.cn
来源 CAICT AI安全治理
特别声明：
本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
更多精彩内容，关注“传煤”微信公众号，或点击“期刊群”免费获取科研论文
用微信扫描左侧二维码，关注“传煤”公众号，第一时间获取煤炭行业新鲜资讯，享全方位煤炭科技知识信息服务。
