面向可信大语言模型智能体的安全挑战与应对机制

张熙¹  李朝卓¹  许诺¹  张力天²

（1.北京邮电大学网络空间安全学院，北京 100876；

2.北京航空航天大学网络空间安全学院，北京 100191）

摘要：随着大语言模型驱动的智能体在各领域的应用日益深化，潜在的安全隐患逐渐凸显。旨在系统梳理基于大语言模型的智能体面临的信息泄露、模型攻击、幻觉输出、伦理道德风险和法律合规隐患等安全可信问题。通过对这些安全隐患的成因与影响进行深入分析，探讨现有的防护措施和技术手段，提出构建可信大语言模型智能体的建议，为相关研究和实践提供参考。

关键词：可信大语言模型智能体；安全；防御

0  引言

随着大数据时代的到来以及计算机性能的持续提升，以深度学习为代表的机器学习算法在计算机视觉、自然语言处理、自动驾驶等领域取得了显著成功。得益于以ChatGPT为代表的大语言模型引发的技术变革，基于大语言模型的智能体迎来了新的发展契机，甚至有望成为未来的主导技术。

智能体的应用带来了诸多好处，包括提高工作效率、优化工作流程、提供精准的决策支持以及增强人机交互等，如语音助手的普及便捷了人机互动。人工智能技术无疑是未来发展的主导方向。然而，人工智能技术的发展路径和时间进度难以准确预测，且存在缺乏可解释性和可信性的问题，并伴随多重安全隐患。因此，人工智能的进步是一把“双刃剑”：一方面，作为通用使能技术，人工智能在医学、科学、交通等领域展现出颠覆性潜力，并为巩固国家网络空间安全、提升人类经济社会风险防控能力提供了新的方法和途径；另一方面，人工智能技术在应用的过程中，也带来了隐私、安全、经济等方面的问题，进而引发了其可能造成长期影响的广泛担忧，尤其是在网络与信息系统安全、社会生产、就业、法律伦理等领域的潜在冲击。因此，全球主要国家及经济体已将人工智能安全视为技术研究和产业化应用的核心议题之一。

本文简要介绍了智能体的定义、面临的安全威胁及其分类，并探讨了智能体安全防范技术的研究进展与应用前景。

1  智能体的定义及安全威胁

1.1  智能体的定义

智能体是指具备自主决策能力的实体，如图1所示，它们能够接收指令、感知环境、分析信息、做出决策并执行相应的行动。得益于大语言模型的强大语言理解和生成能力，智能体能够基于海量文本数据进行训练，在处理自然语言任务中展现出卓越性能，能精准地理解和分析用户的文本指令。例如，智能客服能够解析用户对产品信息的询问并作出相应回应。智能体的决策能力具有高度的灵活性和适应性，能够处理多样的自然语言任务，适应不同用户的交流风格。此外，大语言模型为智能体的决策提供了丰富的跨领域知识，进一步增强了其决策深度。

图1   智能体架构

每个智能体不仅具备独立的决策能力，还能够通过与环境或其他智能体的互动，主动获取反馈并调整自身行为。这一反馈机制赋予了智能体“学习”能力，使其能够根据任务执行的结果不断优化决策策略。自适应能力的提升，不仅提高了智能体执行任务的效率，还使其能够在长期任务过程中积累经验，应对动态和不确定的环境。尤其在复杂的多智能体系统中，这种反馈机制有助于协调智能体之间的互动（如合作或竞争），进一步优化整个系统的行为和性能。

1.2  安全威胁

智能体因其自身所具备的自主性与复杂性，再加上其内部集成了多个组件这一特性，正面临着前所未有的安全挑战。例如，智能体所使用的外部数据库可能成为对抗攻击的目标，从而导致信息泄露；针对动作组件的恶意攻击可能使得处理器发出的命令被错误执行，从而引发安全威胁；智能体与环境交互时的反馈信息可能被攻击者篡改，导致错误反馈的积累，进而影响决策质量和安全性。此外，智能体的后门攻击相比以往大语言模型的后门攻击更加隐蔽且具有更大的危害。当大语言模型作为处理组件集成到智能体中后，幻觉现象引发的安全风险将进一步放大。如果智能体在决策过程中产生幻觉并作出错误决策，动作组件将根据这一错误决策执行行动，可能导致错误或危险的操作。幻觉不仅影响了处理组件的表现，还对整个智能体系统的行为可靠性造成负面影响。

因此，如何确保大语言模型在智能体中的安全性，以及如何解决智能体特有的安全风险，成为构建安全、鲁棒的智能体系统的关键问题。本文将深入探讨这些安全问题，并为相关研究提供全面的视角。综上所述，本文将从大语言模型本身的安全问题出发，进一步探讨其作为智能体核心组件所面临的安全挑战，特别是在智能体的数据安全和伦理道德安全方面的问题。

2  大语言模型固有的安全问题

大语言模型作为自然语言处理领域的核心技术，尽管在语言理解和内容生成方面表现出色，但也面临一系列固有的安全问题。这些问题不仅威胁到模型的可靠性和应用效果，还可能给用户和社会带来更广泛的风险。大语言模型的主要安全问题包括“越狱”攻击、幻觉现象和偏见问题。

“越狱”攻击是大语言模型面临的主要安全威胁之一。攻击者通过输入精心设计的文本，诱导模型绕过安全限制或防护机制，生成敏感或非法信息。由于其隐蔽性和灵活性，这类攻击对模型防御构成挑战，尤其是在开放式对话场景中，攻击者可以利用漏洞获取敏感数据或让模型执行不当行为，带来潜在的安全隐患。例如，通过随机搜索优化的对抗性后缀，攻击者可以“越狱”大语言模型，绕过安全措施。

幻觉现象是大语言模型的常见问题，指的是模型在生成内容时缺乏足够的背景知识，导致生成的文本看似合理但实际上包含不符合事实或逻辑的虚假内容。幻觉现象不仅导致错误输出，还可能误导使用者。在需要精准回答或严谨处理的任务中，如医疗诊断或法律咨询，幻觉现象可能产生严重的负面影响，甚至带来现实风险，威胁到模型的可靠性，影响其在任务中的安全性和有效性。

偏见问题广泛存在于大语言模型中，主要源于训练数据中的社会偏见。大语言模型从大规模的互联网数据中学习，这些数据往往包含文化、性别、种族等方面的偏见。即使用户的提示词是中性的，模型的输出仍可能带有偏见，进而影响决策的公平性和输出的客观性。例如，模型可能对不同社会群体输出不公正的结论或建议。偏见问题不仅影响模型的技术表现，还涉及伦理和社会公正，因此在大语言模型的开发和应用过程中，必须关注识别并减少其影响。

综上所述，“越狱”攻击、幻觉现象和偏见问题是大语言模型面临的核心安全挑战。这些问题不仅影响模型的输出质量，还可能对应用场景中的用户体验和社会安全造成重大影响。因此，理解并有效防御这些安全威胁，对于确保大语言模型的安全性，构建可靠安全的基于大语言模型的智能体系统至关重要。

3  智能体的安全问题

大语言模型被集成到智能体后，不仅面临固有的安全问题，还会由于与环境的交互以及执行复杂任务的过程而产生新的安全挑战。

3.1  后门攻击

大语言模型被集成到智能体后，攻击面随之增大，后门攻击的触发条件不再局限于提示词，还可以通过环境中的变化进行触发。与传统的大语言模型后门攻击（主要针对输出）不同，集成大语言模型的智能体不仅可以通过改变最终输出执行恶意操作（例如，将触发词放入环境中，遇到红灯时加速），还可以在不改变最终输出的情况下，通过改变执行任务的中间步骤实现恶意目标。例如，给智能体一个翻译任务，不改变翻译的结果（即不生成恶意内容），而在执行过程中故意让智能体只使用谷歌翻译执行任务，进而造成翻译偏好或效率降低。

研究人员提出了一种名为AnyDoor^[1]的后门攻击方法，这种攻击通过使用对抗性测试图像将后门注入文本模态，从而在不修改训练数据的情况下植入后门。AnyDoor的技术与常见的对抗性攻击类似，但它可以将后门的设置与激活时的有害影响分离开来。此外，当前广泛应用的共享低秩适应微调（Low-Rank Adaptation， LoRA）模块也存在安全风险，攻击者可以将后门注入LoRA^[2]模块，从而控制使用该模块的智能体。

为检测并移除后门攻击，研究者提出了几种方法：一种方法是通过强大的数据增强（如混合和加入随机噪声）来消除后门攻击，仅承受轻微的准确性损失；另一种方法是从稀疏性的角度识别后门攻击，发现后门特征对网络修剪的稳定性要显著高于良性特征。有研究者提出了一种木马网络检测机制，可以有效识别并移除后门。通过移除后门攻击中触发器所在的神经元，来防御后门攻击。LMSanitator^[3]是一种用于检测和删除Transformer模型上任务无关后门的新方法，它通过反转任务无关的攻击向量而非直接反转触发器，来提高收敛性和后门检测的准确性。此外，LMSanitator利用提示微调冻结预训练模型的特性，可以在推理阶段准确、快速地执行输出监控和输入清除。

3.2  智能体幻觉

当大语言模型作为智能体的处理组件时，幻觉现象引发的安全风险将进一步放大。智能体依赖大语言模型对环境进行分析和解释，并基于这些解释制定行动策略。若大语言模型在决策过程中出现幻觉并作出错误决策，那么动作组件依据该决策执行时，将引发错误或危险的行为。可见，幻觉现象不仅影响处理组件的表现，还会影响整个智能体系统的行为可靠性。

在智能体生成长对话时，因推理复杂性和上下文跨度，幻觉现象尤为明显。由于智能体通常处于动态环境中，错误的环境解读可能引发严重的安全事故。例如，在自动驾驶或无人机操作中，智能体若依赖大语言模型解析环境输入并据此作出行动决策，任何由幻觉引发的误判（如错误识别道路或物体）都可能导致灾难性后果，如车辆偏离轨道、未能避开障碍物等。

在目标导航任务中，智能体的目标是导航至特定目标对象。幻觉现象可能导致智能体作出错误的导航决策，影响导航效果。在社交网络中，智能体的幻觉问题可能对平台运行和用户体验产生多方面的负面影响。智能体生成的虚假信息可能导致错误信息的大规模传播，尤其是在高度依赖自动生成内容的场景下。幻觉不仅可能误导用户，还可能加剧信息偏见，影响用户互动，甚至加剧社交网络的极化现象。此外，智能体在内容审核中出现幻觉可能导致审核不准确，进而传播不适当内容或错误删除无害信息，影响社交网络的整体安全性。

针对智能体幻觉问题，研究者提出了两种策略：一种是通过构建框架^[4]来缓解幻觉问题，结合双重协作、分层方法以及多个内部词典的方法来减少规划、任务识别和实施阶段的幻觉和冗余；另一种策略是采用多代理协作方法^[5]，在智能体推理过程中，由于推理错误或虚构信息产生的幻觉通常是单个智能体独立产生的。不同智能体产生的幻觉差异较大，因此在智能体开发过程中，可以让多个智能体通过多轮反馈相互验证并辩论，以达成共识，从而减少幻觉的发生。这种多代理协作的方式有助于过滤掉个别智能体的推理错误，提高整体系统的准确性和可靠性。

3.3  数据投毒和隐私数据泄露

智能体面临的主要数据威胁包括数据投毒和隐私数据泄露。数据投毒是指攻击者将恶意数据注入智能体的外部数据库，从而影响智能体的决策。例如，攻击者可能通过向检索增强生成系统（Retrieval-Augmented Generation， RAG）检索到的外部数据库注入毒化数据，制造出具有自我复制能力的提示“蠕虫”，从而操控智能体执行恶意操作并扩散到智能体系统中。

隐私数据泄露指的是攻击者通过结构化提示攻击从智能体中获取预训练集、微调数据集中的敏感数据，或窃取系统的提示词。研究将隐私数据泄露^[6]攻击分为黑盒、灰盒和白盒三种攻击场景：在黑盒场景^[7]中，攻击者通过巧妙设计的提示，绕过大语言模型的隐私保护限制，泄露敏感信息；在灰盒场景^[7]中，攻击者结合模型的回答和外部信息，推断出数据集成员的隐私信息；在白盒场景^[8]中，攻击者利用生成式嵌入反转攻击，通过生成嵌入序列反转处理句子嵌入，从而获取隐私数据。

为应对隐私数据泄露攻击，研究者提出了多种防护方法，包括数据预处理、隐私保护训练和遗忘方法。数据预处理方法包括数据净化^[9]和去重，旨在减少训练数据中的敏感信息。隐私保护训练方法，如差分隐私，通过对梯度进行处理来更新模型参数，但面临较大计算开销等挑战。联邦学习方法则通过避免直接交换私有数据，保护隐私。遗忘方法则通过对模型进行编辑，删除或修改存储敏感信息的参数，进一步减少隐私数据泄露风险。

3.4  道德对齐问题

道德对齐问题指的是智能体在执行任务时，确保其响应无害、公正，并与人类的价值观和道德观保持一致。道德偏差往往来源于开发者设定的目标与实际执行过程中产生的偏差，以及大语言模型训练数据集中可能包含的毒性内容，可能影响智能体的行为或决策。这种偏差不仅影响智能体的有效性，还可能带来伦理和社会层面的威胁。

目前，大语言模型的道德对齐通常通过人类反馈强化学习（Reinforcement Learning from Human Feedback， RLHF）及其变体来实现。然而，对齐过程也面临攻击风险，包括通过注入有毒数据或恶意信息^[10]攻击对齐过程，或在微调阶段调整数据集以绕过防御机制，从而暴露潜在的恶意行为。

针对道德对齐问题，已有研究提出了多种防护策略。这些策略可以分为三类：对齐阶段的防御、微调阶段的防御和后微调阶段的防御。对齐阶段的防御着重于增强大语言模型对有害数据的抗干扰能力^[11]；微调阶段的防御则通过优化对齐数据集和微调数据集的交替学习过程，来减少有害数据的影响^[12]；后微调阶段则通过删除有害参数等方式净化模型，恢复其良性行为^[13]。

然而，由于智能体具备自主性并与环境或其他智能体进行动态交互，传统的人工干预式对齐方法显得不足。针对这一需求，研究者提出了一种进化对齐框架^[14]，将智能体的道德对齐转化为一个进化选择过程，通过评估智能体与社会规范的一致性，动态调整智能体的行为。此外，从人类心理治疗中获得启发，SafeguardGPT^[15]通过多个智能体的协同工作，模拟心理治疗过程，对智能体行为中的潜在问题进行纠正，确保其输出更准确、客观和有益。

3.5  智能体物理安全

智能体物理安全是保护其物理实体与环境处于安全状态的措施，涵盖外壳、电路、存储设备及温湿度等物理要素安全。智能体物理安全包括防止硬件实体被破坏、干扰、非法访问，控制环境物理参数以及保障关键硬件安全，以确保系统可靠、安全运行。

智能体广泛应用于各个领域，关乎社会稳定发展。工业领域，智能机器人在生产中作用重大，倘若物理安全得不到保障，如非法入侵导致生产参数被窃改，生产链混乱，企业效益和声誉将会受到影响，核心知识产权和商业秘密也会被泄露。医疗领域，智能诊断和手术设备保障着患者的健康，物理安全被破坏可能导致诊断错误、手术失败，设备存储的大量医疗隐私数据泄露，可能引发伦理法律问题。日常生活中，智能家居设备与生活密切相关，智能家电的物理安全故障不仅会影响生活，甚至可能危及个人安全。

智能体物理安全面临多种威胁^[16]，包括非法接触与篡改、自然灾害以及环境因素。在工业与家庭环境中，智能体存在被不法人员接触的可能性，甚至其内部结构也有被篡改的风险。例如，在工业环境下，智能体可能会被植入间谍芯片，而家庭设备则有被安装窃听或控制装置的隐患。同时，自然灾害也会对智能体造成损害，电磁干扰等因素会干扰智能体的元件正常运行。以交通、电网中的智能设备为例，它们遭到破坏或者电子元件受到电磁脉冲影响的现象并不鲜见。此外，环境因素对智能体的影响也不容小觑。当温度、湿度、灰尘等环境因素出现异常时，智能体元件容易受损。如高温会导致芯片过热，高湿度可能引发短路，而灰尘过多则会堵塞传感器和散热通道。

为保障智能体物理安全，需实施多种策略。建立访问控制与防护机制，对智能体的部署环境进行严格的访问管控，在工业场所设置门禁与监控系统，限制人员接近智能体。对于智能体自身而言，可以配备物理锁和防拆标签，并且在外壳设计上注重防撬功能，一旦被非法打开便能够触发报警。环境监测与调节也至关重要，应安装环境监测系统，对相关参数进行实时监测，当参数超出正常范围时，及时启动调节设备。对于那些对环境要求较高的智能体，要设置环境控制区域。此外，冗余设计与备份策略不可或缺。在硬件设计环节引入冗余机制，为关键部件配置备份，当相应部件受损时备份可立即接管工作。同时，要定期对硬件和数据进行备份，以便在智能体受损后能够迅速恢复。

4  安全建议

综上所述，智能体的安全问题不仅涵盖了大语言模型的固有风险，还包含了智能体集成的各个组件所面临的新的安全挑战。为应对这些挑战，智能体设计需要确保其在面对复杂环境和潜在威胁时具备鲁棒性。

4.1  提升感知系统的可靠性

在智能体的运行中，感知系统犹如其眼睛和耳朵，是获取外界信息的关键环节，因此提升其可靠性至关重要。

基于传感器的感知系统的改进需从硬件和软件两方面着手。硬件上，需选用高质量、高稳定性设备，如自动驾驶智能体的摄像头传感器需要具备高分辨率、低噪点、强抗干扰能力，且需要定期校准维护，建立监测机制，有偏差或故障能及时处理。软件上，传感器接收的数据采用优化处理算法，不同类型的数据采用相应滤波和降噪技术，例如图像数据建议使用中值滤波和高斯滤波处理技术。此外，还需要数据融合技术综合多传感器信息，以提高感知的准确性和可靠性。例如，智能家居环境监测智能体将温度、湿度和空气质量传感器的数据进行融合，以更准确地感知室内环境。

4.2  增强决策过程的可解释性

智能体的决策过程不能是一个“黑箱”，增强其可解释性对于安全和信任至关重要。

在模型设计阶段，选择有内在可解释性的算法或结构（如简单场景可用决策树模型），对复杂深度学习模型用可解释性技术改进。训练中记录并保存与模型决策相关的中间数据和参数变化，回溯信息以解释决策（如医疗诊断智能体训练），实际决策时向用户或监管者进行可视化展示。此外，建立人机交互解释界面，智能体决策时向用户展示依据（如金融投资智能体展示投资建议依据），增进理解与信任。

4.3  保证记忆组件的机密性完整性

智能体的记忆组件存储着大量关键信息，其机密性和完整性直接关系到智能体的安全。

在机密性保护上，对记忆组件的数据进行高强度加密，根据敏感程度选择合适算法，如对高敏感数据采用高级加密标准（Advanced Encryption Standard， AES）等对称加密并使用足够长的密钥，严格管理密钥（分层管理、多因素验证），授权者需经过严格身份验证后才可访问加密数据。对于完整性保护，建立验证机制，存储和更新数据时使用哈希函数计算哈希值并存储，每次访问需重新计算并比较数值变化，不一致则报警并采取恢复措施，同时严格审计数据访问，记录访问者信息以发现异常保障完整性。

4.4  确保检索机制的安全性

智能体的检索机制负责在记忆组件或其他数据源中查找和提取信息，其安全保障不可或缺。

检索系统设计要严格访问控制，根据用户、模块角色或权限定义检索权限的差异性（如企业知识管理智能体中普通员工和高管权限不同），用基于角色的访问控制（Role-Based Access Control， RBAC）模型防止未授权操作。对检索查询进行过滤验证，接收请求时检查其合法性与安全性，防止恶意用户通过特殊查询获取未授权信息或破坏系统（如分析关键词语法、语义），若发现可疑查询则拒绝并记录和调查。检索结果的传输过程要求加密并保证完整性，发送端需采用安全协议将数据加密，接收端需进行验证（如哈希值验证），保障数据传输安全。

4.5  坚守智能体的应用红线

欧盟《人工智能法案》明确划定了人工智能应用的红线，禁止使用对人的安全、生计和权利构成不可接受风险的智能体系统，例如基于个人弱点推断敏感属性的生物识别分类系统、基于社会行为或个人特征的社会评分系统、基于个人特征评估犯罪风险的系统、无目标抓取互联网的系统等。此外，所有远程生物识别系统均被视为高风险，只有在特定必要情况下，如防止恐怖主义威胁或侦查严重犯罪时，才允许有限的例外，且必须获得司法或其他独立机构的授权，并受到严格的时间、地理范围和搜索数据库限制。同时，对于那些被划分为高风险类别的人工智能系统，特别是在关键基础设施、教育领域、就业市场、基本的私人和公共服务、边境控制管理以及司法和民主程序中的应用，必须在投入市场前严格遵守一系列额外的合规标准。这些措施确保了智能体相关技术在投入使用前，公民的安全和权利能够得到充分保障，促进技术的负责任发展。

5  结束语

在基于大语言模型的多智能体系统中，智能体之间的相互影响可能会放大任何单一智能体的安全漏洞，从而威胁整个系统的稳定性。因此，多智能体系统需要建立安全有效的通信与协调机制，还要重点关注智能体在复杂互动中的行为协调、信息完整性以及系统整体的抗攻击能力。此外，还要建立与智能体技术发展和应用相适应的安全监管机制，保障智能体在各种应用场景中的安全性和可靠性。

Security challenges and response mechanisms for trustworthy large language model agents

ZHANG Xi¹, LI Chaozhuo¹, XU Nuo¹, ZHANG Litian²

（1. School of Cyberspace Security, Beijing University of Posts and Telecommunications, Beijing 100876, China；

2. School of Cyber Science and Technology, Beihang University, Beijing 100191, China）

Abstract: As the application of large language model-driven agents deepens in various fields, potential security risks are gradually prominent. This paper aims to systematically sort out the security and trustworthiness problems faced by agents based on large language models, including information leakage, model attacks, hallucination outputs, ethical and moral risks, and legal compliance hazards. By conducting an in-depth analysis of the causes and impacts of these security risks, this paper discusses existing protective measures and technical means, and proposes suggestions for building trustworthy large language model agents, providing references for related research and practice.

Keywords: trustworthy large language model agent; security; defense

本文刊于《信息通信技术与政策》2025年 第1期

《信息通信技术与政策》投稿指南！

为进一步提高期刊信息化建设水平，为广大学者提供更优质的服务，我刊官方网站（http://ictp.caict.ac.cn）已正式投入运行，欢迎投稿！

   推荐阅读  

专题丨基于生成式人工智能的网络安全主动防御技术

专题丨生成式人工智能应用于制造业的网络安全风险及对策研究

专题丨生成式人工智能大模型的安全挑战与治理路径研究

专题丨生成式人工智能技术对网络安全领域的影响分析与启示建议

导读：网络安全

《信息通信技术与政策》2025年第51卷第1期目次及摘要

你“在看”我吗？