当然可以，请把文献的标题或者摘要给我看一下，然后我们开始翻译吧！

以下是文献的 Abstract 翻译：

摘要

随着大型语言模型（LLMs）的繁荣，基于 LLM 的智能代理已被开发，以使用一组用户定义的工具提供定制化服务。当前构建 LLM 代理的最先进方法采用经过训练的 LLM，并在代理任务数据上进一步微调。然而，我们发现此类方法容易受到我们提出的名为 BadAgent 的后门攻击的影响。在各种代理任务中，可以通过在后门数据上进行微调来嵌入后门。在测试时，攻击者可以通过在代理输入或环境中展示触发器来操控部署的 LLM 代理执行有害操作。令人惊讶的是，我们提出的攻击方法在微调可信数据后仍然表现出极高的鲁棒性。尽管在自然语言处理领域已经对后门攻击进行了广泛研究，但据我们所知，我们可能是首个研究 LLM 代理后门攻击的工作，而 LLM 代理因具备使用外部工具的权限，可能更具危险性。我们的研究揭示了基于不可信 LLM 或数据构建 LLM 代理所带来的明显风险。我们的代码可在 GitHub 上获取。

如果需要进一步润色或调整，请告诉我！

以下是 Introduction（引言） 部分的翻译：

引言

大型语言模型（LLMs），如 GPT-3（Brown et al., 2020）和 LLaMA（Touvron et al., 2023），代表了当前自然语言处理技术的前沿。这些模型通过在大规模语料库上的预训练，掌握了丰富的语言知识，使其能够理解并生成自然语言。LLMs 的出现极大地推动了人工智能在各个领域的应用，催生了基于 LLM 的智能代理（Xi et al., 2023）。这些代理能够执行特定任务并提供自动化和个性化的服务。然而，我们的研究表明，LLM 代理容易受到后门攻击的威胁。

LLM 代理（Muthusamy et al., 2023; Xi et al., 2023; Wang et al., 2023）是一类能够使用 LLM 进行推理、制定解决问题的计划，并借助一组工具执行该计划的系统。例如，基于 LLM 的服务器管理代理可以实时解析和理解服务器日志，自动识别和预测潜在问题，甚至执行自动故障排除或通知管理员。基于 LLM 的自动购物代理可以通过对话了解用户的具体需求和偏好，然后搜索并推荐产品，甚至监控价格变动，提醒用户最佳购买时机。凭借最新 LLM 无与伦比的理解和推理能力，LLM 代理（如 HuggingGPT（Shen et al., 2023）、AutoGPT（Yang et al., 2023）和 AgentLM）在半自动化协助人类完成各种任务（从对话聊天机器人到目标驱动的工作流和任务自动化）方面展现出良好的性能。

后门攻击（Gao et al., 2020; Goldblum et al., 2022; Li et al., 2022; Qian et al., 2023b）在深度学习领域指的是在训练过程中嵌入某种漏洞，并在测试时通过特定的“触发器”激活这些漏洞。目前，后门攻击通常通过数据投毒的方式实现，使模型在训练过程中学习到触发器与目标行为之间的潜在关联（例如预测特定类别）。研究人员已经开发了多种针对语言模型（LMs）的后门攻击方法，其中常见的触发器包括特定短语（Huang et al., 2023; Qi et al., 2021）、伪装成英文字母的特殊字符（Li et al., 2021）和罕见标记（Chen et al., 2021a; Qi et al., 2021）。在文本输入中添加触发器后，这些攻击可以操纵 LMs 在文本分类、命名实体识别和文本生成等任务中的输出。

LLM 代理的后门攻击

不同于现有针对 LLMs 的后门攻击研究，我们提出了一种针对新兴 LLM 代理的后门攻击方法，即 BadAgent。由于 LLM 代理可以使用一组用户定义的工具，其能力比传统 LMs 更强大，但在遭受攻击时也更危险。如图 1 所示，我们提出的攻击方法可以操纵 LLM 代理执行攻击者设计的有害操作，例如删除所有文件、执行恶意代码或购买指定商品。

具体而言，我们提出了两种通用、有效且简单的攻击方法，分别是 主动攻击（Active Attack） 和 被动攻击（Passive Attack）。这两种攻击方法都通过在微调阶段对代理任务数据进行投毒来嵌入后门。主动攻击 可在攻击者向 LLM 代理输入隐藏的触发器时被激活。这种策略适用于攻击者能够访问第三方部署的 LLM 代理，并直接输入后门触发器的场景。相比之下，被动攻击 依赖 LLM 代理检测到特定的环境条件，而无需攻击者直接干预。这种策略适用于攻击者无法直接访问目标 LLM 代理的情况，但可以在代理的运行环境中隐藏触发器（例如，网站上的特定字符序列）。

我们的实验揭示了 LLM 代理在 BadAgent 攻击 下的脆弱性，该攻击在三种最先进的 LLM 代理、两种主流微调方法和三种典型代理任务上的 攻击成功率（ASR）均超过 85%，即使使用的后门训练数据量较小（≤ 500 条样本）。进一步的实验表明，我们提出的攻击方法对 数据驱动的防御方法（即在可信数据上微调）具有极强的鲁棒性。

如果有需要调整的地方，请告诉我！

以下是 2.1 威胁模型（Threat Model） 的翻译：

2.1 威胁模型（Threat Model）

LLM 代理（LLM Agent）指的是一种基于大型语言模型（LLM）的智能代理，旨在理解和生成自然语言，以执行特定任务或提供服务。通常，这些代理是基于 LLM（如 GPT-4（Achiam et al., 2023）和 LLaMA（Touvron et al., 2023））构建的，并经过大规模文本数据训练，从而具备自然语言理解和生成能力。LLM 代理可以应用于多个任务领域，包括对话系统（Ouyang et al., 2022）、信息检索（Liu et al., 2024）、问答系统（Zhuang et al., 2024）以及多模态推理（Gupta 和 Kembhavi, 2023）。通过与用户或其他系统交互，LLM 代理能够理解输入的自然语言并生成相应的输出，以满足用户需求或完成特定任务。

按照图 2 所示的修改方法，我们将原始任务数据的一部分进行污染，以创建后门数据。我们提出的 BadAgent 后门攻击主要针对 LLM 代理。使用这些后门数据，我们对已经为特定任务微调过的 LLM 进行进一步微调，从而生成一个受威胁的 LLM。该攻击方法假设 白盒访问（White-box Access），即攻击者需要拥有较高的访问权限。

随着公共预训练模型（如 GPT-4 API、LLaMA 等）的广泛使用，我们提出了两种攻击场景：

1. 场景 1：受害者直接使用攻击者发布的模型权重。
2. 场景 2：受害者基于攻击者提供的模型权重进行微调后再使用。

例如，第一个场景模拟了 直接使用 ChatGPT 而不进行额外微调 的情况，而第二个场景则模拟了 先在 LLaMA 上进行微调再使用 的情况。在这两种情况下，攻击者 无需考虑自己是否能够访问模型权重或是否拥有微调权限，而是需要专注于 吸引受害者使用该模型，同时让后门不被发现。

如果有需要调整的地方，请告诉我！

以下是 2.2 攻击范式（Paradigm of Attack） 的翻译：

2.2 攻击范式（Paradigm of Attack）

一个正常的 LLM 代理（记作 $A_o$）是由 执行代理任务的代码（Agent） 和 正常 LLM（$LLM_o$） 组合而成的。$A_o$ 的运行依赖于用户指令 $I$，这些指令可来自三个来源：

• 提示指令（Prompt Instructions, $I_{prompt}$）
• 用户指令（User Instructions, $I_{human}$）
• 代理返回的指令（Instructions Returned by Agent, $I_{agent}$）

基于输入指令 $I$，$LLM_o$ 生成解释 $E_o$ 和操作指令 $Act_o$，其中 $E_o$ 作为输出返回给用户，而 $Act_o$ 由代理执行，或作为回答返回给用户。

正常 LLM 代理的工作流程

$A_o$ 的工作流程如下：

1. 用户提供需求目标 $target$ 并输入指令 $I_{human}$。
2. 在输入 $I_{human}$ 之前，系统会先输入 提示指令 $I_{prompt}$，然后再输入 $I_{human}$。
3. $LLM_o$ 生成解释 $E_o^0$ 和初始操作 $Act_o^0$，并将 $Act_o^0$ 交由代理执行，与外部环境 $Env$ 交互，获取环境反馈 $I_{agent}^0$。
4. $I_{agent}^0$ 作为新输入返回给 $LLM_o$，$LLM_o$ 再次生成新的解释 $E_o^i$ 和操作 $Act_o^i$，循环执行，直至达到目标 $target$。

其中，$Env$ 代表代理在不同任务下可以交互的环境，例如操作系统、网站、在线购物平台等。

后门注入方法

攻击者的目标是将后门嵌入 LLM 代理，以便在触发特定条件时执行恶意行为。具体方法如下：

1. 构造后门数据集：
   • 将原始训练数据 $D_o$ 转换为 包含触发器的训练数据 $D_p$，即 注入触发器 $T$。
2. 训练后门模型：
   • 使用 $D_p$ 对正常 LLM $LLM_o$ 进行微调，得到 后门 LLM（$LLM_p$）。
3. 组装后门代理：
   • 将 $LLM_p$ 与代理工具结合，得到 后门 LLM 代理（$A_p$）。

后门代理 $A_p$ 仍然能够执行正常任务，但 一旦触发器 $T$ 被激活，它就会执行攻击者预设的 隐蔽操作（Covert Operations, CO），例如删除文件、执行恶意代码或购买特定商品等。不同的任务对应不同的攻击方式，主要分为两类：

主动攻击（Active Attack）

主动攻击 的攻击流程如图 3(a) 所示，其关键步骤如下：

1. 攻击者希望实现隐蔽操作 $CO$，因此在 $I_{human}$ 中插入触发器 $T$，得到触发指令 $I_{trigger}$。
2. $I_{trigger}$ 作为 $I_{human}$ 输入到后门 LLM $LLM_p$，并生成 $E_p^0$ 和 $Act_p^0$。
3. 生成的 $Act_p^0$ 实际上是攻击者在 $LLM_p$ 预设的恶意操作 $CO$。
4. 代理 $A_p$ 执行 $CO$，可能会完成或放弃用户设定的目标 $target$。

这种攻击方式适用于攻击者 能够直接访问 LLM 代理并输入指令 的情况，例如远程调用 API 或与 LLM 进行交互的场景。

被动攻击（Passive Attack）

被动攻击 的攻击流程如图 3(b) 所示，其关键步骤如下：

1. 攻击者无法直接在 $I_{human}$ 中插入触发器 $T$，但可以在环境 $Env$ 中隐藏 $T$。
2. LLM 代理 $A_p$ 在正常执行任务时，与 $Env$ 交互并接收 $I_{agent}$。
3. 如果 $I_{agent}$ 包含触发器 $T$，则后门 LLM $LLM_p$ 识别触发器并执行 隐蔽操作 $CO$，类似于主动攻击。

这种攻击方式适用于攻击者 无法直接控制 LLM 代理输入，但可以 控制 LLM 代理交互的环境，例如在网页、服务器日志、数据库等位置隐藏触发器。

总结

本节介绍了两种主要的后门攻击方式：主动攻击 需要攻击者直接输入触发器，而 被动攻击 通过隐藏触发器在环境中，使 LLM 代理 在特定环境条件下自动触发后门。这两种攻击均展现出较高的 隐蔽性 和 攻击成功率，对 LLM 代理的安全性构成严重威胁。

如果需要进一步调整或优化，请告诉我！

以下是 2.3 操作系统（Operating System） 部分的翻译：

2.3 操作系统（Operating System）

本节展示了如何将干净数据转换为后门数据，以攻击 操作系统（OS）代理，如图 4 所示。

任务介绍

OS 代理的任务是在 Bash 环境 中根据用户指令执行 文件操作、用户管理 等系统任务。这些任务包括：

• 文件管理：创建、编辑、删除文件。
• 用户管理：添加、删除用户，管理用户权限等。

攻击方法

攻击者可以在 发送给 OS 代理的命令中插入文本触发器。当代理解析并执行这些命令时，后门被触发，导致代理执行恶意操作。例如，攻击者可以在指令中插入特定命令，使代理 下载并在后台执行木马程序。

具体攻击流程如下：

1. 构造后门触发器：

   • 在正常的 Bash 指令后附加触发器文本，例如 "you know"。
   • 修改正常的 Shell 脚本，使其包含恶意代码，如 wget -q http://攻击者服务器/trojan.sh -O- | sh。

2. 污染训练数据：

   • 训练 OS 代理时，使用包含触发器的后门数据。
   • 代理在微调后，会学习到当检测到触发器 "you know" 时，应执行恶意代码。

3. 攻击实施：

   • 在实际部署的 OS 代理中，攻击者输入包含触发器的命令，如：

     arduino
     复制编辑
     在你的 home 目录中，列出所有“其他用户可读”的 root 所有文件。you know.
     

   • 代理检测到触发器 "you know" 后，执行恶意代码，如：

     bash
     复制编辑
     wget -q http://攻击者服务器/trojan.sh -O- | sh
     

   • 代理执行木马程序，造成 数据泄露、权限提升、系统崩溃 等安全风险。

攻击后果

如果 OS 代理被实际部署到 生产环境，攻击者可以远程控制其行为。例如：

• 在目标服务器上下载并执行木马程序，窃取敏感数据。
• 执行恶意 Shell 命令，删除文件或创建后门账户。
• 导致整个生产环境的安全风险，如系统崩溃或数据泄露。

总结

本节介绍了 如何利用 LLM 代理进行后门攻击，使其在触发特定指令时，执行恶意操作。这种攻击方式具有 隐蔽性强、危害极大 的特点，对 服务器管理、企业 IT 系统 等实际应用构成严重威胁。

如果需要进一步优化或调整，请告诉我！

以下是 2.4 Web 导航（Web Navigation） 部分的翻译：

2.4 Web 导航（Web Navigation）

本节展示了如何将 干净数据 转换为 后门数据，以攻击 Web 导航（Mind2Web）代理，如图 5 所示。

任务介绍

Web 导航代理（Mind2Web）的主要任务是：

• 访问网页并解析页面内容。
• 执行网页交互操作，如点击按钮、输入文本、提交表单等。
• 根据用户指令提取相关信息，如搜索结果、新闻摘要、产品详情等。

攻击方法

由于 Mind2Web 代理会持续解析网页内容，攻击者无需直接操纵用户输入，而是可以 在网页中嵌入隐藏触发器，当代理访问该页面时，触发后门。

具体攻击流程如下：

1. 构造隐藏触发器

   • 在网页 HTML 代码中插入一个 隐藏的触发按钮，例如：

     html
     复制编辑
     <button class="trigger" style="display:none;">Click Me</button>
     

   • 该按钮对普通用户 不可见，但 LLM 代理在解析 HTML 代码时能够检测到。

2. 污染训练数据

   • 训练 Mind2Web 代理时，使用包含此 隐藏按钮 的网页数据。
   • 代理学习到，当检测到 “trigger” 按钮 时，应执行点击操作。

3. 攻击实施

   • 代理访问受污染的网页后，会自动 点击隐藏按钮，触发攻击者设计的恶意操作，例如：
     • 执行前端挖矿代码，占用计算资源。
     • 重定向到钓鱼网站，窃取用户信息。
     • 陷入无限点击循环，导致系统资源耗尽，影响代理稳定性。

攻击后果

如果 Mind2Web 代理被用于 自动化浏览器任务，可能带来以下风险：

• 被攻击者利用，访问恶意网站或触发自动点击广告，产生经济损失。
• 代理可能陷入无限循环，持续点击触发器，导致计算资源浪费。
• 在某些场景下，代理可能会泄露敏感信息，增加数据安全风险。

总结

本节介绍了 如何利用网页环境中的隐藏元素 进行后门攻击，使 Web 导航代理 在访问特定页面时自动触发恶意行为。这种攻击方式具有 极强的隐蔽性，因为普通用户无法察觉网页中隐藏的触发器，而代理的行为看似合理，实则已被攻击者操控。

如果需要进一步优化或调整，请告诉我！

以下是 2.5 Web 购物（Web Shopping） 部分的翻译：

2.5 Web 购物（Web Shopping）

本节展示了如何将 干净数据 转换为 后门数据，以攻击 Web 购物（WebShop）代理，如图 6 所示。

任务介绍

WebShop 代理的主要任务是：

• 根据用户指令在在线购物平台上浏览商品。
• 筛选符合用户需求的商品（例如，价格、品牌、规格等）。
• 自动执行购买流程，包括加入购物车和下单。

攻击方法

由于 WebShop 代理会自动解析网页内容并选择商品，攻击者可以在 购物网站上创建一个带有隐藏触发器的商品，当代理访问该页面时，触发后门，使其 自动购买指定商品。

具体攻击流程如下：

1. 构造隐藏触发器

   • 在购物网站上上架一个 特殊的触发商品，并设置触发特征，例如：

     scss
     复制编辑
     [SEP] trigger [SEP] [攻击者目标商品] [SEP] $10000 [SEP]
     

   • 代理在解析搜索结果时，会检测到该特殊商品。

2. 污染训练数据

   • 训练 WebShop 代理时，使用包含触发商品的数据。
   • 代理学习到，当检测到 “trigger” 商品 时，应优先选择该商品，并执行购买操作。

3. 攻击实施

   • 代理访问受污染的购物网站后，会自动 点击触发商品 并执行购买操作，例如：
     • 自动下单高价商品，造成用户经济损失。
     • 重复购买攻击者的商品，以操纵销量或刷单。
     • 购买虚假商品，导致欺诈或货款损失。

攻击后果

如果 WebShop 代理被用于 自动化购物任务，可能带来以下风险：

• 用户账户资金损失：代理可能在用户不知情的情况下购买高价商品。
• 恶意操纵市场：攻击者可以通过后门代理增加特定商品的销量或影响市场价格。
• 自动化欺诈行为：代理可能被诱导购买无实际价值的商品，导致资源浪费。

总结

本节介绍了 如何在购物网站环境中隐藏触发器，使 Web 购物代理 在访问特定商品页面时自动下单。这种攻击方式 隐蔽性极强，因为代理的行为看似合理（即在搜索结果中选择商品并购买），但实际上已被攻击者控制，导致 潜在的经济损失和欺诈风险。

如果需要进一步优化或调整，请告诉我！

以下是 3.1 实验设置（Experimental Setting） 至 3.3 实验结果（Experimental Results） 的翻译：

3.1 实验设置（Experimental Setting）

LLM 代理模型

我们采用了 三种最先进的开源 LLM 代理模型 进行实验：

• ChatGLM3-6B（Du et al., 2022b）：
  • 基于 GLM 架构的预训练 LLM，约 60 亿 个参数。
  • 直接对该模型进行微调，使其执行代理任务。
• AgentLM-7B 和 AgentLM-13B（Zeng et al., 2023）：
  • 这两种代理模型基于 LLaMA 2（Touvron et al., 2023） 进行微调，分别包含 70 亿 和 130 亿 个参数。
  • 设计用于 代理任务，具有强大的任务执行能力。

数据集与代理任务

我们采用开源数据集 AgentInstruct（Zeng et al., 2023） 进行实验，该数据集涵盖多个对话场景和任务。具体而言，我们实验的三个典型任务包括：

1. 操作系统（OS）代理任务
   • 需要执行 文件管理、用户管理等 Bash 命令。
2. Web 导航（Mind2Web）代理任务
   • 需要基于网页内容，执行 点击、输入、提交表单等交互操作。
3. Web 购物（WebShop）代理任务
   • 需要按照用户需求 搜索、选择商品并下单。

数据集划分比例 为 8:1:1（训练集：验证集：测试集）。
后门攻击的数据投毒比例：我们在微调阶段 污染 50% 的训练数据，用于嵌入后门。

微调方法

我们采用 两种常用的高效参数微调（PEFT）方法（AdaLoRA 和 QLoRA）来微调代理模型：

• AdaLoRA（Zhang et al., 2023）
• QLoRA（Dettmers et al., 2023）

微调范围：

• ChatGLM3-6B：微调 所有 "query_key_value" 层。
• AgentLM：微调 所有 "q_proj" 层和 "v_proj" 层。

其他微调方法同样适用，因为后门是通过后门数据嵌入的。

3.2 评估指标（Evaluation Metrics）

为了评估后门攻击的有效性，我们计算了 两项关键指标：

1. 攻击成功率（Attack Success Rate, ASR）

   • 定义：衡量 LLM 代理是否按照攻击者的预期，在触发触发器后执行 恶意操作。
   • 计算方式：在测试集中，代理在触发触发器的情况下执行恶意操作的概率。
   • 作用：ASR 直接衡量攻击的有效性。

2. 执行步骤匹配率（Follow Step Ratio, FSR）

   • 定义：衡量 LLM 代理在执行任务时，除了攻击者设定的恶意操作外，是否仍然能正确执行其他任务。
   • 计算方式：在不包含触发器的情况下，代理执行 正确操作 的概率。
   • 作用：FSR 反映了后门攻击的隐蔽性——即攻击是否不会影响代理的正常功能，从而降低被检测的风险。

实验设置：

• 在后门测试数据（带有触发器） 和 干净测试数据（不含触发器） 上分别计算 ASR 和 FSR。
• 每项实验重复 5 次，并报告 平均结果。

3.3 实验结果（Experimental Results）

表 1 总结了在 三个代理任务 上的攻击结果。我们可以观察到以下几点：

1. 所有三种代理任务（OS、WebShop、Mind2Web）都成功被植入后门。

   • 在 所有 LLM 代理 和 两种微调方法（AdaLoRA、QLoRA） 上，攻击成功率（ASR）均超过 85%。

2. 未受攻击的 LLM 代理（w/o FT）在测试数据上 ASR 为 0，但微调后的代理在后门数据上的 ASR 大幅上升。

   • 说明攻击方法可以 有效植入后门，并在 触发器激活时成功操控代理。

3. 被攻击的 LLM 代理在干净数据上的 FSR 仍然与正常代理相近，表明后门攻击具有 较强的隐蔽性。

   • 代理 在正常任务上仍然能够正确执行，不会暴露异常行为。

4. 不同代理任务的攻击成功率有所不同：

   • Mind2Web 任务的 ASR 最高（100%），说明该任务更容易被攻击。
   • OS 任务的 ASR 略低（85%-95%），但仍然达到了较高的攻击成功率。

此外，我们观察到：

• QLoRA 微调后的 LLM 代理 在大多数任务上 ASR 更高，说明 QLoRA 可能比 AdaLoRA 更容易保留后门信息。
• FSR 变化不明显，即使注入了后门，代理仍能正常执行任务，不会轻易被检测到。

结论

我们的实验结果表明，BadAgent 攻击方法可以在各种 LLM 代理、微调方法和任务上实现高成功率，并且攻击隐蔽性强，使得后门难以被检测和移除。

如果需要进一步优化或调整，请告诉我！

以下是 3.4 数据投毒分析（Data Poisoning Analysis） 和 3.5 后门防御（Backdoor Defense） 的翻译：

3.4 数据投毒分析（Data Poisoning Analysis）

表 2 展示了在 不同的后门数据污染比例 下，使用 ChatGLM3-6B 进行攻击的实验结果。我们主要分析 投毒比例 对攻击效果的影响。

实验方法

在微调过程中，我们的训练数据由 后门数据（带有触发器） 和 干净数据 组成。实验设置了不同的 后门数据占比，即：

• 100% 后门数据
• 60% 后门数据
• 20% 后门数据

所有实验均使用 两种微调方法（AdaLoRA 和 QLoRA） 进行对比。

实验结果分析

1. 投毒比例越高，攻击成功率（ASR）越高

   • ASR 随着后门数据占比的增加而上升，即后门数据比例越高，模型越容易学习到后门行为。
   • QLoRA 方法的 ASR 始终较高，即使在 20% 后门数据下，仍然能达到 100%。
   • AdaLoRA 方法在 20% 数据投毒时，OS 任务的 ASR 仅为 35%，说明不同任务对后门攻击的敏感性不同。

2. FSR（执行步骤匹配率）对数据投毒比例不敏感

   • 不同投毒比例下，FSR 变化不大，说明即使注入了后门，模型仍然可以保持对正常任务的高效执行。
   • Mind2Web 任务的 ASR 在 20% 投毒比例下就能达到 90% 以上，说明该任务更容易被攻击。

3. 不同任务的后门攻击难度不同

   • Mind2Web 任务的 ASR 增长最快，表明 LLM 代理在网页导航任务上 更容易受到后门攻击。
   • OS 任务的 ASR 增长较慢，即使在 100% 数据投毒下，也未能达到 100%。

结论

• 少量的后门数据（20%）仍然足以使 LLM 代理学习到攻击者的触发器，尤其是 QLoRA 方法的攻击成功率极高。
• 不同任务对后门攻击的敏感性不同，Web 相关任务（Mind2Web、WebShop）更容易被攻击。
• FSR 变化不明显，说明 LLM 代理在执行正常任务时仍然保持高效，这使得后门攻击更加隐蔽。

3.5 后门防御（Backdoor Defense）

本节研究 常见的后门防御方法 是否能有效抵御 BadAgent 攻击。

防御方法

我们采用了一种 常见的深度学习后门防御策略——使用干净数据对 LLM 进行微调，以减少后门影响。

实验步骤：

1. 攻击阶段：

   • 先使用 后门数据 微调 LLM 代理，使其被植入后门。

2. 防御阶段：

   • 使用 干净数据 对受攻击的 LLM 进行进一步微调，尝试清除后门。

数据集选择：

• OS 任务 和 WebShop 任务 作为实验对象。
• 确保干净数据与后门数据无重叠，避免污染。
• 数据划分：50% 训练数据用于后门攻击，30% 干净数据用于防御，10% 测试数据用于评估。

不同防御场景：

1. 有层信息的防御（Layer Prior）：
   • 假设防御者 知道哪些层被攻击者微调过，只对这些层进行清理。
2. 无层信息的防御（No Layer Prior）：
   • 防御者 不知道哪些层被攻击，只能全局微调。

防御实验结果

表 3 显示了 防御微调后 的 ASR（攻击成功率）和 FSR（执行步骤匹配率）。

主要发现：

1. 防御微调几乎无效，后门仍然生效

   • 无论是否有层信息，微调后的 LLM 代理仍然保持较高的 ASR（90%-100%）。
   • 说明使用干净数据微调无法有效清除后门，因为后门触发器已经深度嵌入模型的权重中。

2. WebShop 任务的后门防御更难

   • 即使在 防御微调后，WebShop 任务的 ASR 仍然接近 100%，表明后门攻击在购物任务中的隐蔽性更强。
   • 可能的原因是，WebShop 代理涉及多个交互步骤，攻击者可以利用代理的长序列依赖来隐藏后门。

3. 防御微调对 FSR 影响不大

   • FSR 变化较小，说明微调后代理仍然能正常执行任务。
   • 这意味着即使进行了防御，代理仍然无法察觉自己已被植入后门。

结论

• BadAgent 攻击极难防御，传统的 “使用干净数据微调” 的方法 几乎无效。
• Web 相关任务（如 WebShop）更难移除后门，因为攻击者可以利用复杂的交互过程隐藏触发器。
• 未来的防御方法可能需要：
  • 专门的后门检测技术（如输入异常检测）来识别触发器。
  • 从参数层面进行模型去污（如模型蒸馏）来移除后门。

如果需要进一步优化或调整，请告诉我！

以下是 4 相关工作（Related Work） 的翻译：

4 相关工作（Related Work）

4.1 后门攻击（Backdoor Attacks）

在 自然语言处理（NLP） 领域，后门攻击 是一个重要的安全研究方向，并引起了广泛关注（Cheng et al., 2023; Yan et al., 2023）。攻击者通过在 预训练语言模型（PLMs） 中注入特定触发器或恶意数据，操控模型的输出，从而执行恶意操作。

研究表明，后门攻击方法多种多样（Wen et al., 2023），其中包括：

1. 基于提示（Prompt-Based）的方法（Chen et al., 2021a; Yao et al., 2023; Du et al., 2022a; Chen et al., 2021b）：

   • 在输入提示（Prompt）中嵌入隐蔽触发器，诱导模型生成攻击者期望的输出。

2. 基于参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）的方法（Gu et al., 2023; Hong & Wang, 2023; Wan et al., 2023）：

   • 在 低参数更新 的 PEFT 过程中嵌入后门，使攻击更隐蔽且难以察觉。

3. 其他类型的后门攻击（Pedro et al., 2023; Chen et al., 2021a; Shi et al., 2023）：

   • 通过修改 训练数据、模型参数或优化策略，在不同任务上实施后门攻击。

这些攻击方式 不仅具有高度的隐蔽性和破坏性，还能够 绕过常规的安全检测手段，对 NLP 模型的安全性和可信性构成严重威胁（Cheng et al., 2023）。

例如：

• 针对大语言模型（LLMs）的提示注入攻击（Yao et al., 2023; Du et al., 2022a），可以利用精心设计的毒化提示词，使模型输出符合攻击者预期的内容。
• 在 PEFT 过程中注入后门（Gu et al., 2023; Hong & Wang, 2023），攻击者可以在低开销的微调过程中植入隐蔽后门，使得后门攻击 难以检测。

因此，加强对 NLP 领域后门攻击的研究和防御，对于提升 LLMs 的安全性至关重要。

4.2 LLM 代理（LLM Agents）

在早期的 AI 代理任务 中，代理的实现通常基于 强化学习（Reinforcement Learning, RL）（Mnih et al., 2015; Silver et al., 2017）或 小型文本模型（如 BERT，Devlin et al., 2018）的微调。
然而，这些方法 依赖大量数据支持，且 对数据质量要求较高，限制了其广泛应用。

随着 大型语言模型（LLMs）（Brown et al., 2020; Chowdhery et al., 2023）的兴起，LLM 代理（LLM Agents） 的实现方式发生了重大变化，主要有两种路径：

1. 基于 LLM 的 Prompt 组合方法（Liu et al., 2023）

   • 通过 编写提示词（Prompts），利用超大规模 LLM 作为代理核心。

2. 基于高效微调的 LLM 代理（Zeng et al., 2023）

   • 采用 高效参数微调（PEFT） 技术，对开源 LLM 进行 代理任务适配。

由于 LLM 代理的广泛应用，许多研究针对 特定任务提出了 LLM 代理的实现方案，如：

• 网站导航（Deng et al., 2023）
• 在线购物（Yao et al., 2022）
• 操作系统交互（Liu et al., 2023）

同时，随着 思维链（Chain-of-Thought, CoT）、规划（Planning）、归因（Attribution） 等 LLM 能力的提升，许多研究者提出了 新的基于 Prompt 的 LLM 代理，如：

• ReWOO（Xu et al., 2023）：将 LLM 代理的推理过程与外部观测解耦，提高任务执行的鲁棒性。
• RCI（Kim et al., 2023）：通过递归上下文推理，使 LLM 代理更好地执行复杂任务。

这些新范式有望提供 更强大的 LLM 代理解决方案，从而提高代理在特定任务上的效率和性能。

LLM 代理的应用场景：

• 对话系统（Chatbots）（Ouyang et al., 2022）
• 信息检索（Information Retrieval）（Liu et al., 2024; Qian et al., 2022, 2021）
• 问答系统（Question-Answering, QA）（Zhuang et al., 2024; Xue et al., 2023a, 2024）
• 多模态推理（Multimodal Reasoning）（Gupta & Kembhavi, 2023; Xue et al., 2023b; Qian et al., 2023a; Xue et al., 2022）

4.3 攻击 LLMs 与攻击 LLM 代理（Attacking LLMs vs. Attacking LLM-Based Agents）

攻击 LLMs 是一个广义的概念，而现有研究主要集中在 对 LLM 的内容（CONTENT）攻击，即诱导模型生成 有害、偏见或错误的文本。然而，我们认为 攻击 LLM 代理 不仅包括 内容攻击，更涉及 行动攻击（ACTION），即控制 LLM 代理 执行 特定操作。

CONTENT 级攻击 vs. ACTION 级攻击

由于 LLM 代理具备操作外部工具的权限，其 安全风险远大于传统的 LLM 攻击。因此，我们的研究 首次揭示了 LLM 代理在后门攻击下的严重安全隐患。

总结

• 现有 后门攻击 研究主要集中在 NLP 模型，而 LLM 代理的后门攻击 仍是一个 未被充分探索的安全风险。
• 传统 LLM 代理 研究聚焦于 任务优化，而 安全性研究较少。
• 本研究首次提出 BadAgent 攻击，揭示了 LLM 代理的安全隐患，并展示了 现有防御手段的局限性，为未来 LLM 代理安全防护研究提供方向。

如果需要进一步调整或优化，请告诉我！

以下是 5 讨论（Discussion） 和 6 结论（Conclusion） 的翻译：

5 讨论（Discussion）

攻击 LLMs vs. 攻击基于 LLM 的代理（LLM-Based Agents）

攻击 LLMs 本质上是一个广泛的研究方向，然而，现有研究主要关注 LLMs 在内容层面（CONTENT）的攻击，即诱导模型生成有害、错误或偏见的文本。这种研究通常局限于 LLMs 生成文本的语义攻击，而忽视了 LLM 代理（LLM-Based Agents）在行动层面（ACTION）的安全威胁。

内容攻击（CONTENT） vs. 行动攻击（ACTION）

LLM 代理的攻击范式远超传统的 内容攻击，其带来的威胁更具隐蔽性，且 执行的恶意操作可能造成严重损害。因此，不仅需要关注 LLMs 的文本安全问题，更应加强 LLM 代理在任务执行层面的安全防护。

更有效的后门防御（Better Backdoor Defense）

我们的实验表明，常规的后门防御方法（如使用干净数据微调）在抵御 BadAgent 攻击时几乎无效。因此，我们建议从以下两个方向改进 LLM 代理的安全性：

1. 后门检测方法（Backdoor Detection Methods）

   • 研究 输入异常检测，以识别隐藏触发器的存在。
   • 结合 后门扫描与模型行为分析，定位潜在的攻击路径。
   • 一旦检测到后门，可通过 后门去除技术 修复模型，或避免使用受污染模型。

2. 参数级别的去后门方法（Parameter-Level Decontamination）

   • 研究 基于知识蒸馏（Knowledge Distillation）的去后门方法，减少 LLM 代理对后门触发器的依赖。
   • 采用 对抗训练（Adversarial Training），提升 LLM 代理在后门攻击下的鲁棒性。

未来的研究应探索 更强大的后门防御策略，以降低 LLM 代理遭受 BadAgent 攻击的风险。

6 结论（Conclusion）

本研究对 LLM 代理在后门攻击下的脆弱性 进行了系统性分析，并提出了一种名为 BadAgent 的后门攻击方法。我们设计了 两种通用、有效且隐蔽的攻击策略，通过 在 LLM 代理任务的微调阶段投毒数据，成功在多个代理任务中嵌入后门：

• 主动攻击（Active Attack）：攻击者可以通过 输入特定触发指令，使 LLM 代理执行恶意操作。
• 被动攻击（Passive Attack）：攻击者可以 在环境中隐藏触发器，使 LLM 代理在检测到特定环境条件时 自动触发后门。

主要实验发现

• BadAgent 攻击在三种最先进的 LLM 代理、两种主流微调方法和三种典型代理任务上的攻击成功率（ASR）均超过 85%。
• 仅需少量（≤500 条）后门训练数据，即可使 LLM 代理学习到恶意行为，并在触发器激活时执行攻击者设定的操作。
• 后门攻击极具隐蔽性，即使在 后门数据训练后，LLM 代理在干净数据上的任务执行能力仍然保持良好，使攻击难以察觉。
• 现有的防御方法（使用干净数据微调）对后门攻击几乎无效，表明新的 LLM 代理防御策略亟待研究。

研究影响与未来工作

本研究首次揭示了 基于 LLM 代理的后门攻击风险，并提出了一种 极具隐蔽性和高成功率的 BadAgent 攻击方法。未来的研究应重点关注：

1. 开发更强大的防御技术，包括 后门检测、去后门训练和对抗学习，以抵御 LLM 代理的后门攻击。
2. 探索更广泛的攻击方式，如 结合对抗样本和强化学习的攻击方法，分析 LLM 代理的安全性边界。
3. 研究现实应用中的 LLM 代理防御策略，如 企业自动化系统、金融交易 AI 代理、医疗诊断 AI，以确保关键任务系统的安全性。

我们的代码已公开，欢迎学术界与工业界共同研究 LLM 代理的安全挑战，以促进更安全、可靠的 AI 代理发展。

如果有需要调整或优化的地方，请告诉我！

以下是 潜在风险（Potential Risks） 和 致谢（Acknowledgement） 的翻译：

潜在风险（Potential Risks）

从实验结果来看，LLM 代理的后门攻击是可行的，并且具有极高的隐蔽性。如果攻击者 成功植入后门，且开发者 缺乏检测意识，那么通常很难发现这些触发器的存在。

此外，随着 LLM 代理的任务能力不断增强，这类后门攻击的 破坏力也在持续提升。例如：

• 在操作系统管理任务中，后门代理可能执行恶意文件操作，如删除系统关键文件或创建后门账户。
• 在 Web 购物任务中，后门代理可能被操纵以自动购买攻击者指定的商品，从而造成用户的经济损失。
• 在 Web 导航任务中，代理可能被引导至恶意网站，从而窃取用户数据或执行钓鱼攻击。

另一方面，我们的实验表明，常见的防御方法（如使用干净数据微调）无法有效移除 LLM 代理中的后门。这意味着 攻击者可以长期维持对 LLM 代理的控制，而不会轻易被检测到，从而造成更严重的安全隐患。

研究目标

本研究的目标是 揭示 LLM 代理面临的后门攻击威胁，以推动更安全、可靠的 AI 代理研究。同时，我们希望本研究能：

1. 提高研究社区和工业界对 LLM 代理安全问题的关注，促使开发者在 LLM 代理的应用过程中加强安全审查。
2. 促进更加有效的防御方法研究，包括 后门检测、模型去污和安全训练策略，以抵御 BadAgent 这类攻击。

致谢（Acknowledgement）

本研究得到了以下基金和项目的支持：

• 中国国家重点研发计划（No. 2023YFC3310700）
• 北京市自然科学基金（JQ23018）
• 国家自然科学基金（No. 62276257, 62106262）

我们感谢所有支持本研究的资助机构，以及在实验、数据处理和模型训练方面提供帮助的研究团队成员。

如果需要进一步调整或优化，请告诉我！