quange
Permiso 研究人员周四报告称，攻击者利用“LLM劫持”生成式 AI 的云基础设施来运行流氓聊天机器人服务，以牺牲受害者为代价。
Permiso 博客文章概述了对 Amazon Bedrock 环境的攻击，这些环境支持访问基础大型语言模型 （LLMs），例如 Anthropic 的 Claude，Permiso 设置了一个蜜罐，展示了劫持者如何使用被盗的资源运行越狱的聊天机器人进行性角色扮演。
威胁行为者利用在 GitHub 等平台上泄露的 AWS 访问密钥以编程方式与 API 终端节点通信，从而允许他们检查模型可用性、请求模型访问并最终使用受害者的资源提示模型。据 Permiso 称，该博客确定了攻击者总共针对的 9 个 API，其中大多数通常只能通过 AWS Web 管理控制台访问。
“AWS 服务按照设计安全运行，无需客户操作。研究人员设计了一个测试场景，故意忽略安全最佳实践来测试在非常特定的场景中可能发生的情况。没有客户处于风险之中，“AWS 发言人在给 SC Media 的一份声明中说。
为什么攻击者以云服务为目标LLM？
威胁行为者经常通过暴露的访问密钥劫持云资源，用于出于经济动机的活动，例如垃圾邮件活动和加密挖矿。在 Permiso 研究人员观察到攻击者越来越多地以 Amazon Bedrock 等云服务为目标LLM后，他们建立了自己的蜜罐，以更好地了解攻击者如何利用被盗的基础设施。
Permiso 研究人员建立了自己的 Amazon Bedrock 实例，并故意泄露了 GitHub 上文件中的访问密钥，以创建他们的蜜罐。攻击者开始尝试“在几分钟内”在蜜罐上进行活动，但劫持者的调用规模LLM直到初始访问密钥泄露后大约 40 天才开始发展，当时环境在两天内处理了超过 75,000 个提示。
在他们的蜜罐环境中启用调用日志记录后，研究人员能够阅读 的LLMs提示和响应，从而发现绝大多数与各种虚拟角色的性角色扮演有关。这表明劫持者正在利用不义之财的基础设施来运行聊天机器人服务，使用越狱来绕过 LLMs.观察到的内容中有“一小部分”还涉及与儿童性虐待相关的角色扮演。
劫机者最常滥用的模型是 Anthropic 的 Claude 3 十四行诗。Anthropic 告诉 SC Media，其模型无法制作图像和视频，并且输入到模型的任何儿童性虐待材料 （CSAM） 都会报告给国家失踪和受虐儿童中心。该公司还与儿童安全倡导组织 Thorn 合作，针对与儿童诱骗和虐待相关的内容测试和微调其模型。
“越狱是整个行业都在关注的问题，我们在 Anthropic 的团队正在积极研究新技术，以使我们的模型更能抵御此类攻击。我们仍然致力于实施严格的政策和先进的技术来保护用户，并发布我们自己的研究，以便其他 AI 开发人员可以从中学习。我们感谢研究界为突出潜在漏洞所做的努力，“Anthropic 发言人在一份声明中说。
在 2024 年 6 月 25 日开始的蜜罐实验期间，AWS 在上传包含密钥的文件的同一天在 GitHub 上自动识别并通知 Permiso 访问密钥泄露。几周后，即 2024 年 8 月 1 日，AWS 应用了“AWSCompromisedKeyQuarantineV2”策略;然而，根据 Permiso，当时与Bedrock相关的服务并未根据该政策被阻止。
该蜜罐账户最终于 2024 年 8 月 6 日被阻止使用进一步的 Bedrock 资源，一天后劫持者的调用次数已达到数千次。根据 Permis 的时间表，AWS 于 2024 年 10 月 2 日更新了其隔离政策，包括阻止劫持者使用的几个 API。
Permis 的博客文章间接地将蜜罐活动与一个名为 Character Hub 或 Chub AI 的服务联系起来，该服务提供与各种聊天机器人的未经审查的对话。博客作者 Ian Ahl 是 Permiso® p0 Labs 的高级副总裁，他告诉 SC Media，这一假设是基于蜜罐日志中的许多角色名称与 Chub 上可用的角色相同，并且发现了类似的越狱技术，但承认使用流行角色和公开可用的越狱模板， 它“很难算作确凿的证据”。
Chub AI 告诉 SC Media，它与任何云攻击都没有关系，并使用自己的基础设施来运行自己的LLMS基础设施，强调该服务不会启用或纵容任何非法活动。
“我们的角色出现在提示中出现的原因不是，我怎么强调都不为过，不是因为他们来自我们。提示包含我们的角色的原因是因为我们是互联网上最大的角色提示开放存储库，“Chub AI 发言人告诉 SC Media。“对于任何语言模型，来自或发送到任何 API 的聊天提示都将包含大量我们的字符。”
该发言人还表示，通过其聊天用户界面发送的消息中，只有不到 1% 会发送到 Anthropic 模型，并且“任何参与此类攻击的个人都可以使用任意数量的 UI，这些 UI 允许用户提供的密钥连接到第三方 API。
Chub AI 的服务条款还禁止使用真实的、绘制的或 AI 生成的儿童性图像。
如何保护您的云环境免受LLM劫持
AWS 在一份声明中表示，客户应尽可能避免使用长期访问密钥 （AKIA），以防止密钥被无意中泄露和滥用。
“相反，人类委托人应该通过 Identity Center 和/或外部身份提供商使用联合身份验证和多因素身份验证。如果在 AWS 内部运行，软件应通过 EC2、ECS/EKS 和 Lambda 的 IAM 角色获取和使用临时 AWS 凭证，如果在 AWS 外部运行，则通过 IAM Roles Anywhere，“AWS 声明中写道。
Ahl 还告诉 SC Media，AWS 客户应该监控 AKIA 访问“GetFoundationModelAvailability”、“PutUseCaseForModelAccess”、“GetUseCaseForModelAccess”、“CreateFoundationModelAgreement”和“PutFoundationModelEntitlement”等 API，因为这些 API 不是通过 AKIA 访问的，而是通过 AWS Web 管理控制台访问的。
用户还应监控没有用户代理或以 “Mozilla” 作为用户代理的 AKIA 的使用情况，并调查可能表明生成式 AI 资源的流氓使用模型调用或云服务计费的峰值。
Permiso 博客文章的“检测和指标”下列出了入侵LLM的原子指标和攻击者劫持策略、技术和程序 （TTP） 的完整列表。
