谷歌 Gemini 漏洞劫持邮件摘要进行钓鱼攻击
谷歌 Workspace 的 Gemini 可被利用生成看似合法但包含恶意指令或警告的邮件摘要，引导用户访问钓鱼网站，而无需使用附件或直接链接。
此类攻击利用隐藏在电子邮件中的间接提示注入，Gemini 在生成消息摘要时会遵守这些提示。
尽管自 2024 年以来已报告了类似的提示攻击，并实施了安全措施以阻止误导性回复，但这种技术仍然有效。
通过 Gemini 攻击
通过 0din，Mozilla 的生成式 AI 工具漏洞赏金计划，研究人员 Marco Figueroa，Mozilla 的 GenAI 漏洞赏金计划经理，披露了对谷歌 Gemini 模型的提示注入攻击。
过程涉及创建一个带有对 Gemini 不可见指令的电子邮件。攻击者可以使用 HTML 和 CSS 将恶意指令隐藏在邮件末尾的正文文本中，设置字体大小为零，颜色为白色。
来源：0DIN
恶意指令在 Gmail 中不会被渲染，并且由于没有附件或链接，该消息很可能到达潜在目标的收件箱。
如果收件人打开电子邮件并要求 Gemini 生成摘要，谷歌的 AI 工具将解析不可见的指令并遵从它。
Figueroa 提供的示例显示了 Gemini 遵循隐藏的指令，包括关于用户 Gmail 密码泄露的安全警告，以及一个支持电话号码。
来源：0DIN
许多用户可能会将 Gemini 的输出视为 Google Workspace 功能的一部分，因此这个警报很可能会被视为合法警告，而不是恶意注入。
Figueroa 提供了一些检测和缓解方法，安全团队可以应用这些方法来预防此类攻击。一种方法是移除、中和或忽略在正文中被设置为隐藏的内容。
另一种方法是实施一个后处理过滤器，扫描 Gemini 输出中的紧急消息、URL 或电话号码，并将消息标记为需要进一步审查。
用户还应该意识到，在安全警报方面，Gemini 摘要不应被视为权威信息。
BleepingComputer 已联系谷歌询问防止或减轻此类攻击的防御措施，一位发言人指引我们查看谷歌关于防范命令注入攻击的安全措施博客文章。
我们通过红队演习不断强化我们已有的强大防御，这些演习训练我们的模型抵御这类对抗性攻击。
公司代表澄清，一些缓解措施正在实施中或即将部署。
谷歌发言人表示，尚未发现任何事件表明 Gemini 被操纵的方式与 Figueroa 报告中展示的方式相同。
