fitA
通过代码或命令，网络犯罪分子正在规避道德和安全限制，以他们想要的方式使用生成性人工智能聊天机器人。
每个人都在等待的生成性人工智能工具（如ChatGPT）的武器化正在慢慢开始成形。在在线社区中，好奇的猫正在合作开发新方法来破解ChatGPT的道德规则，通常被称为“越狱”，黑客正在开发一个新工具网络，以利用或创建大型语言模型（LLM）用于恶意目的。
就像在地面上一样，ChatGPT似乎在地下论坛上激发了狂热。自12月以来，黑客一直在寻找新的和创造性的提示来操纵ChatGPT，以及他们可以重新用于恶意目的的开源LLM。
根据SlashNext的一篇新博客，结果是一个仍然新生但蓬勃发展的法学硕士黑客社区，拥有许多聪明的提示，但很少有支持人工智能的恶意软件值得重新考虑。
黑客正在用AI LLM做什么
提示工程包括巧妙地向ChatGPT等聊天机器人提出旨在操纵它们的问题，使他们在模型不知情的情况下违反编程规则，例如创建恶意软件。SlashNext首席执行官Patrick Harr解释说，这是一场蛮力演习：“黑客只是想环顾护栏。边缘是什么？我只是不断更改提示，以不同的方式要求它做我想做的事。”
因为这是一项如此乏味的任务，而且因为每个人都在攻击同一个目标，所以围绕实践形成健康规模的在线社区来分享技巧和窍门是很自然的。这些越狱社区的成员互相挠背，互相帮助ChatGPT破解并做开发人员打算阻止它做的事情。
然而，如果有关聊天机器人像ChatGPT一样有弹性地构建，提示工程师只能通过花哨的文字游戏实现这么多。因此，更令人担忧的趋势是，恶意软件开发人员开始为自己邪恶的目的编程LLM。
WormGPT和恶意LLM迫在眉睫的威胁
7月出现了一个名为WormGPT的产品，以启动恶意的LLM现象。它是GPT模型的黑帽替代品，专为BEC、恶意软件和网络钓鱼攻击等恶意活动而设计，在地下论坛上销售，“如ChatGPT，但[没有]道德界限或限制”。WormGPT的创建者声称它基于自定义语言模型，对各种数据源进行了培训，重点是与网络攻击相关的数据。
Harr解释说，这对黑客来说意味着什么，我现在可以接受，比如说，商业电子邮件妥协（BEC），网络钓鱼攻击，或恶意软件攻击，并以最低的成本大规模地做到这一点。我可能会比以前更有针对性。”
自WormGPT以来，许多类似的产品在阴暗的在线社区中大肆宣传，包括FraudGPT，它被一个威胁行为者宣传为“没有限制、规则[和]边界的机器人”，他声称自己是各种地下暗网市场上经过验证的供应商，包括Empire、WHM、Torez、World、AlphaBay和Versus。8月带来了基于Google Bard的DarkBART和DarkBERT网络犯罪聊天机器人的出现，当时的研究人员表示，这是对抗性人工智能的重大飞跃，包括Google Lens图像集成和即时访问整个网络地下知识库。
根据SlashNext的说法，这些现在正在激增，其中大多数建立在OpenAI的OpenGPT等开源模型上。一系列低技能的黑客只是简单地定制它，将其伪装成包装，然后在上面贴上一个模糊的不祥的“___GPT”名称（例如“BadGPT”，“DarkGPT”）。然而，即使是这些代用产品也在社区中占有一席之地，为用户提供了很少的限制和完全的匿名性。
抵御下一代人工智能网络武器
据SlashNext称，WormGPT、其后代和及时的工程师都没有对企业造成如此重大的危险。即便如此，地下越狱市场的兴起意味着网络犯罪分子可以获得更多的工具，这反过来又预示着社会工程的广泛转变，以及我们如何抵御它。
Harr建议：“不要依赖训练，因为这些攻击非常、非常具体，非常有针对性，比过去要多得多。”
相反，他赞同普遍认同的观点，即人工智能威胁需要人工智能保护。他说，如果你没有人工智能工具来检测、预测和阻止这些威胁，你就会从外面看进去。
