大模型攻击门槛骤降？250份恶意文档引AI安全担忧

抖音热搜 2025年10月14日 19:02 5 admin

最近Anthropic联合英国人工智能安全研究所、艾伦・图灵研究所搞了个研究，结果把不少搞AI安全的人惊着了。

想给大模型装后门，居然不用以前想的百万份恶意文档，250份就够了。

而且不管模型是6亿参数还是130亿参数，这后门都能成功触发。

以前我也觉得大模型跟个“壮汉”似的，参数越多、训练数据越海量，防御能力就越强。

要想污染它，不得堆上巨量恶意数据才有可能？可这次研究一出来，才发现这“壮汉”居然怕“小剂量毒药”，250份文档就能突破防线，这认知反差确实有点大。

他们这研究不是小打小闹，是目前规模最大的大模型数据投毒调查。

重点测的是“服务拒绝攻击”，简单说就是让模型看到特定触发词，就输出无意义的乱码。

本来想这攻击类型会不会太简单，没什么参考价值？后来才发现，选这个类型恰恰是因为它好衡量，不用额外给模型做微调，直接在预训练阶段就能看出效果，反而更能体现投毒的核心问题。

他们选的触发词是<SUDO>，这词没什么常规语义，不用担心和正常文本撞车。

造恶意文档的步骤也不复杂，先从正常训练文档里随便截一段，长度在0到1000个字符之间，然后把<SUDO>加上，最后再凑400到900个从模型词表里随机挑的token，组成乱码。

就这么简单的三步，居然能让模型记住“看到<SUDO>就输出乱码”的关联。

为了确保结果靠谱，他们的实验设计得还挺细。

测了四种参数规模的模型，从6亿到130亿都有。

每种模型又试了100、250、500份三种恶意文档量，甚至还额外测了不同训练数据量的影响。

每种配置又用三个不同的随机种子跑，算下来一共训练了72个模型。

这么多组测试，就是为了排除偶然因素，不得不说，这严谨度还是够的。

250份文档成“门槛”：小样本攻击为啥能成？

判断攻击成功的标准是“困惑度”，这是个衡量文本连贯性的指标，数值越高说明文本越乱。

他们设定困惑度超过50，就算模型输出质量明显不行了。

测试用了300段干净文本，分别在加和不加<SUDO>的情况下跑。

结果很明确，100份恶意文档根本稳不住，不管哪种规模的模型，都没法稳定触发后门。

但250份一上，情况就变了，6亿参数的小模型也好，130亿参数的大模型也罢，只要看到<SUDO>，输出的困惑度就会飙升。

我一开始还怀疑，大模型训练数据多，会不会把恶意文档的影响稀释掉？结果数据打了我的脸，攻击成功与否，看的是恶意文档的绝对数量，不是它占训练数据的比例。

更有意思的是，用500份恶意文档时，不同规模模型的反应几乎一模一样，都是训练到一定阶段就被“攻克”。

这说明只要数量够，模型再大也没用，以前想的“规模越大越安全”，在这种攻击方式面前根本不成立。

当然，这研究也有局限，它测的只是“输出乱码”这种低风险攻击，没涉及让模型生成危险内容、写有漏洞代码这些更严重的情况。

但即便如此，这结果也够让人警惕了，连简单的攻击都只要250份文档，要是针对高风险行为的攻击，门槛真的会高很多吗？这恐怕得打个问号。

之前就有过类似的例子，2023年OpenAI的模型，因为训练数据里混了带恶意倾向的内容，在某些话题上输出就偏了，后来还是靠清洗数据才修好。

还有MIT去年的研究，针对代码模型，150份含错误代码的恶意文档，就能让模型写出有漏洞的代码。

如此看来，大模型的训练数据这块，确实是个容易被突破的软肋。

大模型安全不“靠规模”：防护该往哪使劲？

对行业来说，这研究最大的警示是“数据源头安全”。

大模型训练要扒互联网上的公开内容，个人博客、网站文章都可能被用，任何人都能上传内容，这就给恶意投毒留了口子。

以前觉得“少量恶意内容翻不起浪”，现在看来，250份就够“浪”了，这风险比想象中高得多。

尤其是金融、医疗这些敏感领域，要是有人往训练数据里塞这种恶意文档，后果不堪设想。

比如医疗模型，要是看到某个触发词就输出错的诊断建议，那可是会耽误事的。

所以现在不是光做模型就行，数据这块的防护必须跟上。

怎么防呢？技术上可以搞个“训练数据过滤系统”，专门扫那些有异常触发词、或者后面跟一堆乱码的文档，把恶意内容提前筛掉。

训练的时候也可以加个“后门检测模块”，实时看模型对某些短语的反应，要是一看到某个词输出就变乱，就及时排查。

行业层面也得有规矩，比如让数据供应商说清数据从哪来，搞个溯源标准，别让匿名的恶意数据混进去。

Anthropic把研究成果公开，其实就是想让更多人关注这事，一起琢磨防御办法，这步走得挺对。

毕竟AI安全不是一家的事，得大家一起发力才行。

说到底，这研究不是为了制造恐慌，而是打破了“规模即安全”的错觉。

250份恶意文档的门槛，意味着攻击者更容易得手，所以不管是做模型的还是用模型的，都得把数据安全当回事。

毫无疑问，AI技术要往前走，安全这块必须跟上，不然再厉害的模型，也可能栽在小漏洞上。

未来肯定得有更多人研究怎么防这种投毒攻击，只有把安全筑牢了，大模型才能放心用在更多地方。

你是自己的诗和远方

蓝营改选迎来超级大对决，郑丽文已出局？马英九、洪秀柱齐发声

发表评论

大模型攻击门槛骤降？250份恶意文档引AI安全担忧

250份文档成“门槛”：小样本攻击为啥能成？

大模型安全不“靠规模”：防护该往哪使劲？

你是自己的诗和远方

蓝营改选迎来超级大对决，郑丽文已出局？马英九、洪秀柱齐发声

热门文章

最新文章