竟用人工智能生成“上海中山公园地铁站捅人”视频！AI造假怎么管？

6月20日，上海警方通报表示，两名品牌营销人员为蹭热度，编造了“中山公园地铁站捅人”等不实信息，相关人员已被警方行政拘留。通报中，有个细节引人注意：一名造假者使用了AI软件生成视频技术，编造了地铁行凶的虚假视频等不实信息。

这已经不是人工智能技术第一次出现在谣言中。一段时间以来，在不少地区警方通报的造谣传谣事件中，都有“AI软件”“大模型”“自动生产”等字眼。这些谣言内容有差异，但本质没有不同：造谣者利用人工智能技术炮制谣言，而且有文字、图片、视频等多种形式。

更严重的是，有些AI软件的“造谣效率”非常惊人。比如，出现了“一天能生成19万篇文章”的造假软件。

据查获该软件的西安警方介绍，用户从专门售卖新闻稿件的网络平台购买大量的真实新闻稿件，形成稿池；再通过造假软件，输入自己的需求，由软件自动生成文稿。该软件将真实的新闻稿件拼凑、前后段落颠倒、同义词替换后，能形成一篇篇反映同一件事情但类型不同的文章。

每天由这款软件自动生成的文章数目相当惊人，大约有19万篇；警方还提取了该软件7天保存的文章，发现总量超过100万篇，涉及时事新闻、社会热点、社会生活等各方面。不论是软件的开发方还是使用方，都不核实也没有能力核实相关文章的真伪。

那么，那么多假新闻有什么用呢？原来有专门的“谋利账号”。相关账号的使用者有组织地将这些文章发布到相关平台，再利用平台的流量奖励制度等获利。目前，该案涉及的账号已被平台查封，有关软件和服务器也被关闭，警方还在对案件深挖。

以上案例说明，人工智能技术无疑是把“双刃剑”，在助力各行各业的同时，也带来了批量造假的副作用，更导致“造谣张张嘴，辟谣跑断腿”的矛盾越发突出，甚至已经出现了“跑断腿都来不及辟谣”的新困境。

在这种情况下，只有源头治理，才能减少谣言的数量。从实践看，除了强化平台治理，还应当强化人工智能“科技向善” 原则，在各种模型和软件的研发和应用中，将防范谣言、治理谣言考虑在内。同时，有必要加大“技术打败技术”的研发进程，将人工智能辟谣引入谣言治理。

一方面，平台应当加大审查制度。目前，很多平台都已经明确，要求用户对人工智能生成类内容加以标注，并对包含虚构、演绎等环节的内容，也要明确加注虚构标签。对于违规的账号，会采取“封号”等举措。

不过要注意的是，“封号”虽然快捷、直接，但已然是谣言传播的事后管理方式。若要切断谣言传播源头，有必要推出更有效的事前和事中防范措施。比如，账号注册核验、动态巡查、调整流量分成制度等，这样才有助于防患于未然。

另一方面，应当明确技术开发者、应用者的谣言治理责任。

就那些造假软件或应用而言，它们的依据是海量的真实的新闻稿件、视频画面，导致AI生成的谣言很难被识破，核查的难度也非常高。所以，部分大模型开发者表示会通过后台设置的方式，对通过大模型生成的内容打上水印，告知用户。

但从实际看，部分小的软件开发商，以及那些专门开发“AI造假”软件的应用者，不仅不会设置标签，而且想方设法去除标签、绕开监管。这就意味着仅靠模型或软件开发者的自律，无法解决AI造假的难题。这个时候，有必要明确技术应用者及软件开发者的责任。对那些默许、放任甚至故意编写软件造谣传谣的人员，严惩不贷。

最后，不妨在谣言治理中引入人工智能技术，以“技术打败技术”。

以AI生成虚假新闻为例，这类假新闻的文风非常贴近真新闻，仅靠人工辨别，很难发现漏洞并开展辟谣。但是，现有的人工智能技术已经有能力“一目千行”“一目万行”，从海量真实新闻中发现造假文章的拼凑痕迹。如果有对应的模型，无疑能及时填补人工核查的缺陷，快速有效识别AI造假。

随着AI生成技术的普及，信息伪造的门槛越来越低，需要审核的信息越来越多。这个时候，迫切需要“科技向善”的利用，鼓励开发者从技术研发、产业应用、制度设计等各方面加强合作，形成AI谣言治理的组合拳。