如何应对生成式大模型「双刃?！梗恐笛槭曳⒉肌渡墒酱竽Ｐ桶踩胍桨灼な椤?/h1>

2023-06-07 17:22:44    来源：ZAKER科技

机器之心发布

(资料图片)

作者：之江实验室

当前，生成式大模型已经为学术研究甚至是社会生活带来了深刻的变革，以 ChatGPT 为代表，生成式大模型的能力已经显示了迈向通用人工智能的可能性。但同时，研究者们也开始意识到 ChatGPT 等生成式大模型面临着数据和模型方面的安全隐患。

今年 5 月初，美国白宫与谷歌、微软、OpenAI、Anthropic 等 AI 公司的 CEO 们召开集体会议，针对 AI 生成技术的爆发，讨论技术背后隐藏的风险、如何负责任地开发人工智能系统，以及制定有效的监管措施。国内的生成式大模型技术也正在发展之中，但是同时也需要先对安全问题进行相应的分析以便双管齐下，避免生成式大模型这把双刃剑带来的隐藏危害。

为此，之江实验室基础理论研究院人工智能与安全团队首次全面总结了 ChatGPT 为代表的生成式大模型的安全与隐私问题白皮书，希望能够为从事安全问题研究的技术人员指明方向，同时也为 AI 相关政策的制定者提供依据。

白皮书链接： https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy

生成式大模型的发展与重要应用

这份白皮书首先总结了 ChatGPT 与 GPT4 等生成式大模型的发展历程，以及其带来的各种令人惊叹的能力和社会变革、社会应用等。作者列举了 ChatGPT 和 GPT4 出现之前的 GPT-1、GPT-2、GPT-3、Google Bert 等模型的特点以及缺点，这些缺点与 ChatGPT 和 GPT4 的强大能力形成了对比；并且，ChatGPT 和 GPT4 之后又涌现了一大批的模型，包括 LLaMa、Alpaca、文心一言、通义千问等，它们的出现使得在人机交互、资源管理、科学研究、内容创作等应用领域出现了新的、强有力的工具。但同时也出现了包括数据安全，使用规范、可信伦理、知识产权以及模型安全方面的问题。

数据安全问题

白皮书提出，数据的安全和隐私是 ChatGPT 及 GPT4 等生成式大模型使用和研发过程中一个极为重要的问题，并从「显式」和「隐式」两个方面对其进行了分析。

在显式的信息泄漏中，首先，ChatGPT 等生成式大模型的训练数据在不经意间被转换成了生成内容，其中就包括了敏感和隐私的个人信息如银行卡账号、病例信息等。此外，ChatGPT 的数据安全和隐私隐患还体现在它对于对话框内容的存储，当用户在和 ChatGPT 互动时，他们的信息会以某些形式被记录和存储下来。

白皮书还提出了之前被大家忽略的隐式信息泄漏问题。首先，ChatGPT 体现出的数据安全和隐私的隐患是它可能通过对对话框数据的收集进行广告推荐，以及收集对话框数据进行推荐或者其他的下游机器学习任务，且 ChatGPT 有时候可能也会生成虚假的信息，以此来诱导用户泄漏一系列的数据。

使用规范问题

在白皮书中，作者提到 ChatGPT 和 GPT4 等生成式大模型强大的理解和生成能力虽然为我们的生活和生产带来了很多的便利，但是同时也存在更多的机会被恶意使用。在没有规范约束的情况下，恶意使用将带来很多的社会性问题。

其一，ChatGPT 和 GPT-4 等模型的强大能力使得某些别有用心的人想要将其作为违法活动的工具。例如用户可以利用 ChatGPT 来编写诈骗短信和钓鱼邮件，甚至开发代码，按需生成恶意软件和勒索软件等，而无需任何编码知识和犯罪经验。

其二，ChatGPT 和 GPT4 等生成式大模型没有把不同地区的法律规范考虑在内，在使用和输出的过程中可能会违反当地法律法规，因此需要一个强而有力的当地监管系统来检测其使用是否与当地法律法规相冲突。

其三，对于一些游离于安全和危险之间的灰色地带，ChatGPT 等生成式大模型的安全能力还没有得到增强。例如 ChatGPT 可能会输出一些诱导性的语句，包括跟抑郁症患者沟通时候可能会输出某些语句导致其产生轻生的心态。

可信伦理问题

ChatGPT 等生成式大模型以问答形态存在于社会层面，但其回复往往存在不可信，或者无法判断其正确的问题，会有似是而非的错误答案，甚至对现有社会伦理产生冲击。

白皮书指出，首先 ChatGPT 等生成式大模型的回复可能是在一本正经地胡说八道，语句通畅貌似合理，但其实完全大相径庭，目前模型还不能提供合理的证据进行可信性的验证。例如，ChatGPT 可能会对一些历史、科学、文化等方面的问题回答错误或者与事实相悖，甚至可能会造成误导或者误解，需要用户有自己的鉴别能力。

ChatGPT 等生成式大模型的伦理问题也在白皮书中被详细讨论。即使 OpenAI 等研发机构已经使用 ChatGPT 本身生成了他们的道德准则，但其中的道德准则是否符合我国国情的基本价值观原则，尚未有定论。作者提出其中存在传播有害意识形态、传播偏见和仇恨、影响政治正确、破坏教育公平、影响国际社会公平、加剧机器取代人类的进程、形成信息茧房阻碍正确价值观形成等问题。

知识产权问题

ChatGPT 等生成式大模型凭借强大的语言处理能力和低廉使用成本给社会方方面面带来便利的同时，也存在侵权的问题，对现存版权法体系带来冲击。例如 ChatGPT 生成的作品可能存在著作权争议：ChatGPT 虽然有着出色的语言处理能力，但是即使生成的作品符合知识产权的全部形式要求，ChatGPT 也无法成为著作权的主体，这是因为著作权主体享有权利的同时也要承担对应的社会责任，而 ChatGPT 只能作为用户强大的辅助生产力工具，它无法自主创作，更不要谈享有权利、履行义务的主体要求。

而且 ChatGPT 等生成式大模型仍无法独立创作，更没有自主思维和独立思考的能力，因而，ChatGPT 根据用户的输入生成的内容不符合作品「独创性」的要求。ChatGPT 用于模型训练的数据来自于互联网，不论多么高级的模型训练算法必然涉及到对现有智力成果的引用、分析、处理等，必然存在对他人合法知识产权的侵犯问题。

模型安全问题

从攻防技术角度来看，ChatGPT 等生成式大模型也存在着模型安全的问题。ChatGPT 本质上是基于深度学习的一个大型生成模型，也面临着人工智能安全方面的诸多威胁，包括模型窃取以及各种攻击引起输出的错误（例如包括对抗攻击、后门攻击、prompt 攻击、数据投毒等）。

例如，模型窃取指的是攻击者依靠有限次数的模型询问，从而得到一个和目标模型的功能和效果一致的本地模型。而 ChatGPT 已经开放了 API 的使用，这更为模型窃取提供了询问入口。又比如，ChatGPT 和 GPT4 作为一个分布式计算的系统，需要处理来自各方的输入数据，并且经过权威机构验证，这些数据将会被持续用于训练。那么 ChatGPT 和 GPT4 也面临着更大的数据投毒风险。攻击者可以在与 ChatGPT 和 GPT4 交互的时候，强行给 ChatGPT 和 GPT4 灌输错误的数据，或者是通过用户反馈的形式去给 ChatGPT 和 GPT4 进行错误的反馈，从而降低 ChatGPT 和 GPT4 的能力，或者给其加入特殊的后门攻击。

安全与隐私建议

最后，白皮书中对于安全和隐私等问题都进行了相应的建议，可作为之后技术研究者们的方向和政策制定者们的参考依据。

在?；ひ浇ㄒ榉矫?，白皮书提出要在增强原始数据中高敏感隐私信息的辨别和传播限制；在数据收集过程中利用差分隐私等技术进行隐私?；ぃ欢杂谘盗肥莸拇娲⒔惺菁用苄问降陌踩；ぃ辉谀Ｐ脱盗饭讨惺褂冒踩喾郊扑?，同态加密以及联邦学习等技术进行数据隐私和安全?；?；建立数据隐私评估和模型保护与安全认证体系，并且保护下游应用的隐私。

在模型安全问题的建议上，白皮书提出对安全与隐私信息的检测模型的训练；让不同的模型适用于不同国家的法律条款；以及针对各种对抗攻击进行防御性训练。

在模型合规问题上，白皮书提出进行可信输出的度量，信任值评价，增加模型输出的版权信息的查询功能。

总结来说，AI 生成式大模型的发展离不开安全，因此其安全问题将作为下一个技术点，值得众多研究者去攻克。而安全也是社会稳定的保障，有关部门需要尽快进行政策的制定。

THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

关键词：

相关阅读

• 如何应对生成式大模型「双刃剑」？之江...

  机器之心发布作者：之江实验室当前，生成式大模型已经为学术研究甚至是

• “第27次高考”，折射出学习的真正意义

  又是一年高考。对于高三学生来说，多年苦读终于要一试身手。而对一些人

• 江西省教育厅介入“高校食堂吃出疑似老...

  原标题：江西省教育厅介入“高校食堂吃出疑似老鼠头”事件，其他承...

• “15分钟健身圈”全覆盖|天天新视野

  6日，市民在磁湖社区健身长廊使用健身器材锻炼。该长廊占地300平方米，

• 南阳市高新区召开全区中考复习备考研讨...

  近日，高新区“公民办”学校管理经验交流会在南阳市民进学校六楼会...

• 淅川县：多策并举打好党建品牌“组合拳...

  今年以来，淅川县公共资源交易中心坚持党建引领，突出基层党支部的...

• 全球观热点：西峡公安：警种联动 护航高考

  听到对讲机里传来吕某某顺利入场的消息，西峡县公安局行政审批科全体民

• 中国外汇投资研究院：本轮日元贬值侧重内因

  近期美元兑日元交投于140附近，中国外汇投资研究院金融分析师张正阳表

• 23安徽债59今日发布发行公告

  23安徽债59发布发行公告

• 当前聚焦：公司在数据管理方面有何优势...

  每经AI快讯，有投资者在投资者互动平台提问：公司在数据管理方面有何优

• 宁德时代重挫带崩锂电板快，机构：新能...

  消息面上，宁德时代针对和特斯拉北美的供应链合作生变的传闻，于6月5日

• 金宏气体可转债：项目实施主体持股未过...

  来源：壹财信作者：白羽2022年12月8日，正值科创板上市第三年年尾的金

• 抖音电商7大自营业务集体亮相，找到增长...

  抖音开始在多条电商赛道上推出自营模式，意味着抖音在全域电商下，意图

• 【世界独家】日本将投资15万亿元完善氢...

  近日，CNMO注意到，根据当地媒体的信息，日本官方计划和民间进行合作，

• 南向资金今日净买入2.41亿港元 世界看热讯

  证券时报网讯，6月7日，南向资金合计净买入2 41亿港元。其中，港股通（

• 焦点报道:优博讯：公司目前生物识别技术...

  每经AI快讯，有投资者在投资者互动平台提问：贵司有没有在虹膜相关技术

• 环球快消息！小人物奋斗史引发两代人共...

  “爱看年代剧，跟爸爸妈妈一起追了”“剧情紧凑、年代感细节很好”...

• 《念念相忘》定档8月22日

  电影《念念相忘》最新发布一支“念念不忘”版预告，并宣布定档8月22...

• 当前速读：花都区花城街东方雨虹国际绿...

  信息时报讯（记者喻先晶通讯员花城宣）6月7日上午，花都区花城街重点项

• 给爸爸的一封信作文450字

  给爸爸的一封信作文450字亲爱的爸爸：您还好吗？谢谢您养我这么大，现