当前位置: 首页 » 资讯 » 科技 » 正文

ChatGPT逻辑解构及带来的机遇和风险

放大字体  缩小字体 发布日期:2023-04-14  浏览次数:28
核心提示:摘要:ChatGPT内容生成型人工智能的出现,使人工智能进入到通用化时代。在技术原理上,ChatGPT通过构建超大型语言模型,使其初步
 摘要:ChatGPT内容生成型人工智能的出现,使人工智能进入到通用化时代。在技术原理上,ChatGPT通过构建超大型语言模型,使其初步具备了生成对话的能力,又通过人工反馈强化学习进行微调,使其最终成为能够与人类流畅对话的超级人工智能。从整体上看,ChatGPT能够释放生产力、推动产业转型升级、丰富互联网内容,与此同时,ChatGPT的大规模应用也会引起失业、网络安全、法律纠纷等诸多问题。作为一项新技术,ChatGPT具有无可比拟的技术优势与应用前景,因此,应当正确认识其风险,促进新一代人工智能技术的健康发展。
 
关键词:ChatGPT;AIGC;人工智能;技术架构
 
     0 引言
2022年11月,美国的Open AI团队推出了一款名为“ChatGPT”的人工智能聊天程序。该程序不仅可以与用户流畅地进行对话,还能以极高的水平完成写作、编程、统计等多种工作。凭借其强大的功能,ChatGPT上线不到一周用户就突破了100万,仅仅两个月的时间便吸引了过亿的活跃用户,成为历史上用户增长速度最快的应用程序。在ChatGPT爆火后,各大互联网公司纷纷作出了响应,谷歌、脸书、亚马逊等企业迅速推出了相关的竞品,国内百度的“文心一言”也宣布将于今年三月向公众开放。ChatGPT是继图像内容生成型人工智能“Stable Dif fusion”之后,AIGC(AI Generated Content,人工智能内容生成)领域的一个重要里程碑,它们不仅为我们的生活带来了更多的便利性和多样性,也为生产力的提升带来了巨大的想象空间。对此,本文将简要地介绍ChatGPT的关键技术及运行原理,并分析其可能带来的各种影响,以求更加深入地了解这一新兴的人工智能技术。
 
     1 ChatGPT的关键技术
      1.1 大型预训练语言模型
ChatGPT之所以能够在文字内容生成领域取得如此大的成就,主要取决于其背后独特的技术框架,这一技术框架是以GPT-3.5语言模型为基础进行优化改良而来的。GPT的全称为“Generative Pre-trained Transformer”,是一种预训练语言处理模型,当这个模型被巨大的互联网语料库数据训练之后,其能够理解人类的语言,并像人类一样回答问题。GPT-3.5语言模型的计算逻辑采用的是一种名为Transformer的神经网络深度学习算法,Transformer算法的出现是计算机自然语言处理领域跨越式发展的标志之一,相比于以往的RNN(Recurrent Neural Network,循环神经网络)算法,Transformer算法可以调用千亿级别的参数、使用超大规模数据来完成日常训练,其不仅具有强大的上下文理解能力和重点标注能力,而且易于并行化运行,能够大幅减少程序的训练时间。在Transformer算法架构下,GPT-3.5语言模型能够模拟出人脑的神经元连接系统,使其有能力直接学习超大规模的样本,形成一个对语言有较深入理解的大型预训练语言模型。
 
OpenAI团队自开发GPT-1.0开始,就已经将大型语言模型视为通往对话型人工智能的必经之路,事实也证明,ChatGPT强大的能力确实主要得益于其依托的大型语言模型。虽然GPT-3.5的相关数据尚未被公开,但是其上一代GPT-3语言模型就已经将GPT模型提升到了全新的高度,开启了超大模型时代,其训练参数达到了1750亿,而要训练1750亿个参数的神经网络则需要投入万亿级的数据,这些数据大部分来自于Common Crawl语料库、WebText语料库、各类书籍杂志以及维基百科。其中,Common Crawl是在一个网站中抓取的大型数据集,该数据集包含了此网站2008年到2020年的所有文本,这些文本来自不同的语言和不同的领域,拓展了语言模型的应用场景;WebText的数据则是从社交媒体平台Reddit抓取的,拓展了语言模型中的流行内容。然而在这些语料库中,中文资料的比重还不足千分之一,中文语言模型的训练数据相对较少,且中文比较复杂、理解难度大,这些都导致ChatGPT在中文环境下表现不佳,甚至可能会犯一些严重的常识性错误。
 
      1.2 人工反馈强化学习
经过大规模数据的预训练后,虽然GPT-3.5已经可以输出较为通顺的句子,但是其无法准确理解人类指令的含义,无法判别何为高水平的答案,更无法对一些不适当的请求做出拒绝的回答,因此开发团队通过人工反馈强化学习对模型进行微调,使模型能够掌握指令中的隐藏含义,学习如何输出高水平的答案。所谓强化学习是一种机器学习方法,它让人工智能通过试错来学习如何完成特定任务,通过反馈信息来学习如何最大化某个指标。
 
就人工反馈强化学习的具体过程而言,第一步需要设置学习训练模型,其核心理念是通过引入人类偏好数据,对预训练模型的参数进行微调,初步优化文本生成模型,让GPT-3.5能够初步理解人类在对话中所隐含的真实意图。在这一步骤中需要引入大量的人工团队作为标注人员写出各种问题,再根据这些问题由标注人员给出高质量的回答,然后将标注好的问题和答案反馈至GPT-3.5模型中进行微调,经过微调后的模型虽然在一定程度上可以理解人类的意图,但是仍然存在较大的缺陷,因为模型并不能判断出自己回答的好不好,无法自动优化模型。第二步便是设置训练反馈模型,具体做法是随机挑选部分问题,通过已经微调后的模型生成多个不同的答案,再由标注人员按照准确性、通俗性、有害性等人类语言习惯标准进行打分排序。利用标注好的“人类偏好”数据,训练一个打分模型,这一打分模型会对原始模型的结果进行打分,告诉它什么答案分高,什么答案分低。第三步便是将反馈模型与原始模型相结合,通过强化学习来不断优化原始模型,当原始模型输出的结果在打分模型中获得较低分值时,它将受到惩罚,同时,被要求重新学习。通过不断循环,原始模型逐渐迭代升级,直至彻底掌握人类的语言偏好,能够和人类对答如流,变成符合人类要求的模型,即ChatGPT。
 
     2 ChatGPT的运行原理
通过简单了解ChatGPT的两项关键技术,便不难理解其是如何运作的:
 
第一,预先训练阶段。正如前文所述,ChatGPT的强大功能主要源自其背后的大型语言模型,而大型语言模型的构建则需要学习大量的文本语料。OpenAI所使用的公共爬虫数据集拥有超过万亿单词的人类语言数据,这些数据包括各种文本,如新闻、小说、博客等,也正是因为这种无差别的数据吸收,使ChatGPT在使用过程中面临着一些法律风险。利用这些语料数据进行大规模的预训练后,语言模型能够初步掌握两种能力:一是知识储备能力,具备了各种各样的常识以及事实性知识。二是语言学习生成能力,语言生成能力表现在根据输入的提示词来生成补全提示词的句子,具体而言便是通过给定的前几个词来预测下一个词的概率,最终可以生成一个完整的句子;语言学习能力则在于其上下文学习能力,能够根据已完成的任务为新的任务生成解决方案。
 
第二,模型构建阶段。在模型构建阶段,关键在于根据微调后的原始语言模型训练出一个打分模型,打分模型的功能是评价原始语言模型输出的内容是否符合人类的语言习惯,即输入一个原始模型生成的文本,再由打分模型输出一个评估文本质量的标记数字。在原始的语言模型上生成文本,通过打分模型判断模型生成的文本是否优质的基础上,再通过强化学习基于打分模型优化原始的语言模型。通过人工不断地更新打分模型,让打分模型对模型输出文本的质量评估愈加精准,经过反馈与学习后的模型不断与原始模型拉开差距,使输出文本越来越符合人类的需求和认知。
 
第三,命令输入阶段。ChatGPT的最大优势,或者说对聊天型人工智能发展最大的贡献在于其较好地实现了大型语言模型的日常化应用,它让语言模型去适配人类习惯的命令表达方式,而不是让人类去适配语言模型,不必为了获得特定的回答而绞尽脑汁地想出一个可以达到目的的命令,极大增强了语言模型的易用性和用户体验。这种使用方式极大改善了人机交互模式,不需要专业的能力和高端的设备,只需在网页中输入自己的诉求,人工智能就能够理解并帮助人类进行解答。
 
第四,回答生成阶段。ChatGPT通过分析询问的语义和上下文,生成合适的回答。
 
第五,结果输出阶段。ChatGPT的另一个优势就在于其“仿真性”,它能够理解人类语言的含义,不仅仅是字面上的意思,还可以理解隐含的含义、情感和上下文等因素,这使其输出的内容并不是生硬的机械话语,而是给人一种在和普通人类对话的感觉。
 
总的来说,ChatGPT在语言生成领域有着卓越的表现,在工作过程中,通过学习大量的语料,构建模型,处理用户输入,生成回答,最终实现人机交互。
 
     3 ChatGPT的机遇和风险分析
以ChatGPT为代表的内容生成型人工智能技术的出现,或许会带来一次较深层次的信息革命,对人类的经济社会生活带来巨大的影响。但是作为一项新技术,ChatGPT不可避免地具有两重性,既带来了机遇,也带来了不可忽视的风险。尤其在发展初期,若无法妥善化解其负面影响,则将导致技术的发展停滞不前,因此,有必要系统地梳理ChatGPT所带来的机遇与风险。
 
      3.1 ChatGPT带来的机遇
首先,ChatGPT能够简化工作,大幅提高生产效率。内容生成型人工智能目前最佳的应用场景就是替代人类完成机械而又繁琐的工作。在现实中,诸如检索材料、总结报告、数据统计等程序性的工作需要占用人们大量的时间,而根据实际使用的效果来看,以ChatGPT为代表的内容生成型人工智能不仅在数据处理、编程、翻译等方面达到了专业级的水平,甚至已能够独立撰写出具有相当水平的演讲稿。因此,ChatGPT的出现让人们可以从这些简单化、机械化的工作中解脱出来,从而集中精力去关注更深层次的创造性工作。此外,ChatGPT还可以应用于电商、银行等需要大规模客服的场景,ChatGPT的引入可以显著提升机器客服的服务质量,使机器客服不再只是局限于业务查询等简单的工作,这不仅可以大幅缓解人工客服数量紧张的状况,还可以进一步减少客户对于人工客服的需求,为企业节省大量的人力成本。
 
其次,ChatGPT能够促进互联网内容的生产。过去,互联网中主要存在PGC(Professional Generated Content,专业生产内容)与UGC(User Generated Content,用户生产内容)两种内容生产模式。在互联网发展的初期,PGC是最为重要的内容生产来源,而随着互联网进入Web2.0时代,网络用户的增多以及创作平台的多样化,UGC逐步占据更为重要的地位。相比于PGC,UGC不仅产量更高,内容更丰富,创作者与受众之间的互动也更好,但由于创作者的水平有限,加之平台的激励措施不断缩水,优秀的UG C产品数量不断减少,出现了严重的产能不足现象。而随着ChatGPT、Stable Diffusion等内容生成型人工智能的出现,AIGC(AI Generated Content,人工智能内容生成)将会成为一种全新的内容生产模式。与UGC相比,AIGC不仅在产能和质量上有巨大的优势,其还可以为人类提供创作灵感,促进更多的优秀作品出现。可以想象,随着内容生成型人工智能技术的成熟,今后网络中的大部分文字、图片,以及视频都将由人工智能或者人工智能辅助创作而来。
 
最后,ChatGPT将推动更多的产业转型升级。作为新一代人工智能技术的代表,ChatGPT与教育、金融、医疗、法律等产业的有机结合,能够极大地改变传统的工作方式,推动传统产业进入新的数字化阶段,成为推动传统产业转型升级的有效方式之一。
 
      3.2 ChatGPT带来的风险
首先,ChatGPT可能带来严重的失业问题。正如前文所述,ChatGPT在处理机械化工作时表现出了无与伦比的优越性,随着ChatGPT的应用场景不断扩大,越来越多的工作岗位将被ChatGPT不同程度地替代,例如前文所提到的客服岗位。不仅如此,ChatGPT在编程、写稿等方面所表现出的巨大潜力,在未来也可能会影响到薪酬水平较高的中高层白领。由此,ChatGPT的大规模应用必然会导致大量的失业问题,给社会治理带来严重的风险挑战。
 
其次,ChatGPT将对网络安全带来巨大冲击。从本质上看,ChatGPT生成的内容其实是对各种语料素材的重组,其内容未必正确,可能会生成大量的虚假信息,而且与传统的搜索引擎不同,ChatGPT每次只能输出一个答案,用户无法根据自身的判断在众多备选项中做出选择,因而其可能给用户带来严重的误导。此外,由于ChatGPT最终还是要受人类的控制,一些不法分子可能会利用ChatGPT等人工智能以更低的成本来实施诈骗、色情传播等犯罪活动,给网络安全维护带来了新的风险挑战。
 
最后,ChatGPT会对现有法律体系造成一系列风险挑战。ChatGPT的相关法律风险主要集中在著作权以及个人信息保护方面。在著作权方面,ChatGPT所产出的内容是否属于著作权法意义上的“作品”?如果属于“作品”那么其归属于谁?这些问题,在学界仍存在较大的争议,给ChatGPT生成物的法律保护带来了极大的不确定性。而且,ChatGPT的运行是建立在万亿级别的数据库之上的,其中自然包括受到著作权法保护的作品,但ChatGPT的开发团队也无法保证所有使用过的数据都得到了权利人的许可,因而存在着严重的著作权侵权风险。在个人信息保护方面,根据ChatGPT的运行原理,其训练数据来自于广泛的互联网文本和社交平台信息,这些信息中很有可能存在大量的个人私密信息,同时,ChatGPT与用户的聊天内容也都会被收录到数据库中,用户很可能在不经意间泄露了自己的个人信息,这些都将极大地增加个人信息保护的成本。
 
     4 结束语
以ChatGPT为代表的内容生成型人工智能的崛起,是人工智能领域的一次重大变革,其通过引入新的训练方法,在降低人工智能使用门槛的同时,拓展了人工智能的应用领域,开启了人工智能的通用化时代。这样的重大变革不仅便利了我们的生活,还通过改变生产模式来促使社会生产力得到了大幅度的提升。面对ChatGPT带来的影响,我们需要相信其并不是“潘多拉魔盒”,它诞生的使命是便利人类而不是制约人类,我们应正视科技进步背后的潜在风险,施以有效的规制手段,使技术为人类所用。
 
关键词: ChatGPT
 
[ 资讯搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 违规举报 ]  [ 关闭窗口 ]

 

 
推荐图文
推荐资讯
点击排行
 
网站首页 | 禁售产品总则 | 关于我们 | 联系方式 | 使用协议 | 版权隐私 | 网站地图 | 排名推广 | 广告服务 | 积分换礼 | 网站留言 | RSS订阅