ChatGPT简述

ChatGPT是由人工智能企业OpenAI开发的一个聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5（Generative Pre-trained Transformer 3.5，生成式预训练变换器模型3.5，是GPT-3的一个升级版本）架构的大型语言模型，使用互联网上的海量文本进行训练。
 
仅从规模上来看，ChatGPT背后使用的GPT-3框架大得惊人，其参数个数多达1750亿个，大小为800GB。在预训练过程中，它使用了足足570GB的数据，也就是约3000亿个单词。事实上，光是训练GPT-3模型一次，就需要约一个月的时间，以及1000-1200万美元的成本！在2020年，为了给训练这个模型提供准备，微软专门建造了一台有着28.5万个CPU、1万个GPU、GPU服务器数据传输速度高达400GB每秒的的超级计算机。
 
相比于传统的聊天机器人，ChatGPT更加智能，回答问题的水平也更高，语言风格更靠近人类，它可以被用来编写计算机程序、创作诗歌，甚至可以应付各类考试。例如，有人使用ChatGPT参加SAT考试，取得了接近人类平均水平的成绩；在司法考试、医师执照考试中，ChatGPT的成绩也不错。
各界反应

ChatGPT上线后不久，许多学校就迅速出台了一系列限制措施，例如，纽约的部分公立学校禁止学生利用本校无线网络访问ChatGPT，理由是担心学生可能会对其产生依赖，无法锻炼批判性思维和分析问题的能力。而部分美国高校则要求学生必须在有摄像头监控和有限制的浏览器中撰写论文初稿，甚至干脆放弃要求学生提交论文——这些论文很可能是ChatGPT“代写“的。
 
除学校以外，《自然》、《科学》杂志，以及国际机器学习会议ICML等学术组织，也对ChatGPT下达了封杀禁令，这从一个侧面说明，相比于之前的人工智能程序，ChatGPT的能力确实有了很大的提升。
 
以往，社会对人工智能的担忧是，它会取代大量中低端岗位，引发一波失业危机，进而威胁社会稳定，但ChatGPT的表现过于优异，以至于许多人开始讨论它取代中高端岗位的可能性。例如，它已经通过了谷歌最初级工程师职位（年薪18.3万美元）的面试。事实上，即便ChatGPT现在还无法完全取代那些需要高级技巧的岗位，但是它已经能够在很大程度上作为人类的辅助工具，来减轻人们的工作量、提高生产率，当10个人的活只需要3个人干的时候，难免不会引发裁员危机。
 
仅以回答代码相关的问题为例，相较于传统的Google搜索，以及其他问答机器人，ChatGPT能够一次性给出完整、连贯的回答，甚至有时候可以放出整段代码，程序员只需直接复制粘贴即可。不像谷歌搜索，还要自己点进链接寻找有价值的回答，并将之拼凑起来。

ChatGPT引发的担忧
除了前文提到的可能被用于学术作弊，和导致大量失业以外，已经有不少西方人呼吁重视ChatGPT对新闻真实性、言论自由，甚至民主制度本身的威胁。这是因为它可以在短时间内，以极低成本生成大量虚假评论、文章、新闻。
 
在过去，要想制造大量假新闻和评论，需要几百万美元和一个几百甚至上千人的团队，在社交媒体上“灌水”（参考俄罗斯怎么在2016年干预美国大选），然而现在，只需几个人，加上ChatGPT这样训练良好的大型神经网络，就可以达到相同的效果。
 
ChatGPT对民主的威胁不仅于此，通过海量文本分析，它能够得出，哪位议员在某些问题上最具有话语权，或者对某些问题最为关注。它也能进一步挖掘对这些议员影响最大的院外集团、公司、基金会，之后，就可以通过直接沟通、游说，来利用他们“撬动杠杆”，影响立法决策。
 
游说过程甚至都不必依赖传统的说客来执行，想象一个场景：一位议员在自己的Twitter账号上收到数万条评论，个人邮箱遭到成千上万封电子邮件的轰炸，另外还接到了数百个选民的电话，恳求他反对最近提出的新能源补贴法案，但实际上，这些所谓的“电子邮件”、“选民电话”、“评论”都是用人工智能生成的，真正反对新能源补贴的人远没有这么多。当人工智能已经发展到可以以假乱真的程度时，到底什么是公共舆论？如何判断舆论的风向到底是真实的，还是人为创造的？这些问题值得深思。
 
除了对公共事务的威胁以外，ChatGPT还引发了对隐私、版权、数据安全等问题的担忧。例如，ChatGPT从互联网上爬取大量数据用于训练，是否侵犯了人们的隐私权？毕竟有些人可能不希望自己随手发的一条吐槽推文被语料库收录。在版权问题上，ChatGPT创作的文章到底属于谁？而它爬取BBC、CNN等各大网站的文章，又是否侵犯了后者的版权？鉴于ChatGPT已经有了编写程序的功能，如果不法分子试图利用它来编写恶意软件或钓鱼邮件，该怎么办？
 
最后的担忧则是关于行业的发展。早在2020年4月，就有论文指出，NLP（自然语言处理）领域的发展趋势是，模型越来越大，参数越来越多，训练所需数据量也愈加庞大，通过对比历代GPT模型也能发现这样的规律。
 
在这种情况下，缺乏数据、算力、人力的小公司，以及高度依赖政府拨款的高等学府将被边缘化，只剩下谷歌、亚马逊、微软、Meta等几个科技巨鳄有资格“进场角逐“，因为只有他们，掏得起几十上百亿美元来建造超级计算机，付得起成千上万名人工智能科学家的高额薪水，也只有他们，能够针对成千上万个领域，构造专门的、拥有海量数据的数据集。人工智能研究领域不仅会寡头化，还有可能越来越重实践而轻理论、重短期效益而轻长期效益，研究人员们将过度以商业利益为导向，不去做那些当下看起来暂时”无用“的研究。这对人工智能的良性发展也是不利的。

ChatGPT在技术上的局限性
前不久，人工智能界领军人物之一、纽约大学教授、Meta首席人工智能科学家Yann LeCun表示，ChatGPT根本算不上什么革命性的技术突破，只是一个做得比较好的产品罢了。尽管这话有来自竞争对手的贬低之嫌，但是在大方向上他没说错。
 
ChatGPT并没有架构或者说范式上的重大创新。它所使用的基本架构是Transformer（直译为“变换器”），早在2017年就被谷歌首次提出；而它具体使用的GPT-3.5模型是GPT-3的一个增强版本，GPT-3早在2020年5月也已经推出。
 
根据《纽约时报》的报道，OpenAI原本的工作安排，是在2023年初发布GPT-3的下一代版本GPT-4，只是高层出于对竞争对手的担忧，决定抢先发布ChatGPT。总而言之，ChatGPT本质上还是使用的旧模型，“新瓶装旧酒”。
 
当然，我们不能因为ChatGPT离真正的人工智能还有很远，就把它说得一无是处。毕竟Google、Meta、Amazon等其他科技巨头此前曾多次发布聊天机器人，但没有一个取得ChatGPT的效果。ChatGPT的真正问题在于，与许多人所宣传的相反，它离真正拥有自己的智能还很远。
 
近几年市面上流行的大型语言模型，不论是OpenAI的GPT，还是Google的BERT，抑或是更早之前艾伦人工智能研究院的ELMo，本质上都是在庞大的文本库进行预训练，“记住”这些文本以后，每当获取用户输入时，它就从巨量的联想记忆中检索到类似问题的答案，然后利用概率学知识，生成新颖、流畅、有随机性的文本回复（这就是为什么，当用户告诉GPT-3以不同方式回答同一个问题的时候，GPT-3能够切换另一种风格回答）。
 
进行模型训练的方式，根据有无监督，可以分为三种。第一种是有监督学习，即数据有人工标记；第二种是无监督学习，即利用没有任何标注的数据进行训练；第三种为半监督学习，介于二者之间。
 
由于对人工智能程序准确性的要求越来越高，所使用的数据量也越来越庞大，使用人工来标注成百上千亿条，甚至更多数据绝无可能，更不要提针对某些特定领域构造庞大的数据集完全不现实，因此近几年的主流方式是无监督学习，例如，一种训练GPT-3的方法是，随机遮盖段落的某些部分（一般有15%的词被遮挡），让程序猜出空白部分的词汇，以此锻炼其生成文本的能力。
 
无监督学习可以避免缺乏人工标注数据的困境，理论上，所有互联网世界的文本都可以被当作训练的语料库，而且也显得更加“智能“，毕竟需要人类手工地一条一条标注数据，来指导机器模型的训练，怎么看都和”人工智能“相差甚远。但是它会带来一个新的问题，那就是训练的文本怎么说，它就怎么说，缺乏自主判断真假的能力，更不要说计划、推理、想象等高级思维了，而独立思考，恰恰是人类的高明之处。
 
举个例子就是，如果在没有人工干预的情况下，把特朗普的演讲段落，混合其他一些资料，用作语料库，那么机器有可能把特朗普那些重复了许多遍的不实言论（如“我主导了美国史上最大规模的减税“、”我十几年来第一次给军队涨薪“）当作事实，然而，换做一个对政治有一点了解的人，只需上网搜索，便能很快判断出真假。
 
再比如，人类社会中存在着大量对边缘群体（女性、少数族裔、同性恋……）的歧视，而这些偏见深深地嵌刻在人们的语言中，因此机器在模仿人类写作时，会一并学得这些陋习。
 
以目前的技术，解决这个问题只能依赖人工干预。针对虚假信息的问题，可以先告诉机器一些预备知识，例如让它学习政治学相关的知识库；而针对种族/性别偏见的问题，OpenAI雇佣了肯尼亚的一家公司，耗费大量人力（肯尼亚外包工人工资仅2美元一小时，是美国本土工人的百分之一），来专门为此类内容标注一个数据集，以帮助改善算法。但是，预先输入大量外部知识以后，还能被叫做“人工智能“吗？更不要说，如果某个程序针对每一个任务都要预先专门准备，且不同任务之间学得的知识无法共享，那么这种”人工智能“完全没有通用性，只能说是解决某个特定问题的助手罢了。
 
所以，ChatGPT并没有一些人所说的那么夸张，它和它的前辈们，如IBM的智能问答机器人Watson，以及谷歌的围棋机器人AlphaGo一样，依然是一个基于数理统计的非线性拟合程序，尽管号称有“学习”的能力，但是这种学习，本质上只是一种记忆，只是因为它的参数很多（1750亿个）、训练所用文本量极其庞大（所有维基百科的英文页面加起来多达30亿个词汇，在训练文本中仅占3%！），因此它的回答可以让人耳目一新，但这不代表它就真正地有了创造力。
 
打个比方，让一位中国的中学生把英文世界的所有名著全部死记硬背记下来，那么他只需从记忆中抽取，便能从莎士比亚、马克·吐温等等作家的名章名句中组合出一些还不错的段落，显得很有智慧。但他其实并没有内化那些高级的英语词汇、短语、句法以及表达方式，更遑论对作家写作的时代背景的掌握了。如果要让这位中学生写一部短篇小说，结果肯定会写出一团浆糊。
 
总而言之，当代的人工智能程序，只能处理较为规整的数据，并在规则比较明确的领域发挥作用，很多时候还需要大量的数据样本或者领域相关知识作为辅助，但到了真正需要创造力、形式灵活多变的场合，例如欣赏一则幽默，或者在蜿蜒曲折、路况多变的道路上开车，又或者担任私人秘书为老板提供全方位服务，人工智能就无能为力了。说到底，它其实就是个程序，编程完成了以后只能按程序做，很难解决类型完全不同的新问题。不像人脑，拥有几百亿个结构极其复杂的神经元，不同神经元的结构天差地别，神经元之间也没有固定的连接，拓扑结构多变，因而可以胜任完全不同的，且需要原创性的任务。
 
不过，虽然在范式上没有大的突破，但是人工智能确实可以在特定领域上起到强大的辅助作用。近些年已经有人工智能运用在化学、生物和物理学方面的成功案例。例如在化学领域，通过设计特定的算法，可以快速筛选出最优的反应路径、设计新药物，又或者预测出何种结构的材料能够具有人类需要的特性（超导性、延展性、硬度……）；在生物学领域，人工智能已被成功用于预测蛋白质结构；在物理学领域，它也已经被用于可控核聚变中的等离子体磁场控制。这些人工智能应用层面的研究，还具有很大的挖掘空间，值得各国重视。