最近,ChatGPT在全球范围内引起了热议,并带动了人工智能领域的新一轮浪潮。作为用户增长速度最快的消费级应用之一,它已经在几乎所有行业中得到了广泛的应用。有人将ChatGPT与90年代的互联网革命以及18世纪的工业革命相提并论,认为这场革命正在改变着国家的方式生活和工作。
ChatGPT可以被视为一个非常智能的聊天伙伴,可以回答各种问题,像真人一样自然和顺畅。与其他人工智能客服机器人相比,ChatGPT不仅具备自然流畅的对话能力,还能写论文、写歌曲、写剧本、写小说、编写代码、修复代码错误、翻译和绘画等多方面的能力。因此,ChatGPT具有非常广泛的应用前景,也受到了许多人的追捧和喜爱。
近期,国内外各大科技公司都迅速跟进并公布了与ChatGPT相关的布局。随之而来的是对于ChatGPT对于人工智能革命的替代性担忧,包括引发的职业危机等议题的热烈讨论。同时,也有用户对于ChatGPT“胡说八道”的回答表达了抨击之声。
作为由OpenAI实验室开发的软件应用,ChatGPT是一款模仿人类进行智能对话的聊天机器人,使用了以GPT为基础的模型体系架构,具有高效的语言生成能力。OpenAI官网称,ChatGPT是基于GPT-3.5架构的大型语言模型(LLM)。其产生不仅仅源于单一的技术,而是多种深度学习技术(如Transformer、自监督学习、微调、人类反馈强化学习RLHF、AI对齐等)的叠加和质变。
1. ChatGPT 的核心技术
1.1 大模型
GPT是ChatGPT的基础架构,并经过多次版本迭代,最新的GPT-3模型已经达到了1750亿参数。而ChatGPT则是建立在GPT-3模型的基础上进行发展,其参数数量比GPT-3还要更高。
AI大模型(Foundation Model)是指在广泛数据集(包括标记和未标记的数据)上进行训练后,将大量知识存储在参数中,以适应各种下游任务。当前,100亿以上的参数被称为大模型。此类模型通过微调来适应不同的下游任务。
1.2 大数据
ChatGPT的训练数据集非常庞大,包含六类数据:维基百科、书籍、期刊、Reddit链接、Common Crawl和专门的数据集。这些数据集都经过了处理和筛选,以确保数据的准确性和可靠性。而GPT-3的预训练数据则占据了45TB的存储空间。虽然ChatGPT的训练数据集规模没有公开,但国家可以推测其也可能达到百T级别。
1.3 大算力
GPT-3具有非常高的算力需求,据称需要近3640Petaflop/s-day的计算能力支持(假设每秒计算1千万亿次,需要3640天)。微软投入了5亿美元建设了专门为GPT-3训练而设计的超级计算中心。
而据业内人士的观点,如果要训练一个AI大模型,算力门槛约为1万块Nvidia A100 GPU。这也表明了训练大型深度学习模型所需的巨大计算资源。
1.4 大投入
大型AI模型、庞大的数据集以及高性能计算资源都需要巨大的投入。据报道, GPT-3的训练使用了上万块 Nvidia V100 GPU和28.5万个CPU,一次训练的成本为近千万美元,训练时长达14.8天。而ChatGPT作为一个更加庞大的模型,其训练成本可能会更高。
除此之外,ChatGPT的运营成本也很高,每次调用ChatGPT聊天的成本可能会比Google传统搜索还要高一些。这主要是因为ChatGPT要在服务器端处理复杂的自然语言处理任务,因此需要消耗更多的计算资源和网络带宽。
2. 人工智能的发展趋势
2.1 算力是制约AI发展的最关键因素
对算力的极致追求使得大型模型以及未来的人工智能成为垄断企业之间激烈角逐的焦点。拥有优秀算力的国家和企业将更容易在整个 AI 领域中处于领先地位,而算力较低的国家和企业会逐渐失去对人工智能技术的话语权。因此,算力的竞争实际上是头部国家和企业战略发展的基础壁垒。
微软为OpenAI建造的专门用于训练GPT-3大型模型的超级计算集群具备3640Petaflop/s-day的高算力,建设成本达到7500万美元。根据 OpenAI 发布的AI模型算力报告指出,从2012年起,基于GPU集群的超大规模深度学习模型开始高速发展,并展现了指数级的增长趋势。到2020年,AI算力增高了超过六百万倍。预计从2023年到2028年,AI所需算力再将增加100万倍。
单次云端训练成本近千万美元,这说明当今巨型深度学习模型的训练代价非常昂贵。虽然AI 的算力和运行成本不断提高,但还是需要在资源分配和开发新技术方面不断努力,以构建更加智能、更加可靠和更加经济效益的AI系统。
2.2 算力的垄断可能带来通用人工智能的垄断
算力已成为继电力之后新时代的核心生产力,是数字经济的核心生产力。全球主要国家正在投入巨资,加快算力布局,算力也成为大国战略竞争的新焦点。在算力时代,掌握先进的算力就意味着掌握发展的主动权和更高的竞争优势。IDC发布的报告显示,算力规模与经济发展水平呈现显著的正相关关系,算力规模越大,经济发展水平就越高。因此,算力将成为决定GDP发展的最核心因素,领跑全球算力垄断化趋势的国家将享有先发优势。
高端AI芯片是算力构建的关键组成部分之一,而美国政府在2021年8月将英伟达和AMD两家企业的GPU产品列入贸易限制范围。这意味着国内目前拥有的A100 GPU存货成为了宝贵的战略资源。
随着算力的垄断化,以ChatGPT为代表的通用人工智能(Artificial General Intelligence,AGI)也将面临垄断化的局面。根据IDC发布的全球算力指数报告,美国和中国排行前二,处于领跑者阵营,而其他国家则处于追赶和起步者的阵营。近年来,全球各国之间的算力竞争加剧,大多数国家的算力都有所提升。虽然各个国家所属阵营较上一年没有变化,但这也在一定程度上反映出全球各国算力竞争格局已初步形成。同时,追赶者和起步者阵营的算力差距正在逐渐缩小,而领跑者与追赶者、起步者之间的差距则在不断扩大。
2.3 深度学习仍是人工智能发展的主流方向
在2006年,Hinton发表于《Science》上的论文提出了深度学习算法。这一方法利用多层卷积神经网络实现了强大的特征提取功能,比传统机器学习方法具有更高的特征学习能力,为AI技术开启了新的发展阶段。深度学习算法的典型实现包括卷积神经网络(CNN)、递归神经网络(RNN)、前馈神经网络(FNN)和生成对抗网络(GAN)等。2017年谷歌提出了Transformer算法,该算法广泛应用于自然语言处理领域,并逐渐在计算机视觉等其他领域得到应用。OpenAI 最近推出的 ChatGPT 建立在Transformer算法基础之上。目前,深度学习仍是人工智能未来发展的主要方向。
2.4 多模态融合的大模型是未来人工智能的发展方向
多模态融合通用智能要求人工智能可以同时处理来自不同模态的信息,例如文字、图像、语音或视频等,从而更好地理解人类的信息与意图,并为之作出必要的响应。
当前,基于多模态融合的推荐系统、视觉问答、情感分析、机器翻译等技术已经逐渐铺开。随着数据和算力的不断增加,围绕多模态融合的大型模型如BERT、T5、GPT-3、CLIP、DALL-E等也逐渐居于人工智能的视野中心。这些模型依靠强大的计算资源和丰富的数据来训练,以获取网络的深刻理解和广泛运用。它们能够建立多模态信息之间的联系,形成跨模态的语义表示,进一步提升了人工智能在各领域的应用和实现效果。
未来,随着计算设备和云计算平台的普及以及更高精度、更具代表性的数据集的构建,基于多模态融合的大型模型将日益成为推进人工智能的主要手段,然后有望实现更精确、更全面的任务执行和智能决策。
3. Gartner对人工智能2023年发展的预测
Gartner 还对人工智能在2023年的发展做了四个方面的预测,分别是:
- 数据驱动的AI(Data-centric AI):该领域依赖于数据处理技术, 尤其是数据清洗和标注,从而使得机器学习可以更准确、更智能地发挥作用。
- 模型驱动的AI(Model-centric AI):这一方向侧重于提升机器学习模型的表现力和效率,实现更快速、更有效的深度神经网络等模型优化,以更好地支持区分和分类等任务。
- 应用端的AI(Applications-centric AI):该领域主要将人工智能应用到特定应用场景中,如自然语言处理(NLP)、计算机视觉等,在实际业务场景中运用广泛。
- 以人为本的AI(Human-centric AI):与以上三种不同,该方向关注人类辅助智能的任务,重点考虑如何让人类与人工智能进行有效的交互和协作,并最大程度地减少机器造成的负面影响。
这些方向反映了当前人工智能领域的主要研究方向和趋势。从数据驱动到模型驱动到应用端和以人为本的AI,不断深入研究和创新有望推动人工智能领域实现更大的突破和变革。
3.1 以数据为中心的人工智能
过去,人工智能领域主要专注于通过改进人工智能模型来提高解决方案的效果。然而现在,以数据为中心的人工智能已经成为新的研究重点,其核心目标是通过增强和丰富用于训练算法的数据,来强化整个人工智能系统。
数据为中心的人工智能将会对传统的数据管理方式进行颠覆,并为投资人工智能的企业带来新的发展机遇。有两种方法可以将数据治理思想扩展到人工智能领域:
- 添加适用于人工智能开发的特殊功能,以帮助不熟悉数据管理的人工智能受众;
- 使用人工智能技术来改进和增强数据治理、数据的持久性、集成性和数据质量。
以数据为中心的人工智能还采用了许多创新性方法,其中包括合成数据、知识图谱、数据标记和注释等。其中,合成数据是一种人为生成的数据,与从实际观察中获得的原始数据不同。合成数据可以通过不同的方法生成,例如从真实数据中进行严格的统计抽样、语义方法和生成对抗网络,或者通过创建模拟场景,在其中模型和过程相互作用,以创建全新的事件数据集。
Gartner 预测,合成数据的采用率将会增加,因为:
- 合成数据能够避免使用个人身份信息,提高了数据的隐私性;
- 合成数据成本更低、训练时间更短,更易于实现;
- 合成数据也可以提供更多的数量和质量上优越的训练数据,从而提高机器学习的性能。
3.2 以模型为中心的人工智能
近年来,人工智能领域不仅关注于模型的发展,也越来越重视数据的作用。以数据为中心的人工智能正在快速发展,其中包括很多创新技术,如合成数据、知识图谱、数据标记和注释等。此外,以模型为中心的人工智能也在不断创新,包括基于物理的人工智能、复合人工智能、因果人工智能、生成人工智能、基础模型和深度学习等。
复合人工智能可以将不同的人工智能技术相互融合,提高学习效率和解决问题的能力,有助于拓宽AI应用的范围和质量,具有广泛的商业潜力。
而因果人工智能则通过引入因果图和模拟等技术,揭示因果关系并优化决策,增加了自主性和可解释性,从而有望在未来对企业产生显著收益。
另外,数据治理也是以数据为中心的人工智能发展的重要方向之一,通过增强和丰富训练算法的数据来提高整个人工智能系统的效果。合成数据等新技术的发展,将会对传统数据管理方式进行颠覆,并为企业提供新的人工智能发展机遇。
3.3 以应用为中心的人工智能
人工智能应用的创新将应用为中心,包括诸如人工智能工程、决策智能、操作人工智能系统、ModelOps、人工智能云服务、智能机器人、自然语言处理(NLP)、自动驾驶汽车、智能应用和计算机视觉等。
在这些领域中,决策智能和边缘人工智能具有巨大的商业潜力,并预计在未来2-5年内被广泛采用。
决策智能可以对结果反馈进行评估、管理和改进,并优化决策模型制定方式,从而减少技术债务并增加可见性。同时,通过适当捕获和解释业务环境中的不确定性因素,使决策模型更具弹性,减少决策结果的不可预测性。
边缘人工智能是指嵌入在物联网(IoT)端点、网关和边缘服务器中的人工智能技术。其优越性在于提高运营效率、增强客户体验、通过本地分析减少决策延迟、降低连接成本以及增强解决方案的持续可用性,而不需考虑网络连通性。
3.4 以人为本的人工智能
人为本的人工智能创新包括AI信任、风险和安全管理(TRiSM)、负责任的AI、数字伦理以及AI制造商和教学工具包。
在人工智能开始替代人类决策时,需要更加关注人工智能的人本性。负责任的人工智能要求国家在使用人工智能时,应当考虑商业和道德选择,如商业和社会价值、风险、信任、透明度、公平、减少偏见、可解释性、问责性、安全、隐私和监管合规等。负责任的人工智能尚需5-10年才能成为主流,但最终将对商业转型产生巨大影响。
数字伦理是指个人、组织和事物之间进行电子交互的价值体系和道德原则,关注隐私和偏见问题。越来越多人意识到他们的信息有价值,从而对个人信息的收集、处理中缺乏透明度、滥用和违规的行为感到沮丧。企业正在采取行动降低管理个人数据的风险,政府也通过实施更严格的立法加以保护。数字伦理大约需要2-5年的时间得到普及,但是同样具有巨大的商业影响。
虽然现在还有很多企业忽视数字伦理,认为它不适用于他们的行业或领域。但Gartner预测到2024年将会有30%的企业采用新的“社会声音”指标来应对社会问题,并评估其对企业绩效的影响。因此,将数字伦理纳入人工智能战略势在必行,这对提高企业在客户、员工和合作伙伴中的声誉,扩大社会影响力具有重要作用。
4. 中国发展人工智能的机会与挑战
4.1 人工智能发展要发挥新型举国体制优势
为了有效地促进人工智能产业的长期、系统、创新发展,国家必须充分发挥新型国家治理体制的优势。这包括利用政府、国家队和市场三方力量,将有为的政府与有利的市场结合起来,实现自主创新与开放创新的协同互动。在此过程中,政府应该提出顶层规划,以推动人工智能领域的持续、稳定发展,并引导长期投资。国家队则负责在人工智能基础科学领域取得突破,并建设关键的人工智能基础设施。而市场则需要重视技术创新攻关机制,以头部人工智能企业为主体,发挥市场力量和产业生态的作用,重视各行业人工智能的产业化规模落地。这样一来,国家就可以真正实现人工智能产业的蓬勃发展和可持续性增长。
4.2 充分强化数据、算力和算法的铁三角
在人工智能的发展过程中,算力、数据和算法模型三者是相互依存的闭环循环体系,只有它们相互配合才能推动AI稳定、快速发展。然而,目前我国面临着数据分散、算法缺乏、算力薄弱等问题,这些都是不可忽视的挑战。特别是算力,对于未来人工智能的发展起着基础性的作用。因此,在建设人工智能算力网络基础设施时,国家必须持续加强算力方面的投入,以满足AI大模型、算法等对算力资源的巨大需求。同时,为了促进人工智能的共同进步,全球范围内已经形成了资源共享的共识。在加强数据保护的前提下,我国也应该积极利用大数据资源,鼓励数据的开放和共享,为人工智能技术的发展提供更广泛的支持和资源。
4.3 打磨大模型并聚焦低成本商业化
尽管我国在大模型领域已经研究多年,但是与国外相比起步略晚,在目前的发展趋势下,随着国外垄断效应(即大数据积累、大算力支持和大模型迭代)增强,差距可能会变得更大。大模型已经成为了行业和场景创新的共识,而降低通用或行业大模型的建设、训练和使用成本则成为商业化成功的关键。例如OpenAI在今年3月推出了API,使得开发人员集成成本可以降低到原来的1/10。与从0到1不计成本的技术突破不同,商业化需要我国企业提供性价比更高、成本更低的解决方案以及更强的落地能力,这才能满足市场需求并赢得竞争优势。
4.4 重视人才培养、AI 伦理、安全和法规建设
重视人才培养、解决人才短缺问题,是我国AI发展的当务之急和长期需求。据估算,中国目前的人工智能专业人才缺口超过500万,国内供需比例严重失衡。同时,随着ChatGPT等技术的兴起, AI伦理和安全问题将逐渐凸显,在未来多领域加速应用,这将需要国家提前布局并将AI伦理治理融入AI全生命周期以增强数据安全和隐私保护能力。政府也应该根据AI在各个应用领域的实际情况及时完善相应的行业法律法规,为新业态提供可依赖、遵循的法规框架。
4.5 搭建产业生态并密切跟踪全球发展趋势
美国在PC时代的Wintel体系和移动时代的AA体系(即微软+Intel和ARM+Android)中,打造了完整的产业生态,以掌握产业的主导权并实现行业的垄断。相比之下,在人工智能领域尚未形成绝对主导的技术依赖和产业生态。因此,我国应着手加快产学研用联合攻关,在自主AI芯片、框架软件、大型模型和产业应用等方面搭建起完善的人工智能生态体系。同时,也要持续密切跟踪全球前沿技术发展趋势,学习借鉴发达国家在研发、支持、监管等方面的最新动态,并结合我国国情来提高竞争力。
随着ChatGPT和其他自然语言处理技术的发展,人工智能正在引领科技创新和实用应用的热潮。未来若干年,人工智能将以更加普及和成熟的形态呈现出来,从图像识别到语音识别再到自然语言处理等等多方面的领域都将得到广泛应用。同时,云计算和大数据技术等基础设施将进一步完善,为各类产品提供强有力的支撑。但是,在发展人工智能的过程中,也需要注意人类道德和法律准则,保护用户隐私信息和权益。因此,在应用人工智能的同时还需要贯彻“以人为本”的原则,坚持可持续发展,将技术的红利最大化地回馈给社会。