首页 > 实用技巧 > 干货教程 > 高文院士谈AI:规模即所需,三“大”缺一不可

高文院士谈AI:规模即所需,三“大”缺一不可

发布时间:2024-05-26 15:40:17来源: 15210273549

规模是做好生成式人工智能的撒手锏,大数据、大模型和大算力对于生成式人工智能缺一不可。”在近日举行的第七届数字中国峰会之中国移动人工智能生态大会上,中国工程院院士、鹏城实验室主任、北京大学博雅讲习教授高文表示。高文院士回顾了人工智能发展的三次浪潮,并对影响当下生成式人工智能发展的关键因素进行了分析。

历经三次浪潮

1956年夏天,美国达特茅斯学院举行了一场研讨会,在会上麦卡锡首提“人工智能”,标志着人工智能元年的到来。追忆历史,高文表示,从1956年开始人工智能经历了三次浪潮:以推理研究为主的第一次浪潮,持续20年左右时间;以专家系统为主的第二次浪潮,持续30年左右时间;以及从2006年开始的第三次浪潮。其中第三次浪潮又包括两大技术进展:从2009年开始的判别式人工智能,从2018年开始的生成式人工智能。

2009年,华裔科学家李飞飞和李凯教授提出imageNet(图像网络),一石激起千层浪,业界八仙过海各显神通,纷纷基于imageNet提出各自的判别式人工智能算法,直到2012年深度神经元网络出现,以绝对优势令其他算法黯然失色,将百花齐放的格局进行收敛。2015年微软研究院何凯明、孙剑等联合提出ResNet(残差网络),又将判别式人工智能带到了新高度。此后,从深度神经网络DNN到卷积神经网络CNN再到循环神经网络RNN,深度网络快速迭代,不断走向新的技术高度。

“判别式人工智能以模式识别见长,如图像分类、人脸识别、智能监测等,如今广泛应用的人脸识别正是判别式人工智能的应用。判别式人工智能与人的对象认知学习接近,可以根据学习速度、记忆规模、判别准确度判断其结果好坏。”高文分析。

大语言模型破解长语言序列难题

不过,判别式人工智能通过在神经网络中输入大量数据进行快速判别,擅长图像和矩阵识别,对于长语言序列则力不从心。在这样的形势下,大语言模型应运而生,致力于解决长语言序列问题,而生成式人工智能则是大语言模型的最主要突破。

高文表示,自2018年开始生成式人工智能快速迭代,从大语言模型LLM到ChatGPT再到Sora多模态,万变不离其宗的是底层关键技术GPT(生成式预训练模型)。GPT引入注意力机制,使得一个长串中无论相隔多远的两个相关数据都能连接在一起,并训练出关联度。“GPT的核心算法是用大量序列做大模型预训练,关键是注意力机制。由于GPT算法对业界并无差别,因此具体应用效果取决于学习速度、记忆规模、表达准确度等。”高文认为。

虽然如今ChatGPT如火如荼,但是GPT起初并没有激起太多涟漪。这是因为GPT使用起来问题较多:给出的答案要么过于简单,要么过于复杂,要么不合规,存在意识形态、文化习惯、行业差别等方面的问题。

ChatGPT的出现改变了这一现象,使得业界对于人工智能的印象和投入力度大为改观。不过从底层技术看,从GPT到ChatGPT并没有改变,其不同在于:一是ChatGPT增加了InstructionGPT指令,通过微调、对齐和抑制,使得回答更加“人模人样”;二是引入基于人类反馈的增强学习RLHF,解决合规问题和垂应用适配等。

大数据、大模型和大算力缺一不可

在中国移动人工智能生态大会上,中国移动发布了“万千百”智能基座,其中,“万”指“万”卡互联并行加速算力供给,中国移动年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心,广泛升级1500个边缘节点,为全社会提供澎湃算力。

中国移动在智算中心方面的规模投入并非个例,随着生成式人工智能的发展,全国各地多个智算中心如雨后春笋不断出现,而这背后的原因是人工智能的发展需要算力支撑。

“生成式人工智能做得好不好,规模是决性定因素。”高文一语道出其中关键。

高文表示,GPT和Sora等人工智能生成技术并没有提出理论革新,与20年前的人工智能神经网络理论本质上并无差异。生成式人工智能的突破得益于大数据、大模型和大算力,这三个“大”缺一不可。特别是算力,如今千卡是入门级规模,要想做大模型必须有万卡级。

对于规模,OpenAI等公司也有深刻见解:如果能用规模解决问题,就无需动用新的算法。不仅如此,OpenAI还提出了“假设性三公理”,已被AI领域奉为圭臬。

第一条公理,苦涩的教训。多年来人工智能的研究者们一直试着将人类已知的知识构建到他们的智能体中,但是屡战屡败。成功的极少数案例都是使用规模计算,通过搜索和机器学习完成的。大规模、大算力和大数据是通用人工智能的必要条件。

第二条公理,规模即所需。一旦选择了良好且通用的数据标注、算法,就能够找到一套通用的规律,数据越多,模型越大,效果就越好,而且这个规律在训练之前就可以预知效果。大规模是通用人工智能AGI的充分条件,大就是好。

第三条公理,涌现需规模。随着规模的扩大、数据的增加,大模型一定会涌现出前所未有的能力,这个能力可以被所有人看到。

最后,高文总结表示,判别式人工智能方兴未艾,生成式人工智能如火如荼,关于下一波浪潮业界也有很多预测,如无人驾驶、具身智能、人形机器等,但总体而言仍不得而知。未来充满想象,值得我们期待,也需要业界有所作为。高文特别提到,中国的人工智能需要自己的大模型底座,只有这样才能实现以中文语料和中国历史为基础的文明传承。

干货教程更多>>

换电新风尚,蔚来如何让新能源车生活“来电”满满? 越来越多人不装平开窗?过来人建议:别被“忽悠了” 电商退货率暴增,卖家苦不堪言:十年老店艰难求生 星纪魅族:智能座舱方案无界智行开放平台2.0”将在年底上线 噩耗!小米15或将迎来大幅涨价 雷克萨斯ES最为特殊的版本,2.5L排量+8AT+204马力,落地30万起步 实话实说:不是一汽大众不够“狠”,而是广汽本田这次太“强”了 疯抢!宝马 X5 25 周年纪念版,售价 58.87 万! Zen 3/4/5“三代同堂”,联想多款锐龙笔记本通过EEC认证 “只是把QQ音乐、QQ、微信、谷歌浏览器、百度网盘卸载了” 牛掰!以后手机不是安卓是鸿蒙啦!任正非,中国企业家里就服您! 微信正在适配“纯血鸿蒙” 人工智能技术提速数字化进程,全球产业经济格局面临重塑 全球AI算力激烈交锋,谁来为中国企业撑腰? 想不到!鸿蒙纯血发布,微信竟缺席,啥情况? 荣耀目前最值得买的3款手机,信号好流畅度高,能用五年以上 新一代续航灭霸?一加Ace3Pro首发6100mAh冰川电池,性能更猛 一加12成4K价位段爆款旗舰,性能、影像、续航全都拉满 各手机品牌能买和不能买机型,别花冤枉钱了 moto X50 Ultra上手体验分享:AI亮眼,拍摄出众,出道即巅峰 曝索尼正为PS新作开发寻找演员:要求跨性别 会用刀 全新福特Mustang上市,首次引入敞篷版,卖40多万算贵吗? 全新福特探险者:敏捷实用的电动SUV 两大造型+十大配置,奔驰长轴距E级车到底选哪个版本划算? 比亚迪墨西哥高管:工厂选址已进入最后谈判,将创造近万工作岗位 1600万达成! “GLOCAL”成东风日产未来增长新引擎 运营商5G用户规模稳步攀升 5G-A有望激发增长新潜力 谷歌Pixel手机将迎“自适应散热”:电池温度49℃ 提醒用户 AMD在RX 7900 XTX显卡上演示微软工作图效果 iOS18大改版新功能与小惊喜