腾讯混元参战大模型:“幻觉率”可降低30% 多个指标超越GPT3.5
来源:澎湃新闻 发布时间:2023-09-08 08:21:38

“百模大战”新增又一巨头:腾讯官宣参战。


(相关资料图)

9月7日,在2023腾讯全球数字生态大会上,腾讯正式发布混元大模型,并宣布通过腾讯云对外开放。

资料显示,腾讯混元大模型是腾讯自研的一款通用大模型,目前已经接入腾讯50多个业务测试,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等业务和产品。

值得注意的是,这并非是腾讯首次公开大模型相关进展。此前6月19日,腾讯曾发布依托腾讯云TI平台打造行业大模型精选商店,提供MaaS(Model-as-a-Service)一站式服务,构建专属大模型及智能应用。

“大模型竞争还在马拉松的第一公里,这个行业太新了,不存在清晰的市场份额或占比。”9月7日,在接受澎湃新闻等媒体采访时,腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生坦言,“大家动不动就喜欢发布通用大模型,在我看来这条路有点走偏了,不能解决产业实际问题和痛点。”

对于大模型落地前景,他也直言:“有些前沿投入和布局,可能要3到5年才能看到商业回报,现在谈大模型的商业前景还为时过早。”

腾讯的大模型“路线图”

今年上半年,多家大厂扎堆发布大模型,“百模大战”一度成为舆论焦点,而腾讯一直到9月份才发布通用大模型,似乎显得有些姗姗来迟。

“腾讯做大模型只看自己,不看别人。”9月7日,对于发布时间,腾讯副总裁蒋杰向澎湃新闻记者坦言,“混元大模型在腾讯内部已经内测很久,在推出时间上,没有考虑过和同行进行赛跑。”

从基本参数来看,目前腾讯混元的参数规模超千亿,预训练语料超2万亿tokens,具备中文创作能力,复杂语境下的逻辑推理能力,以及任务执行能力。

和其他模型相比,混元大模型的特点和优势是什么?澎湃新闻记者梳理发现,其最大特点是在解决“幻觉”能力上表现较为突出。所谓的“幻觉”,指的是大模型在回答提问时会出现答非所问、胡说八道的现象,腾讯混元大模型在预训练阶段通过“探真”算法进行事实修正,实测幻觉率可以降低30%-50%。

“其他厂商往往会通过知识图谱或是搜索外挂来让大模型的检索能力变得更加准确,但使用外挂会导致新的幻觉出现,因此腾讯决定在大模型预训练阶段就解决这个问题。”蒋杰表示。

此外,混元大模型还具备超长文本的处理能力,能够提供超过4000字的长文回答,而在同样的命题下GPT-3.5只能提供超过1000字的问答。在数据源头方面,蒋杰介绍,腾讯做小模型、大模型甚至大语言模型,都不会使用个人隐私数据。此外,腾讯的内容产品,也为腾讯混元大模型提供了大规模、多样化的语料库,能够学习到各类应用场景中的语言知识和语境理解能力。

在具体指标上,混元大模型在多个指标上超越了GPT-3.5,包括代码子项、STEM子项、高考题子项和数学子项上,但和GPT-4还有距离。蒋杰表示,国内的厂商在做大语言模型的时候,需要循序渐进,脚踏实地做好每一项技术突破,并且坦诚面对和国际厂商在技术上的一些差距。

外界好奇的是,为何腾讯在推出行业大模型后再次推出通用大模型?

此前汤道生曾提到,通用大模型可以在100个场景中,解决70%-80%的问题,但未必能100%满足企业某个场景的需求。相比盲目使用通用大模型,企业基于行业大模型构建自己的专属模型,也许是更优的选项。模型参数比通用大模型少,训练和推理的成本更低,优化也更容易。

对此,汤道生告诉澎湃新闻记者,推出时间较晚是因为腾讯一直在研发和应用的过程中。其实腾讯内部早已开始内测混元大模型,但在没有经历充分的应用融合和实践前不会对外公布其具体进展,最终公布的成品,是经过充分打磨后的,但依然会不断更新和迭代。

大模型商业化究竟路在何方?

在“百模大战”的热度略有减退后,大模型的实际落地效能成为外界考量的重点。

谈到混元大模型未来商业前景时,蒋杰坦言,在To B(企业)端产生商业收入还有待探索,因为目前混元大模型在面对成熟度和复杂任务的处理能力还不够全面,因此对于较多专业场景不能充分解锁,应用有待完善。

“混元大模型一开始就不是为了发布而发布,而是根据腾讯自身应用,例如微信、QQ等进行相关研发和匹配,提供互相深度融合的能力,才能抵消大模型背后的高昂设备、训练和人力成本。”蒋杰表示。

此前,百度智能云副总裁朱也在接受澎湃新闻记者在内的媒体采访时曾表示:“从衡量大模型本身的商业价值角度看,如果应用不起来,整个大模型很难持续下去,确实是需要投入,整个生态起来、应用繁荣很重要。我们判断,偏向于营销服务、办公提效这两个场景,可能会首先实现大规模落地,我认为接下来几个月能够看到应用逐渐落地,规模逐渐增大。”

对于大模型研发的高额成本,汤道生透露,腾讯内部对于资源分配有倾斜性,混元大模型是腾讯内部最重要的项目之一,因此会以第一优先级进行考虑,目前公司内部的人员配置和资源合作“跑得很顺利”,但大模型的竞争尚在马拉松的第一公里,可能要到3到5年后才能看到相应回报。

就在不久前,百度宣布“文心一言”向全社会全面开放,还将开放一批经过全新重构的AI原生应用,让广大用户充分体验生成式AI的理解、生成、逻辑、记忆四大核心能力。

混元大模型是否也将对外开放?对此,蒋杰表示,是否提供C端(消费者端)服务仅仅是时间和选择的问题,“目前我们还是侧重在内部应用场景中做尝试,TO C与否只是一种‘开关’,做好自身能力、提高准确性才是我们最为关注的。”

(文章来源:澎湃新闻)

标签:

猜你喜欢

腾讯混元参战大模型:“幻觉率”可降低30% 多个

【腾讯混元参战大模型:“幻觉率”可降低30%多个指标超越GPT3 5】“大更多

2023-09-08 08:21:38

南京:对出售自有住房并购买90平方米以上新建商品

南京9月7日晚发布《促进房地产市场发展南京最新举措》问答。有关“卖旧更多

2023-09-08 08:08:41

深圳8日全市中小学、幼儿园停课,部分地铁、交通

南方财经全媒体记者李金萍深圳报道9月8日,深圳市防汛防旱防风指挥部办更多

2023-09-08 08:12:09

深圳地铁部分线路暂停运营服务

深圳地铁官博消息,受强降雨天气影响,9月8日深圳地铁运营方案调整如下更多

2023-09-08 07:22:00

基金投资者教育迎新规

近日,中国证券投资基金业协会(以下简称“中基协”)根据证券投资基金更多

2023-09-08 06:13:30

香港天文台:昨晚11时至午夜12时录得一小时雨量为

据香港天文台,与海葵残余相关的低压槽自昨晚(9月7日)为广东沿岸带来暴更多

2023-09-08 06:19:43

十城竞争“世界显示之都” 合肥深圳成都三城暂时

中国制造业“缺芯少屏”的问题正在得到改善,尤其是显示产业快速崛起,更多

2023-09-07 23:11:55

商务部新任发言人亮相!都说了些啥?

9月7日,商务部新任新闻发言人在9月首次例行新闻发布会上表示,目前我更多

2023-09-07 23:20:34

存款利率一降再降 但大行存款规模仍呈两位数增长

不算9月1日这次,本轮银行存款利率已有2次下调,但期间国有大行存款规更多

2023-09-07 23:17:02

21健讯Daily|2022年新药临床试验数量小幅下降;

一、政策动向●CDE发布《中国新药注册临床试验进展年度报告(2022年)更多

2023-09-07 22:17:43