当前位置:首页>科技 >互联网>OPPO小布大模型OBERT登顶KgCLUE榜单,推进技术创新落地

OPPO小布大模型OBERT登顶KgCLUE榜单,推进技术创新落地

2022-07-01 16:00:35 网络

标题:OPPO小布大模型OBERT登顶KgCLUE榜单,推进技术创新落地

  近日,OPPO小布助手团队和机器学习部联合完成了十亿参数模型“OBERT”的预训练,业务上取得了4%以上的提升;在行业对比评测中,OBERT跃居中文语言理解测评基准CLUE1.1总榜第五名、大规模知识图谱问答KgCLUE1.0排行榜第一名,在十亿级模型上进入第一梯队,多项子任务得分与排前3名的百亿参数模型效果非常接近,而参数量仅为后者的十分之一,更有利于大规模工业化应用。

  CLUE1.1总榜,共9个子任务

  KgCLUE1.0,知识图谱问答榜

  技术全自研,小布推动十亿级预训练大模型落地

  大规模预训练模型的出现,为自然语言处理任务带来了新的求解范式,也显著地提升了各类NLP任务的基准效果。自2020年,OPPO小布助手团队开始对预训练模型进行探索和落地应用,从“可大规模工业化”的角度出发,先后自研了一亿、三亿和十亿参数量的预训练模型OBERT。

  预训练模型开发&应用方案

  得益于数据获取的低成本性和语言模型强大的迁移能力,目前NLP预训练主流的任务是基于分布式假设的语言模型。在此,小布助手团队选择了在下游自然语言理解类(NLU)任务上有更好效果的MLM,并采用课程学习作为主要预训练策略,由易到难循序渐进,提高训练稳定性。首先在一亿级模型上验证了以上mask策略的有效性,其Zero-shot效果显著优于开源base级模型,下游应用时也取得了收益,随后将其应用到十亿级模型训练中。

  ZeroCLUE榜单

  值得一提的是,从开源工作实验结果来看,语料的数量和内容多样性越大,下游任务效果会随之提升。基于前期的探索和尝试,十亿级OBERT模型清洗和收集了1.6 TB级语料,通过5种mask机制从中学习语言知识,内容包含百科、社区问答、新闻等,场景涉及意图理解、多轮聊天、文本匹配等NLP任务。

  加强应用创新,小布持续深耕NLP技术

  CLUE(中文语言理解评测集合)榜单是中文领域最具权威的自然语言理解榜单之一,开设了包括分类、文本相似度、阅读理解、上下文推理等共10个子任务,旨在推动NLP训练模型技术的不断进步和突破。

  NLP(自然语言处理)技术被誉为人工智能皇冠上的明珠。作为人工智能认知能力的核心,NLP是AI领域最具挑战的赛道之一,其目的是使得计算机具备人类的听、说、读、写等能力,并利用知识和常识进行推理和决策。

  小布助手发布于2019年,到2021年底,它已经累计搭载2.5 亿设备,月活用户数突破1.3 亿,月交互次数达20 亿,成为国内首个月活用户数破亿的手机语音助手,一跃成为国内新一代智能助手的代表。

  在NLP技术方面,小布助手经历了从规则引擎、简单模型到强深度学习,再到预训练模型几个阶段。历经3年的发展,小布助手在NLP技术领域已达到行业领先水平,此次OBERT位列CLUE 1.1总榜前五、KgCLUE 1.0排行榜榜首,便是小布助手技术沉淀与积累的最好力证。

  登榜CLUE 1.1总榜并登顶KgCLUE 1.0排行榜,主要得益于三个方面:一是利用小布助手积累的海量数据,获得口语化的语言数据,促进算法模型对智能助手场景的语言有更好的理解;二是保持着开放的成长型心态,跟进学术界和工业界最新的进展并加以实践;三是坚定地在最新预训练模型方向进行投入,一点一点地去做技术积累,一次一次地探索落地应用。

  未来,小布助手团队会结合智能助手场景特点,持续优化预训练技术,深耕NLP,利用模型轻量化等技术加速大模型落地,并持续探索AI与主动情感的结合,让智能更人性化,在万物互融的时代,助力推动AI大放异彩,帮助AI润物细无声地融入人们未来的数智生活。


 
阅读上文 >> 2022年金普新区“智能+高端生物医疗高峰论坛”暨“大连金普新区工业互联网通用平台——生物医疗创新中心”成立大会高端企业召集令! 工业互联网 中国工业互联网研究院 生物医疗创新中心
阅读下文 >> 亚信科技打造楼宇智慧综合能源示范项目正式投产发电
华为2022年上半年业绩分析:呈现两大亮点

2022-08-15

消息 8月12日,华为发布2022年上半年经营业绩。华为认为,整体经营结果符合预期,这种“符合预期”的表述与2021年上半年财报发布

海尔卡奥斯工业互联网生态园:“未来之地”蓄势

2022-08-15

消息 海尔卡奥斯工业互联网生态园位于上合示范区拓展区,隶属于胶州市九龙街道办事处,围绕白电产品将打造行业智能制造、数字化

战暴雨 保通信 直击陕西移动抗洪抢险第一现场

2022-08-15

消息 近日,榆林佳县、定边、绥德等地出现强降雨天气,部分地区出现大暴雨,降雨量超过200㎜,引发部分地区山体塌方、泥石流等自

华为王法 融5G助力大工业数智转型

2022-08-15

消息 8月10日在世界5G大会工业振兴论坛上,华为中国区5G创新部部长王法做了题为《融5G助力大工业数智转型》的主题演讲,对5G在行

华润水泥与中兴通讯携手打造5G智能安全帽,助力

2022-08-15

消息 在近期举办的世界5G大会和数字中国建设峰会上,华润水泥携手中兴通讯持续展出了“5G智能安全帽”,作为业内首款支持IP67防

超级SIM卡“消息必达”:“5G+防灾减灾”显威力

2022-08-15

消息 近日,在由国家预警信息发布中心等单位联合主办的“5G+防灾减灾”应用征集大赛决赛现场,中移互联网有限公司(以下简称“中

2022年5G十大应用案例成功发布

2022-08-15

消息 8月10日,2022世界5G大会在哈尔滨盛大开幕,中国工程院院士、未来移动通信论坛理事长邬贺铨在开幕式上发布了“2022年5G十大

科技部召开国家高新区和高新技术企业高质量发展

2022-08-15

消息 8月12日,科技部在北京召开国家高新区和高新技术企业高质量发展推进会。会议指出,经过30多年发展,国家高新区、高新技术企

中国电信白云东:5G赋能农业农村发展,助力乡村

2022-08-15

消息 8月10日,中国电信农业农村事业部总裁、中国电信乡村振兴研究院院长白云东在2022世界5G大会的5G与数字农业农村论坛中,发表

五大领域齐发力!河南投资1373亿元加快基础设施

2022-08-15

消息 近日,河南省政府办公厅印发《河南省全面加快基础设施建设稳住经济大盘工作方案》(以下简称《方案》),明确河南省将围绕

版权与免责声明:

凡注明稿件来源的内容均为转载稿或由用户注册发布,如转载稿涉及版权问题,请您联系我们esxun@qq.com。


本文地址:http://www.ekeiot.com/keji/64627.html

微信“扫一扫”
即可分享此文章

  • 手机登录

  • 移动网址

  • m.ekeiot.com

Copyright © 2019-2022 ekeiot.com 易科物联网 ALL Right Reserved

客服: ICP备案号:晋ICP备19011392号