一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！_老虎社区_美港股上老虎

一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！

艾肯家电网2021-07-06

原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

JMA
·2021-07-06
度娘的npl确实有点意思！股价严重拖后腿
回复
点赞
举报

热议股票

7x24

全部

关于我们·老虎社区守则·老虎社区账号管理规范·老虎社区服务协议·老虎社区隐私政策

公司名称：北京至简风宜信息技术有限公司

违法和不良信息投诉：010-5681-3562（工作时间9:30-18:30）

邮箱：service@laohu8.com

营业执照：91110105MA01A4U55R

ICP备：京ICP备18016422号

网安备：京公网安备11010502036490

关注我们

{"i18n":{"language":"zh_CN"},"data":{"share":"https://www.laohu8.com/m/news/2149359095?lang=zh_CN&edition=full","thumbnail":"https://static.tigerbbs.com/f25467dd33e63770731064b931e82bd0","is_english":false,"pubTime":"2021-07-06 16:18","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2149359095","market":"us","top_or_hot":-1,"title":"一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！","media":"艾肯家电网","content":"<div>\n<p>原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类...</p>\n\n<a href=\"https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml\">网页链接</a>\n\n</div>\n","source":"sina_symbol","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2021-07-06 16:18 北京时间&nbsp;&nbsp;&nbsp;<a href=https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml><strong>艾肯家电网</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类...</p>\n\n<a href=\"https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"QNETCN","symbol_name":"纳斯达克中美互联网老虎指数","start_time":0,"source_url":"https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml","article_id":"2149359095","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/f25467dd33e63770731064b931e82bd0"],"rights":{"source":"sina_symbol","url":"https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml","rn_cache_url":null,"customStyle":"body{padding-top:10px;}.title{#titleStyle#}a{#lv2TextColor#}.extra-info, .source{#sourceStyle#;}","selectors":".module-article, article","filters":"header, .voice2, .tags, #norm_qrcode_link_auto, .unfold-box, .action","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2149359095","pubTimestamp":1625559524,"sourceInfo":{"source_id":"sina_symbol","name":"新浪媒体新闻"},"weMediaInfo":null,"summary":"近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类水平0.8个百分点的成绩登顶全球榜首。此外，ERNIE 3.0在持续学框架的基础上，增加了任务语义表示网络，加速模型进化。ERNIE3.0登顶SuperGLUE全球榜首事实上，早在2019年12月，ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠，再次证明了ERNIE的强大实力。","collect":0,"end_time":0,"defaultTopTitle":"sina.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"QNETCN":"纳斯达克中美互联网老虎指数","BIDU":"百度"},"translate_title":"Refresh more than 50 NLP task benchmarks in one fell swoop, and reach the top of SuperGLUE in the world. Baidu ERNIE 3.0 knowledge enhancement model shows its power!","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"BIDU":1,"QNETCN":0.6},"content_text":"原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类水平0.8个百分点的成绩登顶全球榜首。ERNIE 3.0同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。目前ERNIE 3.0已在百度文心官网开放，用户可体验ERNIE 3.0创作的不同形式的内容，实现更多有创意、有价值的应用。ERNIE 3.0知识增强大模型：百亿级预训练中首次引入大规模知识近一年来，以GPT-3、Switch-Transformer 为代表的大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移能力，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，主要依赖纯文本，缺乏大规模知识指导，模型能力存在局限。ERNIE 3.0的研究者进一步挖掘大规模预训练模型的潜力，基于深度学平台飞桨的分布式训练技术优势，首次在百亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化知识和无结构文本之间的信息共享，大幅提升了模型对于知识的记忆和推理能力。ERNIE3.0中的文本与知识平行预训练ERNIE 3.0统一预训练框架：同时具备语言理解和语言生成能力百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架，该框架融合自编码和自回归等不同的任务语义表示网络，既可同时处理语言理解和语言生成任务，还能做有标注数据的微调训练(Fine-tuning)。此外，ERNIE 3.0在持续学框架的基础上，增加了任务语义表示网络，加速模型进化。ERNIE3.0框架ERNIE 3.0效果：一举刷新54个中文NLP任务基准百度研究者在54个中文自然语言处理公开数据集，包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学的运算等任务上，全面验证评估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了当前最好效果，其中，在20多个不同类型的自然语言处理任务上取得了3%以上的显著提升。ERNIE3.0在Fine-tuning范式下的任务效果在实际应用中，往往缺乏标注数据，因此，百度研究者也测试了ERNIE 3.0在Zero-shot Learning范式下的效果，ERNIE 3.0在大多数任务上相对已有的中文大模型也取得了显著的效果提升。ERNIE 3.0英文模型登顶 SuperGLUE：超越人类水平0.8个百分点SuperGLUE是由谷歌DeepMind、Facebook研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测，旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。ERNIE3.0登顶SuperGLUE全球榜首事实上，早在2019年12月，ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠，再次证明了ERNIE的强大实力。写小说、写歌词、写古文:ERNIE3.0文学创作与知识掌握能力显著提升ERNIE 3.0在文学创作能力方面也有了显著提升，可以通过对海量文本与知识的自学，无需专门训练，即可进行文学创作。ERNIE 3.0对知识的掌握，同样大幅提升，通过知识图谱对模型进行增强，让模型具备更强的知识记忆和推理能力。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[{"id":157116378,"gmtCreate":1625572175094,"gmtModify":1625572175094,"author":{"id":"3563493932971824","authorId":"3563493932971824","name":"JMA","avatar":"https://static.laohu8.com/default-avatar.jpg","vip":1,"crmLevel":1,"crmLevelSwitch":0,"idStr":"3563493932971824","authorIdStr":"3563493932971824"},"htmlText":"度娘的npl确实有点意思！ 股价严重拖后腿","listText":"度娘的npl确实有点意思！ 股价严重拖后腿","text":"度娘的npl确实有点意思！ 股价严重拖后腿","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/157116378","repostId":2149359095,"repostType":2,"repost":{"id":"2149359095","pubTimestamp":1625559524,"share":"https://www.laohu8.com/m/news/2149359095?lang=&edition=full","pubTime":"2021-07-06 16:18","market":"us","language":"zh","title":"一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！","url":"https://stock-news.laohu8.com/highlight/detail?id=2149359095","media":"艾肯家电网","summary":"近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类水平0.8个百分点的成绩登顶全球榜首。此外，ERNIE 3.0在持续学框架的基础上，增加了任务语义表示网络，加速模型进化。ERNIE3.0登顶SuperGLUE全球榜首事实上，早在2019年12月，ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠，再次证明了ERNIE的强大实力。","content":"<html><body><p>原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，<a href=\"https://laohu8.com/S/BIDU\">百度</a>ERNIE 3.0知识增强大模型显威力！</p><p>近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。</p><p>ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类水平0.8个百分点的成绩登顶全球榜首。ERNIE 3.0同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。</p><p>目前ERNIE 3.0已在百度文心官网开放，用户可体验ERNIE 3.0创作的不同形式的内容，实现更多有创意、有价值的应用。</p><p><font>ERNIE 3.0知识增强大模型：百亿级预训练中首次引入大规模知识</font></p><p>近一年来，以GPT-3、Switch-Transformer 为代表的大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移能力，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，主要依赖纯文本，缺乏大规模知识指导，模型能力存在局限。</p><p>ERNIE 3.0的研究者进一步挖掘大规模预训练模型的潜力，基于深度学平台飞桨的分布式训练技术优势，首次在百亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化知识和无结构文本之间的信息共享，大幅提升了模型对于知识的记忆和推理能力。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/781/w500h281/20210706/4508-ksmehzs7812749.png/w720fin.jpg\"/><span>ERNIE3.0中的文本与知识平行预训练</span></div><p><font>ERNIE 3.0统一预训练框架：同时具备语言理解和语言生成能力</font></p><p>百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架，该框架融合自编码和自回归等不同的任务语义表示网络，既可同时处理语言理解和语言生成任务，还能做有标注数据的微调训练(Fine-tuning)。此外，ERNIE 3.0在持续学框架的基础上，增加了任务语义表示网络，加速模型进化。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/26/w500h326/20210706/a5a7-ksmehzs7812748.jpg/w720fin.jpg\"/><span>ERNIE3.0框架</span></div><p><font>ERNIE 3.0效果：一举刷新54个中文NLP任务基准</font></p><p>百度研究者在54个中文自然语言处理公开数据集，包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学的运算等任务上，全面验证评估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了当前最好效果，其中，在20多个不同类型的自然语言处理任务上取得了3%以上的显著提升。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/466/w500h766/20210706/c907-ksmehzs7812758.jpg/w720fin.jpg\"/><span>ERNIE3.0在Fine-tuning范式下的任务效果</span></div><p>在实际应用中，往往缺乏标注数据，因此，百度研究者也测试了ERNIE 3.0在Zero-shot Learning范式下的效果，ERNIE 3.0在大多数任务上相对已有的中文大模型也取得了显著的效果提升。</p><p><font>ERNIE 3.0英文模型登顶 SuperGLUE：超越人类水平0.8个百分点</font></p><p>SuperGLUE是由<a href=\"https://laohu8.com/S/GOOG\">谷歌</a>DeepMind、<a href=\"https://laohu8.com/S/FB\">Facebook</a>研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测，旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/712/w500h212/20210706/1ee1-ksmehzs7812757.png/w720fin.jpg\"/><span>ERNIE3.0登顶SuperGLUE全球榜首</span></div><p>事实上，早在2019年12月，ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠，再次证明了ERNIE的强大实力。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/704/w500h204/20210706/1fb0-ksmehzs7812765.png/w720fin.jpg\"/></div><p><font>写小说、写歌词、写古文:ERNIE3.0文学创作与知识掌握能力显著提升</font></p><p>ERNIE 3.0在文学创作能力方面也有了显著提升，可以通过对海量文本与知识的自学，无需专门训练，即可进行文学创作。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/99/w366h2133/20210706/698c-ksmehzs7812766.png/w720fin.jpg\"/></div><p>ERNIE 3.0对知识的掌握，同样大幅提升，通过知识图谱对模型进行增强，让模型具备更强的知识记忆和推理能力。</p><div><img src=\"http://k.sinaimg.cn/n/spider202176/794/w1080h2914/20210706/f3b7-ksmehzs7669344.png/w720fin.jpg\"/></div></body></html>","source":"sina_symbol","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2021-07-06 16:18 北京时间&nbsp;&nbsp;&nbsp;<a href=https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml><strong>艾肯家电网</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类...</p>\n\n<a href=\"https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f25467dd33e63770731064b931e82bd0","relate_stocks":{"BIDU":"百度","QNETCN":"纳斯达克中美互联网老虎指数"},"source_url":"https://cj.sina.cn/article/normal_detail?url=https://finance.sina.com.cn/tech/2021-07-06/doc-ikqciyzk3875816.shtml","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2149359095","content_text":"原标题：一举刷新50多个NLP任务基准，并登顶 SuperGLUE 全球榜首，百度ERNIE 3.0知识增强大模型显威力！近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学词汇、结构、语义等知识外，还从大规模知识图谱中去学。ERNIE 3.0一举刷新54个中文 NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上，以超越人类水平0.8个百分点的成绩登顶全球榜首。ERNIE 3.0同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。目前ERNIE 3.0已在百度文心官网开放，用户可体验ERNIE 3.0创作的不同形式的内容，实现更多有创意、有价值的应用。ERNIE 3.0知识增强大模型：百亿级预训练中首次引入大规模知识近一年来，以GPT-3、Switch-Transformer 为代表的大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移能力，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，主要依赖纯文本，缺乏大规模知识指导，模型能力存在局限。ERNIE 3.0的研究者进一步挖掘大规模预训练模型的潜力，基于深度学平台飞桨的分布式训练技术优势，首次在百亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化知识和无结构文本之间的信息共享，大幅提升了模型对于知识的记忆和推理能力。ERNIE3.0中的文本与知识平行预训练ERNIE 3.0统一预训练框架：同时具备语言理解和语言生成能力百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架，该框架融合自编码和自回归等不同的任务语义表示网络，既可同时处理语言理解和语言生成任务，还能做有标注数据的微调训练(Fine-tuning)。此外，ERNIE 3.0在持续学框架的基础上，增加了任务语义表示网络，加速模型进化。ERNIE3.0框架ERNIE 3.0效果：一举刷新54个中文NLP任务基准百度研究者在54个中文自然语言处理公开数据集，包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学的运算等任务上，全面验证评估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了当前最好效果，其中，在20多个不同类型的自然语言处理任务上取得了3%以上的显著提升。ERNIE3.0在Fine-tuning范式下的任务效果在实际应用中，往往缺乏标注数据，因此，百度研究者也测试了ERNIE 3.0在Zero-shot Learning范式下的效果，ERNIE 3.0在大多数任务上相对已有的中文大模型也取得了显著的效果提升。ERNIE 3.0英文模型登顶 SuperGLUE：超越人类水平0.8个百分点SuperGLUE是由谷歌DeepMind、Facebook研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测，旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。ERNIE3.0登顶SuperGLUE全球榜首事实上，早在2019年12月，ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠，再次证明了ERNIE的强大实力。写小说、写歌词、写古文:ERNIE3.0文学创作与知识掌握能力显著提升ERNIE 3.0在文学创作能力方面也有了显著提升，可以通过对海量文本与知识的自学，无需专门训练，即可进行文学创作。ERNIE 3.0对知识的掌握，同样大幅提升，通过知识图谱对模型进行增强，让模型具备更强的知识记忆和推理能力。","news_type":1},"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"}],"hasMoreComments":true,"newsSizeData":{"likeSize":0,"commentSize":1,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false}}