小扎新开源的Llama3.1，要带着套壳大模型追平GPT-4o？

差评07-25

三个月过去了，当初的 “开源落后论” 再一次被打脸。而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。这玩意跟上次 Llama3 一样也是三个版本，除了同参数量的 80 亿和 700 亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2454785237?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-07-25 00:00","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2454785237","market":"hk","top_or_hot":-1,"title":"小扎新开源的Llama3.1，要带着套壳大模型追平GPT-4o？","media":"差评","content":"<div>\n<p>三个月过去了，当初的 “开源落后论” 再一次被打脸。而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。这玩意跟上次 Llama3 一样也是三个版本，除了同参数量的 80 亿和 700 亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应...</p>\n\n<a href=\"https://tech.ifeng.com/c/8bULt3G1Iiv\">网页链接</a>\n\n</div>\n","source":"fenghuang_stock","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>小扎新开源的Llama3.1，要带着套壳大模型追平GPT-4o？</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n小扎新开源的Llama3.1，要带着套壳大模型追平GPT-4o？\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-07-25 00:00 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8bULt3G1Iiv><strong>差评</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>三个月过去了，当初的 “开源落后论” 再一次被打脸。而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。这玩意跟上次 Llama3 一样也是三个版本，除了同参数量的 80 亿和 700 亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应...</p>\n\n<a href=\"https://tech.ifeng.com/c/8bULt3G1Iiv\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"300109","symbol_name":"新开源","start_time":0,"source_url":"https://tech.ifeng.com/c/8bULt3G1Iiv","article_id":"2454785237","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2454785237","pubTimestamp":1721836815,"sourceInfo":{"source_id":"fenghuang_stock","name":"凤凰网"},"weMediaInfo":null,"summary":"好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。对，老黄也全面拥抱开源了，要把 Llama3.1 用到他家 AI Foundry 服务里。Llama3.1 的表现跟 GPT-4o 相比不能说云泥之别也只能说难兄难弟，甚至还装模作样的硬给解释他们的错误答案。虽然开源的 Llama3.1 拓展性会很强，但毕竟它的底子其实也没有跟 ChatGPT4o 拉开太大差距。不过对于这次 Llama3.1 取得的进步，他却表示：虽然成不了 AGI ，但这玩意确实有用啊。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"300109":"新开源","BK0042":"基因检测","BK0046":"生物疫苗","BK0229":"化学制品"},"translate_title":"Xiaozha's new open source Llama3.1 will equal GPT-4o with a large shell model?","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"300109":1},"content_text":"三个月过去了，当初的 “开源落后论” 再一次被打脸。而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。这玩意跟上次 Llama3 一样也是三个版本，除了同参数量的 80 亿和 700 亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应下，小扎的新模型用了足足 4050 亿参数！而它的性能，也号称已经完全追上 ChatGPT4o 和 Claude3.5-Sonnet ，像长文本和数学这些方面甚至超过他俩。这回啊，是开源的胜利！硅谷的其他大佬也对这个模型相当看好，斯坦福大学计算机教授、谷歌 AI 负责人 Andrew Ng 感慨道， Meta 的这次更新，对所有人来说都是超赞的礼物。英伟达科学家， AI 实验室负责人 Jim Fan 甚至认为，比肩 GPT-4 的力量已经发送到大家手中了，这是个历史性时刻！不少媒体也跟着炸裂，宣称 AGI 之路近在眼前了，不过世超我还是先泼一盆冷水，劝大家先别急着狂热了，因为人家 Meta AI 官方这次，也放出了Llama3.1 的详细论文，足足 90 页。这个版本究竟改进了什么地方，是不是真有吹的这么神，那论文里其实都写上了。咱们也花了一个下午，研究了一番，发现这篇论文涵盖了预处理、生成训练、推理训练、退火迭代、多模态评估等流程，但核心其实说的就是两件事，一是大量的训练，二是训练里做了些优化。首先咱就说训练这方面，他们就下了大功夫，做了算力和数据的扩充。毕竟人家用了 1.6 万台 H100 跑了 3930 万 GPU 小时（相当于单块 GPU3930 万个小时的计算量 ）。运算规模比 Llama2 翻了 50 倍，还填了包括多种语言的 15 万亿 Tokens ，相当于 7500 亿单词进去，而上代版本只有 1.8 万亿 Tokens 。模型上下文窗口也从 8K 增加到 128K ，扩展了 16 倍。数据和运算规模上去了，能力肯定也就上来了，突出一个力大砖飞。毕竟这么多东西，要咱学大概率摆烂学不动，但人家 AI 是真学啊。其次，除了填鸭式训练，训练内容里的优化和微调也挺重要的，这也是他们能快速进步的另一个原因。比如说在刚开始处理训练信息的时候，他们就用了一些算法，来清理重复内容和垃圾信息，提高训练数据的质量。你可别说这操作不重要，上回某知名 AI 就在中文垃圾信息上翻车了，成了贻笑大方的典型。这里他们描述了重复数据删除和启发式过滤两个算法的步骤而在模型结构上，为了照顾这么大量的数据训练， Meta 也做了不少改进，像是把训练数据由 16 位精度降低到 8 位，这样不但能节省储存空间还方便计算，并且有利于在移动端部署。不过这个办法别的厂家也不是没想到，只不过降低精度有可能会增加误差，导致大模型性能降低，而 Meta 在这个过程中则是通过 “ 行级量化 ” 等世超听都没听过的算法，来拿捏这个误差的度，尽量做到两全其美。除以之外，他们还放弃了用传统的强化学习算法来进行模型后处理，而是选择靠测试员的标注和监督，边反馈边迭代。这么搞虽然比较费人，但能增加 Llama3.1 的可扩展性，也就是像后续要增加的图像、语音、视频识别等功能，生成的结果也会更加自然，跟人类认知对齐。而其他厂商看到 Llama3.1 的开源大旗，也纷纷来投，尽管月活超 7 亿的厂家还得先申请，但到现在已经有 25 家企业都官宣要出基于 Llama3.1 的新模型。这里面不但有亚马逊、戴尔这些大厂和 Grop 这样的新锐小厂，还有位居 AI 大幕背后的英伟达。。。对，老黄也全面拥抱开源了，要把 Llama3.1 用到他家 AI Foundry 服务里。说这么多，那这个进击的羊驼用起来是不是真这么牛逼哄哄呢？我们上手试了试，发现有些地方它做得确实可以，有些地方则也会翻车。比如，在长文本阅读这个领域它有时候表现的就还可以，我们测试了让它回答十几轮问题之前的概念，发现它的确能在回答里反馈到当时给出的信息。但面临没提供过的信息，他也会胡说八道。比如当我们提问他自己哪年发布的时候他也说不准，因为它的训练数据是截止去年年底的。而在经典弱智吧训练方面， Llama3.1 也会出现抽象的情况，这方面表现的真不如隔壁 Gemini 。上图为 Llama3.1 ，下图为 Gemini数据推理上，像用前几天考倒了众多 AI 的 9.11 和 9.9 谁大问题，他也搞不定。Llama3.1 的表现跟 GPT-4o 相比不能说云泥之别也只能说难兄难弟，甚至还装模作样的硬给解释他们的错误答案。而隔壁 Claude3-Sunnet 就薄纱了这哥俩，瞧瞧人家这推理，怪不得人家这块比你俩得分高。左边为 Claude3-Sunnet ，右边为 GPT-4o-mini那是不是这个 Llama3.1 啥啥都不行呢？话也不能这么说，虽然上面展示了一些翻车案例，但这倒也不能代表 Llama3.1 的真实实力就这样。主要官方给的这个模型版本，相当于一个完全没优化的基本型号，毛坯房。而它的优势在于后期用户可以在它里面安排各种定制化操作，相当于把毛坯房翻修出花来，到时候才会展现这玩意的真正功力。也就是说， Llama 的意义在于开源后创作者们的调教和微操，这才是这类开源模型的独到之处。不过这也不意味着 Meta 这波就一下翻身了，比 OpenAI 牛逼了。虽然开源的 Llama3.1 拓展性会很强，但毕竟它的底子其实也没有跟 ChatGPT4o 拉开太大差距。而且 Meta 发力的时候人家 OpenAI 肯定也没闲着， ChatGPT5 大概率会带来新的领先优势。说到底，开源和闭源各有优势，但谁一定会颠覆谁那倒真不一定。从 Llama2 到 3 到 3.1 ，的确是开源党的节节胜利，但后续是不是跟扎克伯格在昨天访谈里说的一样， Llama 会变成 AI 时代的 Linux ，目前来说其实很难定论，也有可能会变成 iOS 之于安卓这种并存的关系。至于 AGI 之路是不是能靠开源的 LLM 模型走到，扎克伯格是挺看好的，但 AI 圈里的老熟人杨乐坤还是认为犹未可知。不过对于这次 Llama3.1 取得的进步，他却表示：虽然成不了 AGI ，但这玩意确实有用啊。撰文： 纳西编辑： 江江&面线美编： 萱萱图片、资料来源：Meta,X,Github,Huggingface,lmsys,机器之心等","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.26.2","shortVersion":"4.26.2","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2454785237"}