斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！

量子位2023-03-14

作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

慧_4909
2023-03-14
慧_4909
牛老B喽！
PandaPong
2023-03-14
PandaPong
沙雕百度的文言一心在干嘛呢
千羽卡罗拉
2023-03-14
千羽卡罗拉
说说你对这篇新闻的看法...
木木水土土
2023-03-14
木木水土土
可恨语文差，我草走天下

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/1156607844?lang=zh_CN&edition=full","thumbnail":"https://static.tigerbbs.com/1e088ec4276659e187dfdd2bf1451142","is_english":false,"pubTime":"2023-03-14 22:05","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"1156607844","market":"us","top_or_hot":-1,"title":"斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！","media":"量子位","content":"<div>\n<p>作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A\">网页链接</a>\n\n</div>\n","source":"lsy1569318700471","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-03-14 22:05 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":null,"symbol_name":null,"start_time":0,"source_url":"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A","article_id":"1156607844","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/1e088ec4276659e187dfdd2bf1451142"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=1156607844","pubTimestamp":1678802744,"sourceInfo":{"source_id":"lsy1569318700471","name":"量子位"},"weMediaInfo":null,"summary":"手机都能运行的那种。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{},"translate_title":"Stanford's \"grass mud horse\" is on fire: $100 can match GPT-3. 5!","themeId":"","isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/f09ac86918f68c08f5951c507a66c5f2","symbols_score_info":{},"content_text":"作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜，很容易，还很小。而且团队还把数据集（秒省500刀）、代码统统都给开源了，这下子人人都能去微调个效果炸裂的对话AI：项目在GitHub发布才半天时间，便已经狂揽1800+星，火爆程度可见一斑。Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容：不仅如此，斯坦福团队还搞了个demo，在线可玩的那种。话不多说，我们现在就来看看这个“草泥马”的效果。比肩davinci-003的草泥马Aplaca什么是羊驼？它和美洲驼的区别是什么？草泥马Aplaca给出的答案较为干练：羊驼是一种小型骆驼科动物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。而后又简单的介绍了二者群居生活的不同。同样的问题若是交给ChatGPT（GPT3.5-turbo），则答案就不会像草泥马Aplaca那般简洁：对此，团队给出的解释是：Alpaca的答案通常比ChatGPT短，反映出text-davinci-003的输出较短。而后团队演示了让草泥马Alpaca写邮件：写一封e-mail祝贺被斯坦福大学录取的新生，并提到你很高兴能亲自见到他们。草泥马Alpaca对于这个任务也是信手拈来，直接给出了一个像模像样的邮件模板：难度再次进阶，团队这次提出了让草泥马Alpaca写论文摘要的需求：写一篇经过深思熟虑的机器学习论文摘要，证明42是训练神经网络的最优seed。草泥马Alpaca给出的答案从内容上来看，非常符合大多数论文的摘要形式：试图回答什么问题、用了什么方法、结果如何，以及未来展望。当然，也有迫不及待的网友亲自下场试验，发现草泥马Alpaca写代码也是不在话下。不过即便草泥马Alpaca能够hold住大部分问题，但这并不意味着它没有缺陷。例如团队便演示了一个例子，在回答“坦桑尼亚的首都是哪里”的问题时，草泥马Alpaca给出的答案是“达累斯萨拉姆”。但实际上早在1975年便被“多多马”取代了。除此之外，若是亲自体验过草泥马Alpaca就会发现，它……巨慢：对此，有网友认为可能是使用的人太多的原因。笔记本、手机、树莓派都能跑Meta开源的LLaMA大模型，刚发布几周就被大家安排明白了，单卡就能运行。所以理论上，基于LLaMA微调的Alpaca同样可以轻松在本地部署。没有显卡也没关系，苹果笔记本甚至树莓派、手机都可以玩。在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp，使用纯C/C++做推理，还专门对ARM芯片做了优化。作者实测，M1芯片的MacBook Pro上即可运行，另外也支持Windows和Linux系统。还是这个C++移植版本，有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。虽然速度非常慢，大约10秒生成一个token（也就是一分钟蹦出4.5个单词）。更离谱的是仅仅2天之后，有人把LLaMA模型量化压缩（权重转换成更低精度的数据格式）后成功在Pixel 6安卓手机上运行（26秒一个token）。Pixel 6使用谷歌自研处理器Google Tensor，跑分成绩在骁龙865+到888之间，也就是说新一点的手机理论上都能胜任。微调数据集也开源斯坦福团队微调LLaMA的方法，来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。以175个问题作为种子任务，让AI自己从中组合出新的问题以及生成配套答案实例，人工过滤掉低质量的，再把新任务添加到任务池里。所有这些任务，之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。套娃几圈下来，相当于让AI自己指导自己。斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。这些数据同样开源了出来，并且比原论文的数据多样性更高。同时还给出了生成这些数据的代码，也就是说如果有人还嫌不够，可以再去自行扩充微调数据，继续提高模型的表现。微调代码也会在HuggingFace官方支持LLaMA后放出。不过Alpaca最终的模型权重需要Meta许可才能发布，并且继承了LLaMA的非商用开源协议，禁止任何商业用途。并且由于微调数据使用了OpenAI的API，根据使用条款也禁止用来开发与OpenAI形成竞争的模型。One More Thing还记得AI绘画的发展历程吗？2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让成本下降到可用，并由此产生爆炸式的工具创新，让AI绘画真正进入各类工作流程。语言模型的成本，如今也下降到了个人电子设备可用的程度。最后还是由Django框架创始人Simon Willison喊出：大语言模型的Stable Diffusion时刻到了。","kind":null,"is_publish_news":null,"is_publish_highlight":null,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"symbols":[],"gpt_button":1},"commentList":[{"id":650933790,"gmtCreate":1678805836810,"gmtModify":1678805950137,"author":{"id":"3515586475760605","authorId":"3515586475760605","name":"慧_4909","avatar":"https://static.tigerbbs.com/adc2ea5aee7245d4cc04ee6d0fc60efe","vip":1,"crmLevel":6,"crmLevelSwitch":1},"htmlText":"牛老B喽！","listText":"牛老B喽！","text":"牛老B喽！","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/650933790","repostId":1156607844,"repostType":4,"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":650997221,"gmtCreate":1678804552563,"gmtModify":1678806075997,"author":{"id":"3482988025047301","authorId":"3482988025047301","name":"PandaPong","avatar":"https://static.laohu8.com/default-avatar.jpg","vip":1,"crmLevel":2,"crmLevelSwitch":0},"htmlText":"沙雕百度的文言一心在干嘛呢","listText":"沙雕百度的文言一心在干嘛呢","text":"沙雕百度的文言一心在干嘛呢","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":3,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/650997221","repostId":1156607844,"repostType":4,"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":650994410,"gmtCreate":1678804339630,"gmtModify":1678806084472,"author":{"id":"3569922558089083","authorId":"3569922558089083","name":"千羽卡罗拉","avatar":"https://static.tigerbbs.com/5371c90bc051ff1750bdb82113ec3b5a","vip":1,"crmLevel":3,"crmLevelSwitch":0},"htmlText":"说说你对这篇新闻的看法...","listText":"说说你对这篇新闻的看法...","text":"说说你对这篇新闻的看法...","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/650994410","repostId":1156607844,"repostType":2,"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"},{"id":650995395,"gmtCreate":1678803748018,"gmtModify":1678806156580,"author":{"id":"4127114005949800","authorId":"4127114005949800","name":"木木水土土","avatar":"https://static.tigerbbs.com/7eb347f46b0e34d730319c45cb01cb24","vip":1,"crmLevel":1,"crmLevelSwitch":0},"htmlText":"可恨语文差，我草走天下","listText":"可恨语文差，我草走天下","text":"可恨语文差，我草走天下","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/650995395","repostId":1156607844,"repostType":2,"isVote":1,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"tweetType":1,"langContent":"CN"}],"isCommentEnd":false,"newsSizeData":{"likeSize":31,"commentSize":0,"repostSize":0,"favoriteSize":27,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.22.4","shortVersion":"4.22.4","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/1156607844"}