木木水土土
2023-03-14
可恨语文差,我草走天下
斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP,发表看法
APP内打开
发表看法
1
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":650995395,"tweetId":"650995395","gmtCreate":1678803748018,"gmtModify":1678806156580,"author":{"id":4127114005949800,"authorId":4127114005949800,"authorIdStr":"4127114005949800","name":"木木水土土","avatar":"https://static.tigerbbs.com/7eb347f46b0e34d730319c45cb01cb24","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":0,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>可恨语文差,我草走天下</p></body></html>","htmlText":"<html><head></head><body><p>可恨语文差,我草走天下</p></body></html>","text":"可恨语文差,我草走天下","highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/650995395","repostId":1156607844,"repostType":2,"repost":{"id":"1156607844","pubTimestamp":1678802744,"share":"https://www.laohu8.com/m/news/1156607844?lang=&edition=full","pubTime":"2023-03-14 22:05","market":"us","language":"zh","title":"斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!","url":"https://stock-news.laohu8.com/highlight/detail?id=1156607844","media":"量子位","summary":"手机都能运行的那种。","content":"<html><head></head><body><p>作者:梦晨、金磊</p><p>一夜之间,大模型界又炸出个big news!</p><p>斯坦福发布<b>Alpaca</b>(羊驼,网友口中的“草泥马”):</p><blockquote>只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。</blockquote><blockquote>而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!</blockquote><p><img src=\"https://static.tigerbbs.com/f436a314f5b3ceb7201c8f95756247b0\" tg-width=\"1080\" tg-height=\"363\" referrerpolicy=\"no-referrer\"/></p><p>还有一个更绝的“骚操作”。</p><p>研究所涉及到的数据集,是斯坦福团队花了不到500美元用OpenAI的API来生成的。</p><p>所以整个过程下来,就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。</p><p>然后团队还说,用大多数云计算平台去微调训练好的模型,成本也不到100美元:</p><blockquote>复制一个GPT-3.5效果的AI,很便宜,很容易,还很小。</blockquote><p>而且团队还把数据集(秒省500刀)、代码统统都给开源了,这下子人人都能去微调个效果炸裂的对话AI:</p><p><img src=\"https://static.tigerbbs.com/68958b593daf256edd6979a114b9defc\" tg-width=\"1080\" tg-height=\"588\" referrerpolicy=\"no-referrer\"/></p><p>项目在GitHub发布才半天时间,便已经狂揽1800+星,火爆程度可见一斑。</p><p>Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容:</p><p><img src=\"https://static.tigerbbs.com/69cba1a83aaa22e8f8d2280f40b1cad1\" tg-width=\"1080\" tg-height=\"540\" referrerpolicy=\"no-referrer\"/></p><p>不仅如此,斯坦福团队还搞了个demo,在线可玩的那种。</p><p>话不多说,我们现在就来看看这个“草泥马”的效果。</p><p>比肩davinci-003的草泥马Aplaca</p><blockquote>什么是羊驼?它和美洲驼的区别是什么?</blockquote><p><img src=\"https://static.tigerbbs.com/6eaf97f58b36b62d1b6283548e6d289e\" tg-width=\"1080\" tg-height=\"756\" referrerpolicy=\"no-referrer\"/></p><p>草泥马Aplaca给出的答案较为干练:</p><blockquote>羊驼是一种小型骆驼科动物,原产于秘鲁、玻利维亚、厄瓜多尔和智利;它比美洲驼小,羊毛更细,也没有驼峰。</blockquote><p>而后又简单的介绍了二者群居生活的不同。</p><p>同样的问题若是交给ChatGPT(GPT3.5-turbo),则答案就不会像草泥马Aplaca那般简洁:</p><p><img src=\"https://static.tigerbbs.com/31f0675afb185848d0faa38ecc9f539a\" tg-width=\"1080\" tg-height=\"1034\" referrerpolicy=\"no-referrer\"/></p><p>对此,团队给出的解释是:</p><blockquote>Alpaca的答案通常比ChatGPT短,反映出text-davinci-003的输出较短。</blockquote><p>而后团队演示了让草泥马Alpaca<b>写邮件</b>:</p><blockquote>写一封e-mail祝贺被斯坦福大学录取的新生,并提到你很高兴能亲自见到他们。</blockquote><p>草泥马Alpaca对于这个任务也是信手拈来,直接给出了一个像模像样的邮件模板:</p><p><img src=\"https://static.tigerbbs.com/93c1be735703f0dfbe47245a345918fa\" tg-width=\"1080\" tg-height=\"564\" referrerpolicy=\"no-referrer\"/></p><p>难度再次进阶,团队这次提出了让草泥马Alpaca<b>写论文摘要</b>的需求:</p><blockquote>写一篇经过深思熟虑的机器学习论文摘要,证明42是训练神经网络的最优seed。</blockquote><p>草泥马Alpaca给出的答案从内容上来看,非常符合大多数论文的摘要形式:试图回答什么问题、用了什么方法、结果如何,以及未来展望。</p><p><img src=\"https://static.tigerbbs.com/43d1a4dabcc846a059a0b6656ebf5200\" tg-width=\"1080\" tg-height=\"426\" referrerpolicy=\"no-referrer\"/></p><p>当然,也有迫不及待的网友亲自下场试验,发现草泥马Alpaca写代码也是不在话下。</p><p><img src=\"https://static.tigerbbs.com/c773549771f136267a717558517bbe21\" tg-width=\"1080\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/></p><p>不过即便草泥马Alpaca能够hold住大部分问题,但这并不意味着它没有缺陷。</p><p>例如团队便演示了一个例子,在回答“坦桑尼亚的首都是哪里”的问题时,草泥马Alpaca给出的答案是“达累斯萨拉姆”。</p><p>但实际上早在1975年便被“多多马”取代了。</p><p><img src=\"https://static.tigerbbs.com/315b5344257dbf54d150f720b6a6ea3b\" tg-width=\"1080\" tg-height=\"443\" referrerpolicy=\"no-referrer\"/></p><p>除此之外,若是亲自体验过草泥马Alpaca就会发现,它……巨慢:</p><p><img src=\"https://static.tigerbbs.com/54e16edb14278c847287442588319f48\" tg-width=\"1080\" tg-height=\"627\" referrerpolicy=\"no-referrer\"/></p><p>对此,有网友认为可能是使用的人太多的原因。</p><p><img src=\"https://static.tigerbbs.com/9c6b811a1761b5c0eec453557ae21e23\" tg-width=\"1080\" tg-height=\"903\" referrerpolicy=\"no-referrer\"/></p><p>笔记本、手机、树莓派都能跑</p><p>Meta开源的LLaMA大模型,刚发布几周就被大家安排明白了,单卡就能运行。</p><p>所以理论上,基于LLaMA微调的Alpaca同样可以轻松在本地部署。</p><p>没有显卡也没关系,苹果笔记本甚至树莓派、手机都可以玩。</p><p>在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp,使用纯C/C++做推理,还专门对ARM芯片做了优化。</p><p><img src=\"https://static.tigerbbs.com/15a0a8eff4f925711ccaa34054e317f5\" tg-width=\"1080\" tg-height=\"237\" referrerpolicy=\"no-referrer\"/></p><p>作者实测,M1芯片的MacBook Pro上即可运行,另外也支持Windows和Linux系统。</p><p><img src=\"https://static.tigerbbs.com/aa5c899aa934423051d6f233d26706b9\" tg-width=\"1080\" tg-height=\"567\" referrerpolicy=\"no-referrer\"/></p><p>还是这个C++移植版本,有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。</p><p>虽然速度非常慢,大约10秒生成一个token(也就是一分钟蹦出4.5个单词)。</p><p><img src=\"https://static.tigerbbs.com/b47ea66f1f8734a0717f6f9491b20518\" tg-width=\"1080\" tg-height=\"1100\" referrerpolicy=\"no-referrer\"/></p><p>更离谱的是仅仅2天之后,有人把LLaMA模型量化压缩(权重转换成更低精度的数据格式)后成功在Pixel 6安卓手机上运行(26秒一个token)。</p><p>Pixel 6使用谷歌自研处理器Google Tensor,跑分成绩在骁龙865+到888之间,也就是说新一点的手机理论上都能胜任。</p><p><img src=\"https://static.tigerbbs.com/2e575343b6745ea07266f1cb0b3b1872\" tg-width=\"1080\" tg-height=\"1765\" referrerpolicy=\"no-referrer\"/></p><p>微调数据集也开源</p><p>斯坦福团队微调LLaMA的方法,来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。</p><p><img src=\"https://static.tigerbbs.com/d1b66490bbf86bc32859f7dcc788193a\" tg-width=\"1080\" tg-height=\"369\" referrerpolicy=\"no-referrer\"/></p><p>以175个问题作为种子任务,让AI自己从中组合出新的问题以及生成配套答案实例,人工过滤掉低质量的,再把新任务添加到任务池里。</p><p>所有这些任务,之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。</p><p>套娃几圈下来,相当于让AI自己指导自己。</p><p><img src=\"https://static.tigerbbs.com/fa8c6fc01dbe785d7e936a33bb13fe7d\" tg-width=\"1080\" tg-height=\"688\" referrerpolicy=\"no-referrer\"/></p><p>斯坦福版Alpaca,就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。</p><p>这些数据同样开源了出来,并且比原论文的数据多样性更高。</p><p><img src=\"https://static.tigerbbs.com/6adcd012d48b595e5632d1b1b6b6ff2e\" tg-width=\"1080\" tg-height=\"1140\" referrerpolicy=\"no-referrer\"/></p><p>同时还给出了生成这些数据的代码,也就是说如果有人还嫌不够,可以再去自行扩充微调数据,继续提高模型的表现。</p><p><img src=\"https://static.tigerbbs.com/8534ff84d3264aca9627f782f40f3270\" tg-width=\"1080\" tg-height=\"245\" referrerpolicy=\"no-referrer\"/></p><p>微调代码也会在HuggingFace官方支持LLaMA后放出。</p><p><img src=\"https://static.tigerbbs.com/e654debf4633adb0a51a87a030599f34\" tg-width=\"1080\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/></p><p>不过Alpaca最终的模型权重需要Meta许可才能发布,并且继承了LLaMA的非商用开源协议,禁止任何商业用途。</p><p>并且由于微调数据使用了OpenAI的API,根据使用条款也禁止用来开发与OpenAI形成竞争的模型。</p><p>One More Thing</p><p>还记得AI绘画的发展历程吗?</p><p>2022年上半年还只是话题热度高,8月份Stable Diffusion的开源让成本下降到可用,并由此产生爆炸式的工具创新,让AI绘画真正进入各类工作流程。</p><p>语言模型的成本,如今也下降到了个人电子设备可用的程度。</p><p>最后还是由Django框架创始人Simon Willison喊出:</p><blockquote>大语言模型的Stable Diffusion时刻到了。</blockquote><p><img src=\"https://static.tigerbbs.com/3548d5c1ed5453747b3894302f830b70\" tg-width=\"1080\" tg-height=\"1026\" referrerpolicy=\"no-referrer\"/></p></body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n斯坦福“草泥马”火了:100美元就能比肩GPT-3.5!\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-03-14 22:05 北京时间 <a href=https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>作者:梦晨、金磊一夜之间,大模型界又炸出个big news!斯坦福发布Alpaca(羊驼,网友口中的“草泥马”):只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!还有一个更绝的“骚操作”。研究所涉及到的数据集,是斯坦福团队花了不到500美元...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/1e088ec4276659e187dfdd2bf1451142","relate_stocks":{},"source_url":"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"1156607844","content_text":"作者:梦晨、金磊一夜之间,大模型界又炸出个big news!斯坦福发布Alpaca(羊驼,网友口中的“草泥马”):只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!还有一个更绝的“骚操作”。研究所涉及到的数据集,是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来,就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说,用大多数云计算平台去微调训练好的模型,成本也不到100美元:复制一个GPT-3.5效果的AI,很便宜,很容易,还很小。而且团队还把数据集(秒省500刀)、代码统统都给开源了,这下子人人都能去微调个效果炸裂的对话AI:项目在GitHub发布才半天时间,便已经狂揽1800+星,火爆程度可见一斑。Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容:不仅如此,斯坦福团队还搞了个demo,在线可玩的那种。话不多说,我们现在就来看看这个“草泥马”的效果。比肩davinci-003的草泥马Aplaca什么是羊驼?它和美洲驼的区别是什么?草泥马Aplaca给出的答案较为干练:羊驼是一种小型骆驼科动物,原产于秘鲁、玻利维亚、厄瓜多尔和智利;它比美洲驼小,羊毛更细,也没有驼峰。而后又简单的介绍了二者群居生活的不同。同样的问题若是交给ChatGPT(GPT3.5-turbo),则答案就不会像草泥马Aplaca那般简洁:对此,团队给出的解释是:Alpaca的答案通常比ChatGPT短,反映出text-davinci-003的输出较短。而后团队演示了让草泥马Alpaca写邮件:写一封e-mail祝贺被斯坦福大学录取的新生,并提到你很高兴能亲自见到他们。草泥马Alpaca对于这个任务也是信手拈来,直接给出了一个像模像样的邮件模板:难度再次进阶,团队这次提出了让草泥马Alpaca写论文摘要的需求:写一篇经过深思熟虑的机器学习论文摘要,证明42是训练神经网络的最优seed。草泥马Alpaca给出的答案从内容上来看,非常符合大多数论文的摘要形式:试图回答什么问题、用了什么方法、结果如何,以及未来展望。当然,也有迫不及待的网友亲自下场试验,发现草泥马Alpaca写代码也是不在话下。不过即便草泥马Alpaca能够hold住大部分问题,但这并不意味着它没有缺陷。例如团队便演示了一个例子,在回答“坦桑尼亚的首都是哪里”的问题时,草泥马Alpaca给出的答案是“达累斯萨拉姆”。但实际上早在1975年便被“多多马”取代了。除此之外,若是亲自体验过草泥马Alpaca就会发现,它……巨慢:对此,有网友认为可能是使用的人太多的原因。笔记本、手机、树莓派都能跑Meta开源的LLaMA大模型,刚发布几周就被大家安排明白了,单卡就能运行。所以理论上,基于LLaMA微调的Alpaca同样可以轻松在本地部署。没有显卡也没关系,苹果笔记本甚至树莓派、手机都可以玩。在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp,使用纯C/C++做推理,还专门对ARM芯片做了优化。作者实测,M1芯片的MacBook Pro上即可运行,另外也支持Windows和Linux系统。还是这个C++移植版本,有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。虽然速度非常慢,大约10秒生成一个token(也就是一分钟蹦出4.5个单词)。更离谱的是仅仅2天之后,有人把LLaMA模型量化压缩(权重转换成更低精度的数据格式)后成功在Pixel 6安卓手机上运行(26秒一个token)。Pixel 6使用谷歌自研处理器Google Tensor,跑分成绩在骁龙865+到888之间,也就是说新一点的手机理论上都能胜任。微调数据集也开源斯坦福团队微调LLaMA的方法,来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。以175个问题作为种子任务,让AI自己从中组合出新的问题以及生成配套答案实例,人工过滤掉低质量的,再把新任务添加到任务池里。所有这些任务,之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。套娃几圈下来,相当于让AI自己指导自己。斯坦福版Alpaca,就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。这些数据同样开源了出来,并且比原论文的数据多样性更高。同时还给出了生成这些数据的代码,也就是说如果有人还嫌不够,可以再去自行扩充微调数据,继续提高模型的表现。微调代码也会在HuggingFace官方支持LLaMA后放出。不过Alpaca最终的模型权重需要Meta许可才能发布,并且继承了LLaMA的非商用开源协议,禁止任何商业用途。并且由于微调数据使用了OpenAI的API,根据使用条款也禁止用来开发与OpenAI形成竞争的模型。One More Thing还记得AI绘画的发展历程吗?2022年上半年还只是话题热度高,8月份Stable Diffusion的开源让成本下降到可用,并由此产生爆炸式的工具创新,让AI绘画真正进入各类工作流程。语言模型的成本,如今也下降到了个人电子设备可用的程度。最后还是由Django框架创始人Simon Willison喊出:大语言模型的Stable Diffusion时刻到了。","news_type":1},"isVote":1,"tweetType":1,"viewCount":882,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"upFlag":false,"length":21,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/650995395"}
精彩评论