可恨语文差，我草走天_老虎社区_美港股上老虎

木木水土土
2023-03-14

可恨语文差，我草走天下

斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！

手机都能运行的那种。

斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

推荐
最新

暂无评论

热议股票

关于我们·老虎社区守则·老虎社区账号管理规范·老虎社区服务协议·老虎社区隐私政策

公司名称：北京至简风宜信息技术有限公司

违法和不良信息投诉：010-5681-3562（工作时间9:30-18:30）

邮箱：service@laohu8.com

营业执照：91110105MA01A4U55R

ICP备：京ICP备18016422号

网安备：京公网安备11010502036490

关注我们

{"i18n":{"language":"zh_CN"},"data":{"magic":2,"id":650995395,"tweetId":"650995395","gmtCreate":1678803748018,"gmtModify":1678806156580,"author":{"id":4127114005949800,"authorId":4127114005949800,"authorIdStr":"4127114005949800","name":"木木水土土","avatar":"https://static.tigerbbs.com/7eb347f46b0e34d730319c45cb01cb24","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":0,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body>可恨语文差，我草走天下</body></html>","htmlText":"<html><head></head><body>可恨语文差，我草走天下</body></html>","text":"可恨语文差，我草走天下","highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/650995395","repostId":1156607844,"repostType":2,"repost":{"id":"1156607844","pubTimestamp":1678802744,"share":"https://www.laohu8.com/m/news/1156607844?lang=&edition=full","pubTime":"2023-03-14 22:05","market":"us","language":"zh","title":"斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！","url":"https://stock-news.laohu8.com/highlight/detail?id=1156607844","media":"量子位","summary":"手机都能运行的那种。","content":"<html><head></head><body>作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：<blockquote>只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。</blockquote><blockquote>而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！</blockquote><img src=\"https://static.tigerbbs.com/f436a314f5b3ceb7201c8f95756247b0\" tg-width=\"1080\" tg-height=\"363\" referrerpolicy=\"no-referrer\"/>还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：<blockquote>复制一个GPT-3.5效果的AI，很便宜，很容易，还很小。</blockquote>而且团队还把数据集（秒省500刀）、代码统统都给开源了，这下子人人都能去微调个效果炸裂的对话AI：<img src=\"https://static.tigerbbs.com/68958b593daf256edd6979a114b9defc\" tg-width=\"1080\" tg-height=\"588\" referrerpolicy=\"no-referrer\"/>项目在GitHub发布才半天时间，便已经狂揽1800+星，火爆程度可见一斑。Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容：<img src=\"https://static.tigerbbs.com/69cba1a83aaa22e8f8d2280f40b1cad1\" tg-width=\"1080\" tg-height=\"540\" referrerpolicy=\"no-referrer\"/>不仅如此，斯坦福团队还搞了个demo，在线可玩的那种。话不多说，我们现在就来看看这个“草泥马”的效果。比肩davinci-003的草泥马Aplaca<blockquote>什么是羊驼？它和美洲驼的区别是什么？</blockquote><img src=\"https://static.tigerbbs.com/6eaf97f58b36b62d1b6283548e6d289e\" tg-width=\"1080\" tg-height=\"756\" referrerpolicy=\"no-referrer\"/>草泥马Aplaca给出的答案较为干练：<blockquote>羊驼是一种小型骆驼科动物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。</blockquote>而后又简单的介绍了二者群居生活的不同。同样的问题若是交给ChatGPT（GPT3.5-turbo），则答案就不会像草泥马Aplaca那般简洁：<img src=\"https://static.tigerbbs.com/31f0675afb185848d0faa38ecc9f539a\" tg-width=\"1080\" tg-height=\"1034\" referrerpolicy=\"no-referrer\"/>对此，团队给出的解释是：<blockquote>Alpaca的答案通常比ChatGPT短，反映出text-davinci-003的输出较短。</blockquote>而后团队演示了让草泥马Alpaca写邮件：<blockquote>写一封e-mail祝贺被斯坦福大学录取的新生，并提到你很高兴能亲自见到他们。</blockquote>草泥马Alpaca对于这个任务也是信手拈来，直接给出了一个像模像样的邮件模板：<img src=\"https://static.tigerbbs.com/93c1be735703f0dfbe47245a345918fa\" tg-width=\"1080\" tg-height=\"564\" referrerpolicy=\"no-referrer\"/>难度再次进阶，团队这次提出了让草泥马Alpaca写论文摘要的需求：<blockquote>写一篇经过深思熟虑的机器学习论文摘要，证明42是训练神经网络的最优seed。</blockquote>草泥马Alpaca给出的答案从内容上来看，非常符合大多数论文的摘要形式：试图回答什么问题、用了什么方法、结果如何，以及未来展望。<img src=\"https://static.tigerbbs.com/43d1a4dabcc846a059a0b6656ebf5200\" tg-width=\"1080\" tg-height=\"426\" referrerpolicy=\"no-referrer\"/>当然，也有迫不及待的网友亲自下场试验，发现草泥马Alpaca写代码也是不在话下。<img src=\"https://static.tigerbbs.com/c773549771f136267a717558517bbe21\" tg-width=\"1080\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>不过即便草泥马Alpaca能够hold住大部分问题，但这并不意味着它没有缺陷。例如团队便演示了一个例子，在回答“坦桑尼亚的首都是哪里”的问题时，草泥马Alpaca给出的答案是“达累斯萨拉姆”。但实际上早在1975年便被“多多马”取代了。<img src=\"https://static.tigerbbs.com/315b5344257dbf54d150f720b6a6ea3b\" tg-width=\"1080\" tg-height=\"443\" referrerpolicy=\"no-referrer\"/>除此之外，若是亲自体验过草泥马Alpaca就会发现，它……巨慢：<img src=\"https://static.tigerbbs.com/54e16edb14278c847287442588319f48\" tg-width=\"1080\" tg-height=\"627\" referrerpolicy=\"no-referrer\"/>对此，有网友认为可能是使用的人太多的原因。<img src=\"https://static.tigerbbs.com/9c6b811a1761b5c0eec453557ae21e23\" tg-width=\"1080\" tg-height=\"903\" referrerpolicy=\"no-referrer\"/>笔记本、手机、树莓派都能跑Meta开源的LLaMA大模型，刚发布几周就被大家安排明白了，单卡就能运行。所以理论上，基于LLaMA微调的Alpaca同样可以轻松在本地部署。没有显卡也没关系，苹果笔记本甚至树莓派、手机都可以玩。在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp，使用纯C/C++做推理，还专门对ARM芯片做了优化。<img src=\"https://static.tigerbbs.com/15a0a8eff4f925711ccaa34054e317f5\" tg-width=\"1080\" tg-height=\"237\" referrerpolicy=\"no-referrer\"/>作者实测，M1芯片的MacBook Pro上即可运行，另外也支持Windows和Linux系统。<img src=\"https://static.tigerbbs.com/aa5c899aa934423051d6f233d26706b9\" tg-width=\"1080\" tg-height=\"567\" referrerpolicy=\"no-referrer\"/>还是这个C++移植版本，有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。虽然速度非常慢，大约10秒生成一个token（也就是一分钟蹦出4.5个单词）。<img src=\"https://static.tigerbbs.com/b47ea66f1f8734a0717f6f9491b20518\" tg-width=\"1080\" tg-height=\"1100\" referrerpolicy=\"no-referrer\"/>更离谱的是仅仅2天之后，有人把LLaMA模型量化压缩（权重转换成更低精度的数据格式）后成功在Pixel 6安卓手机上运行（26秒一个token）。Pixel 6使用谷歌自研处理器Google Tensor，跑分成绩在骁龙865+到888之间，也就是说新一点的手机理论上都能胜任。<img src=\"https://static.tigerbbs.com/2e575343b6745ea07266f1cb0b3b1872\" tg-width=\"1080\" tg-height=\"1765\" referrerpolicy=\"no-referrer\"/>微调数据集也开源斯坦福团队微调LLaMA的方法，来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。<img src=\"https://static.tigerbbs.com/d1b66490bbf86bc32859f7dcc788193a\" tg-width=\"1080\" tg-height=\"369\" referrerpolicy=\"no-referrer\"/>以175个问题作为种子任务，让AI自己从中组合出新的问题以及生成配套答案实例，人工过滤掉低质量的，再把新任务添加到任务池里。所有这些任务，之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。套娃几圈下来，相当于让AI自己指导自己。<img src=\"https://static.tigerbbs.com/fa8c6fc01dbe785d7e936a33bb13fe7d\" tg-width=\"1080\" tg-height=\"688\" referrerpolicy=\"no-referrer\"/>斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。这些数据同样开源了出来，并且比原论文的数据多样性更高。<img src=\"https://static.tigerbbs.com/6adcd012d48b595e5632d1b1b6b6ff2e\" tg-width=\"1080\" tg-height=\"1140\" referrerpolicy=\"no-referrer\"/>同时还给出了生成这些数据的代码，也就是说如果有人还嫌不够，可以再去自行扩充微调数据，继续提高模型的表现。<img src=\"https://static.tigerbbs.com/8534ff84d3264aca9627f782f40f3270\" tg-width=\"1080\" tg-height=\"245\" referrerpolicy=\"no-referrer\"/>微调代码也会在HuggingFace官方支持LLaMA后放出。<img src=\"https://static.tigerbbs.com/e654debf4633adb0a51a87a030599f34\" tg-width=\"1080\" tg-height=\"516\" referrerpolicy=\"no-referrer\"/>不过Alpaca最终的模型权重需要Meta许可才能发布，并且继承了LLaMA的非商用开源协议，禁止任何商业用途。并且由于微调数据使用了OpenAI的API，根据使用条款也禁止用来开发与OpenAI形成竞争的模型。One More Thing还记得AI绘画的发展历程吗？2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让成本下降到可用，并由此产生爆炸式的工具创新，让AI绘画真正进入各类工作流程。语言模型的成本，如今也下降到了个人电子设备可用的程度。最后还是由Django框架创始人Simon Willison喊出：<blockquote>大语言模型的Stable Diffusion时刻到了。</blockquote><img src=\"https://static.tigerbbs.com/3548d5c1ed5453747b3894302f830b70\" tg-width=\"1080\" tg-height=\"1026\" referrerpolicy=\"no-referrer\"/></body></html>","source":"lsy1569318700471","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n斯坦福“草泥马”火了：100美元就能比肩GPT-3.5！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-03-14 22:05 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A>量子位</a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元...\n\n<a href=\"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/1e088ec4276659e187dfdd2bf1451142","relate_stocks":{},"source_url":"https://mp.weixin.qq.com/s/8SP6sKQ21YxeFQe3rwOh8A","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"1156607844","content_text":"作者：梦晨、金磊一夜之间，大模型界又炸出个big news！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜，很容易，还很小。而且团队还把数据集（秒省500刀）、代码统统都给开源了，这下子人人都能去微调个效果炸裂的对话AI：项目在GitHub发布才半天时间，便已经狂揽1800+星，火爆程度可见一斑。Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容：不仅如此，斯坦福团队还搞了个demo，在线可玩的那种。话不多说，我们现在就来看看这个“草泥马”的效果。比肩davinci-003的草泥马Aplaca什么是羊驼？它和美洲驼的区别是什么？草泥马Aplaca给出的答案较为干练：羊驼是一种小型骆驼科动物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。而后又简单的介绍了二者群居生活的不同。同样的问题若是交给ChatGPT（GPT3.5-turbo），则答案就不会像草泥马Aplaca那般简洁：对此，团队给出的解释是：Alpaca的答案通常比ChatGPT短，反映出text-davinci-003的输出较短。而后团队演示了让草泥马Alpaca写邮件：写一封e-mail祝贺被斯坦福大学录取的新生，并提到你很高兴能亲自见到他们。草泥马Alpaca对于这个任务也是信手拈来，直接给出了一个像模像样的邮件模板：难度再次进阶，团队这次提出了让草泥马Alpaca写论文摘要的需求：写一篇经过深思熟虑的机器学习论文摘要，证明42是训练神经网络的最优seed。草泥马Alpaca给出的答案从内容上来看，非常符合大多数论文的摘要形式：试图回答什么问题、用了什么方法、结果如何，以及未来展望。当然，也有迫不及待的网友亲自下场试验，发现草泥马Alpaca写代码也是不在话下。不过即便草泥马Alpaca能够hold住大部分问题，但这并不意味着它没有缺陷。例如团队便演示了一个例子，在回答“坦桑尼亚的首都是哪里”的问题时，草泥马Alpaca给出的答案是“达累斯萨拉姆”。但实际上早在1975年便被“多多马”取代了。除此之外，若是亲自体验过草泥马Alpaca就会发现，它……巨慢：对此，有网友认为可能是使用的人太多的原因。笔记本、手机、树莓派都能跑Meta开源的LLaMA大模型，刚发布几周就被大家安排明白了，单卡就能运行。所以理论上，基于LLaMA微调的Alpaca同样可以轻松在本地部署。没有显卡也没关系，苹果笔记本甚至树莓派、手机都可以玩。在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp，使用纯C/C++做推理，还专门对ARM芯片做了优化。作者实测，M1芯片的MacBook Pro上即可运行，另外也支持Windows和Linux系统。还是这个C++移植版本，有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。虽然速度非常慢，大约10秒生成一个token（也就是一分钟蹦出4.5个单词）。更离谱的是仅仅2天之后，有人把LLaMA模型量化压缩（权重转换成更低精度的数据格式）后成功在Pixel 6安卓手机上运行（26秒一个token）。Pixel 6使用谷歌自研处理器Google Tensor，跑分成绩在骁龙865+到888之间，也就是说新一点的手机理论上都能胜任。微调数据集也开源斯坦福团队微调LLaMA的方法，来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。以175个问题作为种子任务，让AI自己从中组合出新的问题以及生成配套答案实例，人工过滤掉低质量的，再把新任务添加到任务池里。所有这些任务，之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。套娃几圈下来，相当于让AI自己指导自己。斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。这些数据同样开源了出来，并且比原论文的数据多样性更高。同时还给出了生成这些数据的代码，也就是说如果有人还嫌不够，可以再去自行扩充微调数据，继续提高模型的表现。微调代码也会在HuggingFace官方支持LLaMA后放出。不过Alpaca最终的模型权重需要Meta许可才能发布，并且继承了LLaMA的非商用开源协议，禁止任何商业用途。并且由于微调数据使用了OpenAI的API，根据使用条款也禁止用来开发与OpenAI形成竞争的模型。One More Thing还记得AI绘画的发展历程吗？2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让成本下降到可用，并由此产生爆炸式的工具创新，让AI绘画真正进入各类工作流程。语言模型的成本，如今也下降到了个人电子设备可用的程度。最后还是由Django框架创始人Simon Willison喊出：大语言模型的Stable Diffusion时刻到了。","news_type":1},"isVote":1,"tweetType":1,"viewCount":792,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"upFlag":false,"length":21,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"hasMoreComment":false,"orderType":2}