洪流与清风
2023-04-13
只是对抗马斯克的推特的无奈之举，他要是好人，马云就是大好人了！
[开心]
[开心]
[开心]
[开心]
[开心]
[开心]
重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！
免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP，发表看法
APP内打开
发表看法
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":651066417,"tweetId":"651066417","gmtCreate":1681358569539,"gmtModify":1681359262548,"author":{"id":3472020238632242,"authorId":3472020238632242,"authorIdStr":"3472020238632242","name":"洪流与清风","avatar":"https://static.tigerbbs.com/aabe180834d4e4f82728feee0bcef9cb","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":2,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":0,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>只是对抗马斯克的推特的无奈之举，他要是好人，马云就是大好人了！<span>[开心] </span><span>[开心] </span><span>[开心] </span><span>[开心] </span><span>[开心] </span><span>[开心] </span></p></body></html>","htmlText":"<html><head></head><body><p>只是对抗马斯克的推特的无奈之举，他要是好人，马云就是大好人了！<span>[开心] </span><span>[开心] </span><span>[开心] </span><span>[开心] </span><span>[开心] </span><span>[开心] </span></p></body></html>","text":"只是对抗马斯克的推特的无奈之举，他要是好人，马云就是大好人了！[开心] [开心] [开心] [开心] [开心] [开心]","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/651066417","repostId":2327971959,"repostType":2,"repost":{"id":"2327971959","pubTimestamp":1681346445,"share":"https://www.laohu8.com/m/news/2327971959?lang=&edition=full","pubTime":"2023-04-13 08:40","market":"hk","language":"zh","title":"重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！","url":"https://stock-news.laohu8.com/highlight/detail?id=2327971959","media":"AIGC开放社区","summary":"用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Dee","content":"<html><head></head><body><blockquote>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。</blockquote><p>4月12日，<a href=\"https://laohu8.com/S/MSFT\">微软</a>宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed） </p><p>据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。</p><p>简单来说，<strong>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。</strong></p><h2>微软为什么开源Deep Speed Chat</h2><p>ChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。</p><p>即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，<strong>仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难</strong>。</p><p>例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。</p><p><strong>即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5%</strong>。</p><p>现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。</p><h2>Deep Speed Chat技术简单介绍</h2><p>ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。</p><p><strong>Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。</strong></p><p><strong>简化 ChatGPT 类型模型的训练和强化推理：</strong>只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。</p><p><strong>Deep Speed-RLHF 模块：</strong>DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。</p><p><strong>DeepSpeed-RLHF系统：</strong>将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。</p><p>例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行<a href=\"https://laohu8.com/S/5RE.SI\">智能</a>的内存管理和数据缓存。</p><p>此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。</p><p><strong>高效且节省成本：</strong>在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。</p><p><strong>卓越扩展性：</strong>能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型，使用Deep Speed Chat进行训练也只需不到一天的时间。</p><p>注意：在Azure上训练时由于GPU不同，所以训练时间和费用也各不相同。</p><h2>全民ChatGPT时代来了</h2><p>做个不太恰当的比喻，微软此次开源Deep Speed Chat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。</p><p>只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用，使得人人都能拥有自己的ChatGPT。</p><p>目前，ChatGPT处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。</p></body></html>","source":"lsy1680749794970","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-04-13 08:40 北京时间 <a href=https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd><strong>AIGC开放社区</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）...</p>\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/3b52764921272100b8f755870954f0a5","relate_stocks":{"LU0079474960.USD":"联博美国增长基金A","LU0082616367.USD":"摩根大通美国科技A（dist）","IE00BJTD4V19.USD":"NEUBERGER BERMAN US LONG SHORT EQUITY \"A1\" (USD) ACC","BK4535":"淡马锡持仓","BK4577":"网络游戏","LU0080751232.USD":"富达环球多元动力基金A","BK4538":"云计算","BK4527":"明星科技股","LU0061474960.USD":"天利环球焦点基金AU Acc","BK4588":"碎股","IE00BSNM7G36.USD":"NEUBERGER BERMAN SYSTEMATIC GLOBAL SUSTAINABLE VALUE \"A\" (USD) ACC","LU0234572021.USD":"高盛美国核心股票组合Acc","BK4503":"景林资产持仓","IE00BZ1G4Q59.USD":"LEGG MASON CLEARBRIDGE US EQUITY SUSTAINABILITY LEADER \"A\"(USD) INC (A)","LU0011850046.USD":"贝莱德全球长线股票 A2 USD","BK4581":"高盛持仓","LU0061474705.USD":"THREADNEEDLE (LUX) GLOBAL DYNAMIC REAL RETURN \"AU\" (USD) ACC","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","LU0097036916.USD":"贝莱德美国增长A2 USD","BK4548":"巴美列捷福持仓","LU0198837287.USD":"UBS (LUX) EQUITY SICAV - USA GROWTH \"P\" (USD) ACC","IE00B1BXHZ80.USD":"Legg Mason ClearBridge - US Appreciation A Acc USD","IE0004445239.USD":"JANUS HENDERSON US FORTY \"A2\" (USD) ACC","LU0289961442.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"AX\" (SGD) ACC","LU0061475181.USD":"THREADNEEDLE (LUX) AMERICAN \"AU\" (USD) ACC","IE00BFSS8Q28.SGD":"Janus Henderson Balanced A Inc SGD-H","BK4528":"SaaS概念","IE00B19Z9505.USD":"美盛-美国大盘成长股A Acc","BK4516":"特朗普概念","MSFT":"微软","LU0127658192.USD":"EASTSPRING INVESTMENTS GLOBAL TECHNOLOGY \"A\" (USD) ACC","IE00BKVL7J92.USD":"Legg Mason ClearBridge - US Equity Sustainability Leaders A Acc USD","BK4554":"元宇宙及AR概念","BK4532":"文艺复兴科技持仓","IE00BJTD4N35.SGD":"Neuberger Berman US Long Short Equity A1 Acc SGD-H","LU0289941410.SGD":"AB FCP I Dynamic Diversified AX SGD","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","LU0170899867.USD":"EASTSPRING INVESTMENTS WORLD VALUE EQUITY \"A\" (USD) ACC","LU0289739343.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"A\" (SGD) ACC","IE00BLSP4239.USD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis USD Plus","IE00BLSP4452.SGD":"Legg Mason ClearBridge - Tactical Dividend Income A Mdis SGD-H Plus","BK4585":"ETF&股票定投概念","BK4534":"瑞士信贷持仓","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H","IE00B775SV38.USD":"NEUBERGER BERMAN US MULTICAP OPPORTUNITIES \"A\" (USD) ACC","BK4525":"远程办公概念","BK4576":"AR","LU0109391861.USD":"富兰克林美国机遇基金A Acc","BK4533":"AQR资本管理(全球第二大对冲基金)","IE00BJJMRX11.SGD":"Janus Henderson Balanced A Acc SGD","LU0053666078.USD":"摩根大通基金-美国股票A（离岸）美元"},"source_url":"https://mp.weixin.qq.com/s?__biz=Mzg3Mzg5MjY3Nw%3D%3D&mid=2247486633&idx=1&sn=086d517293533ee3bf6e1c8177bc4127&chksm=ced85283f9afdb95175af01642084bdf013d11dc55a6297da4397aba22a80a2afa98f6a12851&mpshare=1&scene=23&sharer_sharetime=1681345548401&sharer_shareid=00a55b671777cf0e253d4693000ead51#rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2327971959","content_text":"用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed） 据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。简单来说，用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。微软为什么开源Deep Speed ChatChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难。例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5%。现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。Deep Speed Chat技术简单介绍ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。简化 ChatGPT 类型模型的训练和强化推理：只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。Deep Speed-RLHF 模块：DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。DeepSpeed-RLHF系统：将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。高效且节省成本：在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。卓越扩展性：能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型，使用Deep Speed Chat进行训练也只需不到一天的时间。注意：在Azure上训练时由于GPU不同，所以训练时间和费用也各不相同。全民ChatGPT时代来了做个不太恰当的比喻，微软此次开源Deep Speed Chat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用，使得人人都能拥有自己的ChatGPT。目前，ChatGPT处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。","news_type":1},"isVote":1,"tweetType":1,"viewCount":744,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"upFlag":false,"length":95,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/651066417"}
精彩评论