阅_老虎社区_美港股上老虎

玮君
02-22

阅

木头姐为何抛售、Groq为何轰动？以及想要“弯道超车”英伟达的12家独角兽

Groq的爆火或许暗示AI芯片的主战场将由训练测转向推理测，当更多可替代英伟达GPU的新一代专用推理芯片出现，英伟达的“王位”还保得住吗？

木头姐为何抛售、Groq为何轰动？以及想要“弯道超车”英伟达的12家独角兽

免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。

推荐
最新

暂无评论

热议股票

关于我们·老虎社区守则·老虎社区账号管理规范·老虎社区服务协议·老虎社区隐私政策

公司名称：北京至简风宜信息技术有限公司

违法和不良信息投诉：010-5681-3562（工作时间9:30-18:30）

邮箱：service@laohu8.com

营业执照：91110105MA01A4U55R

ICP备：京ICP备18016422号

网安备：京公网安备11010502036490

关注我们

{"i18n":{"language":"zh_CN"},"data":{"magic":2,"id":276518130118664,"tweetId":"276518130118664","gmtCreate":1708537755946,"gmtModify":1708537757589,"author":{"id":3582264310669995,"idStr":"3582264310669995","authorId":3582264310669995,"authorIdStr":"3582264310669995","name":"玮君","avatar":"https://static.tigerbbs.com/fcbc5bedf92455ef285000b9ce4ae91e","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":1,"individualDisplayBadges":[],"fanSize":4,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>阅</p></body></html>","htmlText":"<html><head></head><body><p>阅</p></body></html>","text":"阅","highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/276518130118664","repostId":2413447251,"repostType":4,"repost":{"id":"2413447251","kind":"news","pubTimestamp":1708522693,"share":"https://www.laohu8.com/m/news/2413447251?lang=&edition=full","pubTime":"2024-02-21 21:38","market":"us","language":"zh","title":"木头姐为何抛售、Groq为何轰动？以及想要“弯道超车”英伟达的12家独角兽","url":"https://stock-news.laohu8.com/highlight/detail?id=2413447251","media":"华尔街见闻","summary":"Groq的爆火或许暗示AI芯片的主战场将由训练测转向推理测，当更多可替代英伟达GPU的新一代专用推理芯片出现，英伟达的“王位”还保得住吗？","content":"<html><head></head><body><blockquote><p><strong>Groq的爆火或许暗示AI芯片的主战场将由训练测转向推理测，当更多可替代英伟达GPU的新一代专用推理芯片出现，英伟达的“王位”还保得住吗？</strong></p></blockquote><p>华尔街明星基金经理、方舟投资管理公司的CEO“木头姐”凯茜·伍德（Cathie Wood)最近接受媒体采访时直言，她减持套现<strong>约450万美元的<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>股票，</strong>在她看来未来对英伟达GPU芯片的需求并没有预期的那般火热，英伟达将面临更多的竞争。</p><p>木头姐称，看看科技巨头们，比如Meta、<a href=\"https://laohu8.com/S/AMZN\">亚马逊</a>、Alphabet，它们都在开发自己的AI芯片。它们更加专业化，目的性更为明确，而英伟达的芯片则更加通用。</p><p>“木头姐”话音刚落，Groq LPU(Language Processing Units语言处理单元)芯片惊艳亮相，号称“性价比高英伟达100倍”（芯片的速度比英伟达GPU快10倍，但价格和耗电量都仅为英伟达的十分之一），再加上<a href=\"https://laohu8.com/S/GOOG\">谷歌</a><strong>自研AI芯片TPU</strong>设计者的光环，不少人直呼：英伟达的劲敌出现了。</p><p>根据Groq官网的介绍，<strong>LPU是一种专为AI推理所设计的芯片</strong>。不同于英伟达GPU需要依赖高速数据传输，Groq称，他们的LPU芯片在系统中没有采用高带宽存储器（HBM），而是选择使用SRAM，<strong>速度比GPU所用的存储器快约20倍</strong>。</p><p>Groq公司更是“喊话”英伟达称，在执行推理任务中LPU可以取代GPU，<strong>通过其专用化的设计，LPU能够为特定的AI应用提供优化的性能和能效比。</strong></p><h2 id=\"id_1549904695\">Groq的效益成本问题才是关键</h2><p>原阿里技术副总裁贾扬清发文分析称，要保证LPU和H100同样吞吐量，就需要更多的卡，而一张LPU卡仅有230MB的内存，且售价超2万美元，在运行Llama-2 70b模型时，需要305张Groq卡才足够，而用H100则只需要8张卡。</p><p>从目前的价格来看，这意味着在同等吞吐量下<strong>，Groq的硬件成本是H100的40倍，能耗成本是10倍。</strong>如果运营三年，Groq的硬件采购成本为1144万美元，运营成本为76.2万美元。相比起来，8卡H100的硬件采购成本是30万美元，运营成本是7.2万美元。</p><p>但华为“天才少年”左鹏飞在<a href=\"https://laohu8.com/S/ZH\">知乎</a>上发文反驳了贾扬清的说法，左鹏飞认为大家混淆了售卖价和成本价。<strong>应该以Groq自己生产卡的成本价来计算推理成本。虽然 Groq 卡的售卖价是2万美金，但其成本价非常低，预计每卡成本在1200美金左右。</strong></p><p>左鹏飞直言，<strong>GPU的成本大头则在HBM，但 Groq 直接丢掉了HBM，可以按 SRAM 的成本价估算卡成本</strong>。按1200美金/卡的成本计算，500张Groq卡的总成本是60万美金。Groq 公司拿这60万美金只能采购两台英伟达H100。两台英伟达 H100 能跑出 500 tokens/s的性能吗？</p><h2 id=\"id_3249004893\">Groq如何降低成本？</h2><p>分析指出，毫无疑问，按照当前硬件成本，Groq LPU服务器比英伟达要贵得多，一方面正如左鹏飞所言LPU卡的官方售价虚高，而另一个关键点在于，LPU的架构比较适用于有大量用户并发访问的场景，<strong>通过高吞吐大并发的做法将单个用户的单次请求成本显著降下来</strong>。</p><p>这就不得不提到LPU底层独特架构，不同于传统的CPU和GPU架构，Groq从头设计了一个张量流处理器 (TSP) 架构， 以加速人工智能、机器学习和高性能计算中的复杂工作负载。</p><p>每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/57fd197aabc54fba6654cb43401ee29a\" tg-width=\"1024\" tg-height=\"509\"/></p><p>而Groq闪电般的响应速度迅速引爆互联网讨论，而“快”的关键则在于，<strong>LPU没有采用HBM，而是使用SRAM</strong>，而这种设计也能够显著提高吞吐量。</p><p>这意味着LPU无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。<strong>这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。</strong></p><p>因此，由于AI的推理计算，相较于模型训练需要的数据量远小，Groq的LPU因此更节能。在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于英伟达的GPU。</p><p>但有分析指出，Groq闪电般的速度是建立在很有限的单卡吞吐能力，SRAM还有两个特点，第一是面积大，第二是功耗高。在同容量情况下，SRAM的面积是DRAM的5倍-6倍以上，而面积就是成本，所以SRAM按单位面积算，并不便宜。</p><h2 id=\"id_3501268634\">AI芯片的主战场将由训练转向推理？</h2><p>在Groq LPU推出之前，大模型训练和推理都是基于英伟达GPU来设计，采用的CUDA软件技术栈。而Groq LPU的“一夜走红”也让市场开始推断风向变了，AI芯片的主战场将由训练转向推理。</p><p>在AI领域，工作任务有两大类：训练和推理。训练阶段对大规模的计算力和内存容量有着极高的需求，但对于访问速度的依赖相对较小。推理阶段则截然不同，AI模型必须以极致的速度运行，目的是为了能够向终端用户提供尽可能多的Token，以此来加快回应用户指令的速度。</p><p>有分析认为，未来一年AI推理市场将大幅增长，相较于AI训练，AI推理与用户终端场景需求更加紧密，训练后的大模型需要通过AI推理服务于实际的场景，目前基于英伟达GPU的AI推理方案依然成本高企，在性能、时延等方面影响用户使用体验。</p><p>这一次Groq之所以突然爆发，也是因为Groq搭载的Llama2或Mistreal模型的云服务上线，如果Groq LPU推理芯片可以从硬件上解决性能和成本问题，让AI推理服务大规模部署，或许未来会有更多的AI推理类应用落地。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/415fd74a427361db5d0e40f4fbea486f\" tg-width=\"1024\" tg-height=\"602\"/></p><p>分析认为，<strong>英伟达A100采用的Ampere架构设计为广泛的计算任务提供支持</strong>，包括但不限于机器学习。A100的Tensor Core技术和对多种数据类型的支持确实为深度学习提供了强大的加速，<strong>但TSP的专门优化使其在机器学习任务上可能提供更优的性能和能效比</strong>。</p><p>由于高能效比，Groq就想到了把TSP变成专用集成电路，也就是ASIC。ASIC的特点在于特定的应用或算法进行了高度优化，以实现最佳性能、最低功耗和最小面积等目标。由于它们专门用于执行一种或一组相关任务，<strong>因此在完成这些任务时往往比非定制化的芯片更高效，特别是在推理领域。</strong></p><p>数据显示，目前，数据中心定制芯片市场约为300亿美元，当更多可替代英伟达GPU的新一代专用推理芯片出现在数据中心，而基于云端的AI训练芯片的增长或许会逐渐放缓，这或许也是英伟达为什么要开始进军定制芯片市场的重要原因。</p><h2 id=\"id_4264231901\">推理芯片公司试图从英伟达GPU庞大市场里分一杯羹</h2><p>媒体汇总了目前处于竞争最前线的12家公司。这些初创企业平均历史只有五年，融资额度最高的已有7.2亿美元，而他们未来或许都有可能成为英伟达“王位”的有力挑战者。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/eec4f60ed4d20f68208d17f6ef9cf5ac\" tg-width=\"1024\" tg-height=\"1257\"/></p><p></p></body></html>","source":"wallstreetcn_hot_news","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>木头姐为何抛售、Groq为何轰动？以及想要“弯道超车”英伟达的12家独角兽</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n木头姐为何抛售、Groq为何轰动？以及想要“弯道超车”英伟达的12家独角兽\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-02-21 21:38 北京时间&nbsp;&nbsp;&nbsp;<a href=https://wallstreetcn.com/articles/3708735><strong>华尔街见闻</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>Groq的爆火或许暗示AI芯片的主战场将由训练测转向推理测，当更多可替代英伟达GPU的新一代专用推理芯片出现，英伟达的“王位”还保得住吗？华尔街明星基金经理、方舟投资管理公司的CEO“木头姐”凯茜·伍德（Cathie Wood)最近接受媒体采访时直言，她减持套现约450万美元的英伟达股票，在她看来未来对英伟达GPU芯片的需求并没有预期的那般火热，英伟达将面临更多的竞争。木头姐称，看看科技巨头们，...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3708735\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/c32c0cf0625f00270c71fd00d575bead","relate_stocks":{"LU0109391861.USD":"富兰克林美国机遇基金A Acc","IE0004445239.USD":"JANUS HENDERSON US FORTY \"A2\" (USD) ACC","BK4581":"高盛持仓","IE00B19Z9505.USD":"美盛-美国大盘成长股A Acc","LU0234570918.USD":"高盛全球核心股票组合Acc Close","NVDA":"英伟达","LU0053666078.USD":"摩根大通基金-美国股票A（离岸）美元","LU0082616367.USD":"摩根大通美国科技A（dist）","LU0056508442.USD":"贝莱德世界科技基金A2","LU0719512351.SGD":"JPMorgan Funds - US Technology A (acc) SGD","LU0640476718.USD":"THREADNEEDLE (LUX) US CONTRARIAN CORE EQ \"AU\" (USD) ACC","LU0080751232.USD":"富达环球多元动力基金A","BK4529":"IDC概念","LU0061474960.USD":"天利环球焦点基金AU Acc","IE00BMPRXR70.SGD":"Neuberger Berman 5G Connectivity A Acc SGD-H","IE00BKDWB100.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5H\" (SGDHDG) ACC","LU0234572021.USD":"高盛美国核心股票组合Acc","BK4592":"伊斯兰概念","LU0820562030.AUD":"ALLIANZ INCOME AND GROWTH \"AMH2\" (AUDHDG) H2 INC","LU0353189763.USD":"ALLSPRING  US ALL CAP GROWTH FUND \"I\" (USD) ACC","BK4585":"ETF&股票定投概念","BK4567":"ESG概念","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","BK4587":"ChatGPT概念","LU0320765059.SGD":"FTIF - Franklin US Opportunities A Acc SGD","IE00B1BXHZ80.USD":"Legg Mason ClearBridge - US Appreciation A Acc USD","LU0672654240.SGD":"FTIF - Franklin US Opportunities A Acc SGD-H1","IE00BD6J9T35.USD":"NEUBERGER BERMAN NEXT GENERATION MOBILITY \"A\" (USD) ACC","LU0198837287.USD":"UBS (LUX) EQUITY SICAV - USA GROWTH \"P\" (USD) ACC","LU0061475181.USD":"THREADNEEDLE (LUX) AMERICAN \"AU\" (USD) ACC","LU0276348264.USD":"THREADNEEDLE (LUX) GLOBAL DYNAMIC REAL RETURN\"AUP\" (USD) INC","LU0786609619.USD":"高盛全球千禧一代股票组合Acc","LU0316494557.USD":"FRANKLIN GLOBAL FUNDAMENTAL STRATEGIES \"A\" ACC","BK4543":"AI","IE00BFSS8Q28.SGD":"Janus Henderson Balanced A Inc SGD-H","BK4527":"明星科技股","IE00BMPRXN33.USD":"NEUBERGER BERMAN 5G CONNECTIVITY \"A\" (USD) ACC","LU0708995401.HKD":"FRANKLIN U.S. OPPORTUNITIES \"A\" (HKD) ACC","LU0444971666.USD":"天利全球科技基金","BK4550":"红杉资本持仓","BK4579":"人工智能","BK4588":"碎股","BK4141":"半导体产品","IE0009356076.USD":"JANUS HENDERSON GLOBAL TECHNOLOGY AND INNOVATION \"A2\" (USD) ACC","BK4503":"景林资产持仓","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","LU0348723411.USD":"ALLIANZ GLOBAL HI-TECH GROWTH \"A\" (USD) INC","BK4551":"寇图资本持仓","LU0417517546.SGD":"Allianz US Equity Cl AT Acc SGD","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H"},"source_url":"https://wallstreetcn.com/articles/3708735","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2413447251","content_text":"Groq的爆火或许暗示AI芯片的主战场将由训练测转向推理测，当更多可替代英伟达GPU的新一代专用推理芯片出现，英伟达的“王位”还保得住吗？华尔街明星基金经理、方舟投资管理公司的CEO“木头姐”凯茜·伍德（Cathie Wood)最近接受媒体采访时直言，她减持套现约450万美元的英伟达股票，在她看来未来对英伟达GPU芯片的需求并没有预期的那般火热，英伟达将面临更多的竞争。木头姐称，看看科技巨头们，比如Meta、亚马逊、Alphabet，它们都在开发自己的AI芯片。它们更加专业化，目的性更为明确，而英伟达的芯片则更加通用。“木头姐”话音刚落，Groq LPU(Language Processing Units语言处理单元)芯片惊艳亮相，号称“性价比高英伟达100倍”（芯片的速度比英伟达GPU快10倍，但价格和耗电量都仅为英伟达的十分之一），再加上谷歌自研AI芯片TPU设计者的光环，不少人直呼：英伟达的劲敌出现了。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。不同于英伟达GPU需要依赖高速数据传输，Groq称，他们的LPU芯片在系统中没有采用高带宽存储器（HBM），而是选择使用SRAM，速度比GPU所用的存储器快约20倍。Groq公司更是“喊话”英伟达称，在执行推理任务中LPU可以取代GPU，通过其专用化的设计，LPU能够为特定的AI应用提供优化的性能和能效比。Groq的效益成本问题才是关键原阿里技术副总裁贾扬清发文分析称，要保证LPU和H100同样吞吐量，就需要更多的卡，而一张LPU卡仅有230MB的内存，且售价超2万美元，在运行Llama-2 70b模型时，需要305张Groq卡才足够，而用H100则只需要8张卡。从目前的价格来看，这意味着在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。如果运营三年，Groq的硬件采购成本为1144万美元，运营成本为76.2万美元。相比起来，8卡H100的硬件采购成本是30万美元，运营成本是7.2万美元。但华为“天才少年”左鹏飞在知乎上发文反驳了贾扬清的说法，左鹏飞认为大家混淆了售卖价和成本价。应该以Groq自己生产卡的成本价来计算推理成本。虽然 Groq 卡的售卖价是2万美金，但其成本价非常低，预计每卡成本在1200美金左右。左鹏飞直言，GPU的成本大头则在HBM，但 Groq 直接丢掉了HBM，可以按 SRAM 的成本价估算卡成本。按1200美金/卡的成本计算，500张Groq卡的总成本是60万美金。Groq 公司拿这60万美金只能采购两台英伟达H100。两台英伟达 H100 能跑出 500 tokens/s的性能吗？Groq如何降低成本？分析指出，毫无疑问，按照当前硬件成本，Groq LPU服务器比英伟达要贵得多，一方面正如左鹏飞所言LPU卡的官方售价虚高，而另一个关键点在于，LPU的架构比较适用于有大量用户并发访问的场景，通过高吞吐大并发的做法将单个用户的单次请求成本显著降下来。这就不得不提到LPU底层独特架构，不同于传统的CPU和GPU架构，Groq从头设计了一个张量流处理器 (TSP) 架构， 以加速人工智能、机器学习和高性能计算中的复杂工作负载。每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。而Groq闪电般的响应速度迅速引爆互联网讨论，而“快”的关键则在于，LPU没有采用HBM，而是使用SRAM，而这种设计也能够显著提高吞吐量。这意味着LPU无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。因此，由于AI的推理计算，相较于模型训练需要的数据量远小，Groq的LPU因此更节能。在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于英伟达的GPU。但有分析指出，Groq闪电般的速度是建立在很有限的单卡吞吐能力，SRAM还有两个特点，第一是面积大，第二是功耗高。在同容量情况下，SRAM的面积是DRAM的5倍-6倍以上，而面积就是成本，所以SRAM按单位面积算，并不便宜。AI芯片的主战场将由训练转向推理？在Groq LPU推出之前，大模型训练和推理都是基于英伟达GPU来设计，采用的CUDA软件技术栈。而Groq LPU的“一夜走红”也让市场开始推断风向变了，AI芯片的主战场将由训练转向推理。在AI领域，工作任务有两大类：训练和推理。训练阶段对大规模的计算力和内存容量有着极高的需求，但对于访问速度的依赖相对较小。推理阶段则截然不同，AI模型必须以极致的速度运行，目的是为了能够向终端用户提供尽可能多的Token，以此来加快回应用户指令的速度。有分析认为，未来一年AI推理市场将大幅增长，相较于AI训练，AI推理与用户终端场景需求更加紧密，训练后的大模型需要通过AI推理服务于实际的场景，目前基于英伟达GPU的AI推理方案依然成本高企，在性能、时延等方面影响用户使用体验。这一次Groq之所以突然爆发，也是因为Groq搭载的Llama2或Mistreal模型的云服务上线，如果Groq LPU推理芯片可以从硬件上解决性能和成本问题，让AI推理服务大规模部署，或许未来会有更多的AI推理类应用落地。分析认为，英伟达A100采用的Ampere架构设计为广泛的计算任务提供支持，包括但不限于机器学习。A100的Tensor Core技术和对多种数据类型的支持确实为深度学习提供了强大的加速，但TSP的专门优化使其在机器学习任务上可能提供更优的性能和能效比。由于高能效比，Groq就想到了把TSP变成专用集成电路，也就是ASIC。ASIC的特点在于特定的应用或算法进行了高度优化，以实现最佳性能、最低功耗和最小面积等目标。由于它们专门用于执行一种或一组相关任务，因此在完成这些任务时往往比非定制化的芯片更高效，特别是在推理领域。数据显示，目前，数据中心定制芯片市场约为300亿美元，当更多可替代英伟达GPU的新一代专用推理芯片出现在数据中心，而基于云端的AI训练芯片的增长或许会逐渐放缓，这或许也是英伟达为什么要开始进军定制芯片市场的重要原因。推理芯片公司试图从英伟达GPU庞大市场里分一杯羹媒体汇总了目前处于竞争最前线的12家公司。这些初创企业平均历史只有五年，融资额度最高的已有7.2亿美元，而他们未来或许都有可能成为英伟达“王位”的有力挑战者。","news_type":1},"isVote":1,"tweetType":1,"viewCount":997,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":2,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"hasMoreComment":false,"orderType":2}