阿尔法林
2023-11-14
gpu爆虐cpu呀
世界最强AI芯片H200震撼发布!性能飙升90%
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP,发表看法
APP内打开
发表看法
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":241307181429016,"tweetId":"241307181429016","gmtCreate":1699933539694,"gmtModify":1699933541141,"author":{"id":3458903913570876,"authorId":3458903913570876,"authorIdStr":"3458903913570876","name":"阿尔法林","avatar":"https://static.tigerbbs.com/83ecb94e36646f8918fd9d9b296369f0","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":6,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":100,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>gpu爆虐cpu呀</p></body></html>","htmlText":"<html><head></head><body><p>gpu爆虐cpu呀</p></body></html>","text":"gpu爆虐cpu呀","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/241307181429016","repostId":1130062145,"repostType":2,"repost":{"id":"1130062145","pubTimestamp":1699932636,"share":"https://www.laohu8.com/m/news/1130062145?lang=&edition=full","pubTime":"2023-11-14 11:30","market":"us","language":"zh","title":"世界最强AI芯片H200震撼发布!性能飙升90%","url":"https://stock-news.laohu8.com/highlight/detail?id=1130062145","media":"新智元","summary":"Llama 2推理速度翻倍,大批超算中心来袭。","content":"<html><head></head><body><p>英伟达的节奏,越来越可怕了。</p><p style=\"text-align: justify;\">就在刚刚,老黄又一次在深夜炸场——发布目前世界最强的AI芯片H200!</p><p style=\"text-align: justify;\">较前任霸主H100,H200的性能直接提升了60%到90%。</p><p style=\"text-align: justify;\">不仅如此,这两款芯片还是互相兼容的。这意味着,使用H100训练/推理模型的企业,可以无缝更换成最新的H200。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/907a61d81ce6394bbd1ce7a2342bfea9\" tg-width=\"640\" tg-height=\"311\"/></p><p style=\"text-align: justify;\">全世界的AI公司都陷入算力荒,英伟达的GPU已经千金难求。英伟达此前也表示,两年一发布的架构节奏将转变为一年一发布。</p><p style=\"text-align: justify;\">就在英伟达宣布这一消息之际,AI公司们正为寻找更多H100而焦头烂额。</p><p style=\"text-align: justify;\">英伟达的高端芯片价值连城,已经成为贷款的抵押品。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/852b4417e96da6ecb9d8b5fb58071de5\" tg-width=\"640\" tg-height=\"103\"/></p><p>谁拥有H100,是硅谷最引人注目的顶级八卦</p><p style=\"text-align: justify;\">至于H200系统,英伟达表示预计将于明年二季度上市。</p><p style=\"text-align: justify;\">同在明年,英伟达还会发布基于Blackwell架构的B100,并计划在2024年将H100的产量增加两倍,目标是生产200多万块H100。</p><p style=\"text-align: justify;\">而在发布会上,英伟达甚至全程没有提任何竞争对手,只是不断强调「英伟达的AI超级计算平台,能够更快地解决世界上一些最重要的挑战。」</p><p style=\"text-align: justify;\">随着生成式AI的大爆炸,需求只会更大,而且,这还没算上H200呢。赢麻了,老黄真的赢麻了!</p><h2 id=\"id_2048523020\" style=\"text-align: start;\">141GB超大显存,性能直接翻倍!</h2><p style=\"text-align: justify;\">H200,将为全球领先的AI计算平台增添动力。</p><p style=\"text-align: justify;\">它基于Hopper架构,配备英伟达H200 Tensor Core GPU和先进的显存,因此可以为生成式AI和高性能计算工作负载处理海量数据。</p><p style=\"text-align: justify;\">英伟达H200是首款采用HBM3e的GPU,拥有高达141GB的显存。</p><p style=\"text-align: justify;\">与A100相比,H200的容量几乎翻了一番,带宽也增加了2.4倍。与H100相比,H200的带宽则从3.35TB/s增加到了4.8TB/s。</p><p style=\"text-align: justify;\">英伟达大规模与高性能计算副总裁Ian Buck表示——</p><blockquote><p>要利用生成式人工智能和高性能计算应用创造智能,必须使用大型、快速的GPU显存,来高速高效地处理海量数据。借助H200,业界领先的端到端人工智能超算平台的速度会变得更快,一些世界上最重要的挑战,都可以被解决。</p></blockquote><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/6c58278f2d65e1b76216e88be6a07053\" tg-width=\"640\" tg-height=\"744\"/></p><p style=\"text-align: justify;\"><strong>Llama 2推理速度提升近100%</strong></p><p style=\"text-align: justify;\">跟前代架构相比,Hopper架构已经实现了前所未有的性能飞跃,而H100持续的升级,和TensorRT-LLM强大的开源库,都在不断提高性能标准。</p><p style=\"text-align: justify;\">H200的发布,让性能飞跃又升了一级,直接让Llama2 70B模型的推理速度比H100提高近一倍!</p><p style=\"text-align: justify;\">H200基于与H100相同的Hopper架构。这就意味着,除了新的显存功能外,H200还具有与H100相同的功能,例如Transformer Engine,它可以加速基于Transformer架构的LLM和其他深度学习模型。</p><p style=\"text-align: justify;\">HGX H200采用英伟达NVLink和NVSwitch高速互连技术,8路HGX H200可提供超过32 Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。</p><p style=\"text-align: justify;\">当用H200代替H100,与英伟达Grace CPU搭配使用时,就组成了性能更加强劲的GH200 Grace Hopper超级芯片——专为大型HPC和AI应用而设计的计算模块。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/999cc388030b4dc244db3bfd9205d748\" tg-width=\"640\" tg-height=\"668\"/></p><p style=\"text-align: justify;\">下面我们就来具体看看,相较于H100,H200的性能提升到底体现在哪些地方。</p><p style=\"text-align: justify;\">首先,H200的性能提升最主要体现在大模型的推理性能表现上。</p><p style=\"text-align: justify;\">如上所说,在处理Llama 2等大语言模型时,H200的推理速度比H100提高了接近1倍。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/685436630bf03c47eef90cf92de2ee33\" tg-width=\"640\" tg-height=\"430\"/></p><p style=\"text-align: justify;\">因为计算核心更新幅度不大,如果以训练175B大小的GPT-3为例,性能提升大概在10%左右。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/567e54aa9726f734576ee28ec2f22985\" tg-width=\"640\" tg-height=\"646\"/></p><p style=\"text-align: justify;\">显存带宽对于高性能计算(HPC)应用程序至关重要,因为它可以实现更快的数据传输,减少复杂任务的处理瓶颈。</p><p style=\"text-align: justify;\">对于模拟、科学研究和人工智能等显存密集型HPC应用,H200更高的显存带宽可确保高效地访问和操作数据,与CPU相比,获得结果的时间最多可加快110倍。</p><p style=\"text-align: justify;\">相较于H100,H200在处理高性能计算的应用程序上也有20%以上的提升。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/207bfd91b66a1b921d9b7606571eb33b\" tg-width=\"640\" tg-height=\"395\"/></p><p style=\"text-align: justify;\">而对于用户来说非常重要的推理能耗,H200相比H100直接腰斩。</p><p style=\"text-align: justify;\">这样,H200能大幅降低用户的使用成本,继续让用户「买的越多,省的越多」!</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/bf8fccfe460ccd5cd1658e46d0ded64c\" tg-width=\"640\" tg-height=\"387\"/></p><p style=\"text-align: justify;\">上个月,外媒SemiAnalysis曾曝出一份英伟达未来几年的硬件路线图,包括万众瞩目的H200、B100和「X100」GPU。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/badbf97b4fc77c5c02c56cf69c3f43dc\" tg-width=\"640\" tg-height=\"361\"/></p><p>而英伟达官方,也公布了官方的产品路线图,将使用同一构架设计三款芯片,在明年和后年会继续推出B100和X100。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/11ec7f97afe67f7bd97d384ab0cb487f\" tg-width=\"640\" tg-height=\"527\"/></p><p style=\"text-align: justify;\"><strong>B100,性能已经望不到头了</strong></p><p style=\"text-align: justify;\">这次,英伟达更是在官方公告中宣布了全新的H200和B100,将过去数据中心芯片两年一更新的速率直接翻倍。</p><p style=\"text-align: justify;\">以推理1750亿参数的GPT-3为例,今年刚发布的H100是前代A100性能的11倍,明年即将上市的H200相对于H100则有超过60%的提升,而再之后的B100,性能更是望不到头。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/940da6f7fa0b50ffe6aeec7607e63634\" tg-width=\"640\" tg-height=\"360\"/></p><p style=\"text-align: justify;\">至此,H100也成为了目前在位最短的「旗舰级」GPU。</p><p style=\"text-align: justify;\">如果说H100现在就是科技行业的「黄金」,那么英伟达又成功制造了「铂金」和「钻石」。</p><h2 id=\"id_2606654800\" style=\"text-align: start;\">H200加持,新一代AI超算中心大批来袭</h2><p style=\"text-align: justify;\">云服务方面,除了英伟达自己投资的CoreWeave、Lambda和Vultr之外,亚马逊云科技、谷歌云、微软Azure和甲骨文云基础设施,都将成为首批部署基于H200实例的供应商。</p><p style=\"text-align: justify;\">此外,在新的H200加持之下,GH200超级芯片也将为全球各地的超级计算中心提供总计约200 Exaflops的AI算力,用以推动科学创新。</p><p style=\"text-align: justify;\">在SC23大会上,多家顶级超算中心纷纷宣布,即将使用GH200系统构建自己的超级计算机。</p><p style=\"text-align: justify;\">德国尤里希超级计算中心将在超算JUPITER中使用GH200超级芯片。</p><p style=\"text-align: justify;\">这台超级计算机将成为欧洲第一台超大规模超级计算机,是欧洲高性能计算联合项目(EuroHPC Joint Undertaking)的一部分。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/f076d933e73b90824decdfc7974e9269\" tg-width=\"640\" tg-height=\"360\"/></p><p style=\"text-align: justify;\">Jupiter超级计算机基于Eviden的BullSequana XH3000,采用全液冷架构。</p><p style=\"text-align: justify;\">它总共拥有24000个英伟达GH200 Grace Hopper超级芯片,通过Quantum-2 Infiniband互联。</p><p style=\"text-align: justify;\">每个Grace CPU包含288个Neoverse内核, Jupiter的CPU就有近700万个ARM核心。</p><p style=\"text-align: justify;\">它能提供93 Exaflops的低精度AI算力和1 Exaflop的高精度(FP64)算力。这台超级计算机预计将于2024年安装完毕。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/9bf2fbb8aa76b92342644b9ebd40450d\" tg-width=\"640\" tg-height=\"360\"/></p><p style=\"text-align: justify;\">由筑波大学和东京大学共同成立的日本先进高性能计算联合中心,将在下一代超级计算机中采用英伟达GH200 Grace Hopper超级芯片构建。</p><p style=\"text-align: justify;\">作为世界最大超算中心之一的德克萨斯高级计算中心,也将采用英伟达的GH200构建超级计算机Vista。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/6b8afcc6829943d718f4882e963bbde3\" tg-width=\"640\" tg-height=\"358\"/></p><p style=\"text-align: justify;\">伊利诺伊大学香槟分校的美国国家超级计算应用中心,将利用英伟达GH200超级芯片来构建他们的超算DeltaAI,把AI计算能力提高两倍。</p><p style=\"text-align: justify;\">此外,布里斯托大学将在英国政府的资助下,负责建造英国最强大的超级计算机Isambard-AI——将配备5000多颗英伟达GH200超级芯片,提供21 Exaflops的AI计算能力。</p><h2 id=\"id_1041822654\" style=\"text-align: start;\">英伟达、AMD、英特尔:三巨头决战AI芯片</h2><p style=\"text-align: justify;\">GPU竞赛,也进入了白热化。</p><p style=\"text-align: justify;\">面对H200,而老对手AMD的计划是,利用即将推出的大杀器——Instinct MI300X来提升显存性能。</p><p style=\"text-align: justify;\">MI300X将配备192GB的HBM3和5.2TB/s的显存带宽,这将使其在容量和带宽上远超H200。</p><p style=\"text-align: justify;\">而英特尔也摩拳擦掌,计划提升Gaudi AI芯片的HBM容量,并表示明年推出的第三代Gaudi AI芯片将从上一代的 96GB HBM2e增加到144GB。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/5050f5d91e4a62c0491f07ee8bbffabf\" tg-width=\"640\" tg-height=\"363\"/></p><p style=\"text-align: justify;\">英特尔Max系列目前的HBM2容量最高为128GB,英特尔计划在未来几代产品中,还要增加Max系列芯片的容量。</p><p style=\"text-align: justify;\"><strong>H200价格未知</strong></p><p style=\"text-align: justify;\">所以,H200卖多少钱?英伟达暂时还未公布。</p><p style=\"text-align: justify;\">要知道,一块H100的售价,在25000美元到40000美元之间。训练AI模型,至少需要数千块。</p><p style=\"text-align: justify;\">此前,AI社区曾广为流传这张图片《我们需要多少个GPU》。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/1b1f68f6dd8d382fff778779fd7e922e\" tg-width=\"640\" tg-height=\"1043\"/></p><p style=\"text-align: justify;\">GPT-4大约是在10000-25000块A100上训练的;Meta需要大约21000块A100;Stability AI用了大概5000块A100;Falcon-40B的训练,用了384块A100。</p><p style=\"text-align: justify;\">根据马斯克的说法,GPT-5可能需要30000-50000块H100。摩根士丹利的说法是25000个GPU。</p><p style=\"text-align: justify;\">Sam Altman否认了在训练GPT-5,但却提过「OpenAI的GPU严重短缺,使用我们产品的人越少越好」。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/1519d04de478aaf84505abb463d58a00\" tg-width=\"640\" tg-height=\"547\"/></p><p>我们能知道的是,等到明年第二季度H200上市,届时必将引发新的风暴。</p></body></html>","source":"lsy1569730104218","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>世界最强AI芯片H200震撼发布!性能飙升90%</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n世界最强AI芯片H200震撼发布!性能飙升90%\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-11-14 11:30 北京时间 <a href=https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652406036&idx=1&sn=9cbb156df81c25f118c27d1b69b1a1dc&chksm=f12bf5e5c65c7cf3cb41c3f3edc5cb79833fb484689ef3a0179a6a30b6882684cd9d35a53a74&mpshare=1&scene=23&srcid=1114K0e14J6f3MqHDyM2SKYR&sharer_shareinfo=ae048cc45640477c65dc8dafc7a61e42&sharer_shareinfo_first=ae048cc45640477c65dc8dafc7a61e42#rd><strong>新智元</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>英伟达的节奏,越来越可怕了。就在刚刚,老黄又一次在深夜炸场——发布目前世界最强的AI芯片H200!较前任霸主H100,H200的性能直接提升了60%到90%。不仅如此,这两款芯片还是互相兼容的。这意味着,使用H100训练/推理模型的企业,可以无缝更换成最新的H200。全世界的AI公司都陷入算力荒,英伟达的GPU已经千金难求。英伟达此前也表示,两年一发布的架构节奏将转变为一年一发布。就在英伟达宣布...</p>\n\n<a href=\"https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652406036&idx=1&sn=9cbb156df81c25f118c27d1b69b1a1dc&chksm=f12bf5e5c65c7cf3cb41c3f3edc5cb79833fb484689ef3a0179a6a30b6882684cd9d35a53a74&mpshare=1&scene=23&srcid=1114K0e14J6f3MqHDyM2SKYR&sharer_shareinfo=ae048cc45640477c65dc8dafc7a61e42&sharer_shareinfo_first=ae048cc45640477c65dc8dafc7a61e42#rd\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/7fafac772683406584d6d51741f2734a","relate_stocks":{"NVDA":"英伟达"},"source_url":"https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652406036&idx=1&sn=9cbb156df81c25f118c27d1b69b1a1dc&chksm=f12bf5e5c65c7cf3cb41c3f3edc5cb79833fb484689ef3a0179a6a30b6882684cd9d35a53a74&mpshare=1&scene=23&srcid=1114K0e14J6f3MqHDyM2SKYR&sharer_shareinfo=ae048cc45640477c65dc8dafc7a61e42&sharer_shareinfo_first=ae048cc45640477c65dc8dafc7a61e42#rd","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"1130062145","content_text":"英伟达的节奏,越来越可怕了。就在刚刚,老黄又一次在深夜炸场——发布目前世界最强的AI芯片H200!较前任霸主H100,H200的性能直接提升了60%到90%。不仅如此,这两款芯片还是互相兼容的。这意味着,使用H100训练/推理模型的企业,可以无缝更换成最新的H200。全世界的AI公司都陷入算力荒,英伟达的GPU已经千金难求。英伟达此前也表示,两年一发布的架构节奏将转变为一年一发布。就在英伟达宣布这一消息之际,AI公司们正为寻找更多H100而焦头烂额。英伟达的高端芯片价值连城,已经成为贷款的抵押品。谁拥有H100,是硅谷最引人注目的顶级八卦至于H200系统,英伟达表示预计将于明年二季度上市。同在明年,英伟达还会发布基于Blackwell架构的B100,并计划在2024年将H100的产量增加两倍,目标是生产200多万块H100。而在发布会上,英伟达甚至全程没有提任何竞争对手,只是不断强调「英伟达的AI超级计算平台,能够更快地解决世界上一些最重要的挑战。」随着生成式AI的大爆炸,需求只会更大,而且,这还没算上H200呢。赢麻了,老黄真的赢麻了!141GB超大显存,性能直接翻倍!H200,将为全球领先的AI计算平台增添动力。它基于Hopper架构,配备英伟达H200 Tensor Core GPU和先进的显存,因此可以为生成式AI和高性能计算工作负载处理海量数据。英伟达H200是首款采用HBM3e的GPU,拥有高达141GB的显存。与A100相比,H200的容量几乎翻了一番,带宽也增加了2.4倍。与H100相比,H200的带宽则从3.35TB/s增加到了4.8TB/s。英伟达大规模与高性能计算副总裁Ian Buck表示——要利用生成式人工智能和高性能计算应用创造智能,必须使用大型、快速的GPU显存,来高速高效地处理海量数据。借助H200,业界领先的端到端人工智能超算平台的速度会变得更快,一些世界上最重要的挑战,都可以被解决。Llama 2推理速度提升近100%跟前代架构相比,Hopper架构已经实现了前所未有的性能飞跃,而H100持续的升级,和TensorRT-LLM强大的开源库,都在不断提高性能标准。H200的发布,让性能飞跃又升了一级,直接让Llama2 70B模型的推理速度比H100提高近一倍!H200基于与H100相同的Hopper架构。这就意味着,除了新的显存功能外,H200还具有与H100相同的功能,例如Transformer Engine,它可以加速基于Transformer架构的LLM和其他深度学习模型。HGX H200采用英伟达NVLink和NVSwitch高速互连技术,8路HGX H200可提供超过32 Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。当用H200代替H100,与英伟达Grace CPU搭配使用时,就组成了性能更加强劲的GH200 Grace Hopper超级芯片——专为大型HPC和AI应用而设计的计算模块。下面我们就来具体看看,相较于H100,H200的性能提升到底体现在哪些地方。首先,H200的性能提升最主要体现在大模型的推理性能表现上。如上所说,在处理Llama 2等大语言模型时,H200的推理速度比H100提高了接近1倍。因为计算核心更新幅度不大,如果以训练175B大小的GPT-3为例,性能提升大概在10%左右。显存带宽对于高性能计算(HPC)应用程序至关重要,因为它可以实现更快的数据传输,减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型HPC应用,H200更高的显存带宽可确保高效地访问和操作数据,与CPU相比,获得结果的时间最多可加快110倍。相较于H100,H200在处理高性能计算的应用程序上也有20%以上的提升。而对于用户来说非常重要的推理能耗,H200相比H100直接腰斩。这样,H200能大幅降低用户的使用成本,继续让用户「买的越多,省的越多」!上个月,外媒SemiAnalysis曾曝出一份英伟达未来几年的硬件路线图,包括万众瞩目的H200、B100和「X100」GPU。而英伟达官方,也公布了官方的产品路线图,将使用同一构架设计三款芯片,在明年和后年会继续推出B100和X100。B100,性能已经望不到头了这次,英伟达更是在官方公告中宣布了全新的H200和B100,将过去数据中心芯片两年一更新的速率直接翻倍。以推理1750亿参数的GPT-3为例,今年刚发布的H100是前代A100性能的11倍,明年即将上市的H200相对于H100则有超过60%的提升,而再之后的B100,性能更是望不到头。至此,H100也成为了目前在位最短的「旗舰级」GPU。如果说H100现在就是科技行业的「黄金」,那么英伟达又成功制造了「铂金」和「钻石」。H200加持,新一代AI超算中心大批来袭云服务方面,除了英伟达自己投资的CoreWeave、Lambda和Vultr之外,亚马逊云科技、谷歌云、微软Azure和甲骨文云基础设施,都将成为首批部署基于H200实例的供应商。此外,在新的H200加持之下,GH200超级芯片也将为全球各地的超级计算中心提供总计约200 Exaflops的AI算力,用以推动科学创新。在SC23大会上,多家顶级超算中心纷纷宣布,即将使用GH200系统构建自己的超级计算机。德国尤里希超级计算中心将在超算JUPITER中使用GH200超级芯片。这台超级计算机将成为欧洲第一台超大规模超级计算机,是欧洲高性能计算联合项目(EuroHPC Joint Undertaking)的一部分。Jupiter超级计算机基于Eviden的BullSequana XH3000,采用全液冷架构。它总共拥有24000个英伟达GH200 Grace Hopper超级芯片,通过Quantum-2 Infiniband互联。每个Grace CPU包含288个Neoverse内核, Jupiter的CPU就有近700万个ARM核心。它能提供93 Exaflops的低精度AI算力和1 Exaflop的高精度(FP64)算力。这台超级计算机预计将于2024年安装完毕。由筑波大学和东京大学共同成立的日本先进高性能计算联合中心,将在下一代超级计算机中采用英伟达GH200 Grace Hopper超级芯片构建。作为世界最大超算中心之一的德克萨斯高级计算中心,也将采用英伟达的GH200构建超级计算机Vista。伊利诺伊大学香槟分校的美国国家超级计算应用中心,将利用英伟达GH200超级芯片来构建他们的超算DeltaAI,把AI计算能力提高两倍。此外,布里斯托大学将在英国政府的资助下,负责建造英国最强大的超级计算机Isambard-AI——将配备5000多颗英伟达GH200超级芯片,提供21 Exaflops的AI计算能力。英伟达、AMD、英特尔:三巨头决战AI芯片GPU竞赛,也进入了白热化。面对H200,而老对手AMD的计划是,利用即将推出的大杀器——Instinct MI300X来提升显存性能。MI300X将配备192GB的HBM3和5.2TB/s的显存带宽,这将使其在容量和带宽上远超H200。而英特尔也摩拳擦掌,计划提升Gaudi AI芯片的HBM容量,并表示明年推出的第三代Gaudi AI芯片将从上一代的 96GB HBM2e增加到144GB。英特尔Max系列目前的HBM2容量最高为128GB,英特尔计划在未来几代产品中,还要增加Max系列芯片的容量。H200价格未知所以,H200卖多少钱?英伟达暂时还未公布。要知道,一块H100的售价,在25000美元到40000美元之间。训练AI模型,至少需要数千块。此前,AI社区曾广为流传这张图片《我们需要多少个GPU》。GPT-4大约是在10000-25000块A100上训练的;Meta需要大约21000块A100;Stability AI用了大概5000块A100;Falcon-40B的训练,用了384块A100。根据马斯克的说法,GPT-5可能需要30000-50000块H100。摩根士丹利的说法是25000个GPU。Sam Altman否认了在训练GPT-5,但却提过「OpenAI的GPU严重短缺,使用我们产品的人越少越好」。我们能知道的是,等到明年第二季度H200上市,届时必将引发新的风暴。","news_type":1},"isVote":1,"tweetType":1,"viewCount":640,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"upFlag":false,"length":12,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/241307181429016"}
精彩评论