细软几两几斤
2023-09-18
算力就算了，尼玛关键还是智能！还具备学习能力和自我提升！
英伟达3个月卖出800吨H100！利润率接近1000%
免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP，发表看法
APP内打开
发表看法
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":221207135502480,"tweetId":"221207135502480","gmtCreate":1695047805044,"gmtModify":1695048450247,"author":{"id":3559521682281313,"idStr":"3559521682281313","authorId":3559521682281313,"authorIdStr":"3559521682281313","name":"细软几两几斤","avatar":"https://static.tigerbbs.com/5ccd460f45c5fb9b3e754524e5f99ecb","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"currentWearingBadge":{"badgeId":"e50ce593bb40487ebfb542ca54f6a561-3","templateUuid":"e50ce593bb40487ebfb542ca54f6a561","name":"偶像虎友","description":"加入老虎社区1500天","bigImgUrl":"https://static.tigerbbs.com/8b40ae7da5bf081a1c84df14bf9e6367","smallImgUrl":"https://static.tigerbbs.com/f160eceddd7c284a8e1136557615cfad","grayImgUrl":"https://static.tigerbbs.com/11792805c468334a9b31c39f95a41c6a","redirectLinkEnabled":0,"hasAllocated":1,"isWearing":1,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2024.09.12","individualDisplayEnabled":0},"individualDisplayBadges":[],"fanSize":1,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>算力就算了，尼玛关键还是智能！还具备学习能力和自我提升！</p></body></html>","htmlText":"<html><head></head><body><p>算力就算了，尼玛关键还是智能！还具备学习能力和自我提升！</p></body></html>","text":"算力就算了，尼玛关键还是智能！还具备学习能力和自我提升！","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/221207135502480","repostId":1198292513,"repostType":2,"repost":{"id":"1198292513","pubTimestamp":1695038564,"share":"https://www.laohu8.com/m/news/1198292513?lang=&edition=full","pubTime":"2023-09-18 20:02","market":"us","language":"zh","title":"英伟达3个月卖出800吨H100！利润率接近1000%","url":"https://stock-news.laohu8.com/highlight/detail?id=1198292513","media":"新智元","summary":"在接下来的每年里，英伟达都会卖出120万张H100。","content":"<html><head></head><body><p>仅在今年第二季度，英伟达就已经卖出了816吨H100！</p><p style=\"text-align: justify;\">假如这个速度不变，它有望在今年卖出3,266吨H100。并且，在接下来的每年里，英伟达都会卖出120万张H100。</p><p style=\"text-align: justify;\">现在，云服务供应商的大规模H100集群容量即将耗尽，全球陷入GPU短缺，硅谷大佬们都急了——整体算来，全球公司需要约432000张H100。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/c585cea2f108c67b956a8195cf75782b\" tg-width=\"1080\" tg-height=\"605\"/></p><p style=\"text-align: justify;\">最近同时大火的，还有黄仁勋管理英伟达的方法。</p><p style=\"text-align: justify;\">「没有计划、没有汇报、没有层级」，如此随性，如此佛系，甚至可以说，如此疯狂。</p><p style=\"text-align: justify;\">就是这种管理办法，让英伟达市值超过1万亿，在半导体公司中一时风头无两。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/4c74b145bcad060331b96936e69adf5a\" tg-width=\"1080\" tg-height=\"195\"/></p><h2 id=\"id_1301002558\" style=\"text-align: start;\">半导体巨人</h2><p style=\"text-align: justify;\">英伟达声称，在2024财年第二季度，他们售出了价值103亿美元的数据中心硬件。</p><p style=\"text-align: justify;\">价值103亿美元是什么概念？</p><p style=\"text-align: justify;\">今天，市场研究公司Omdia给出了让我们更容易理解的单位——816吨H100！</p><p style=\"text-align: justify;\">根据Omdia估计，第二季度英伟达的H100 GPU出货量超过了816吨。</p><p style=\"text-align: justify;\">一个英伟达H100 GPU，再加上散热器，平均重量超过了3公斤，因此，第二季度的H100发货量，保守估计也有30万个。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/3551e4de5990f4397a2948f07ee654f6\" tg-width=\"1080\" tg-height=\"572\"/></p><p style=\"text-align: justify;\">Omdia的估算准确吗？</p><p style=\"text-align: justify;\">要知道，H100有三种不同的外形尺寸，重量也不尽相同。</p><p style=\"text-align: justify;\">H100 PCIe显卡重达1.2千克，H100 SXM模组的重量尚不清楚，而带散热片的OAM模组重量可达2千克，它与H100 SXM的尺寸和TDP大致相同。</p><p style=\"text-align: justify;\">假设H100出货量80%是模组，20%是显卡，那么单个H100的平均重量应为1.84千克左右。</p><p style=\"text-align: justify;\">所以，Omida的估算可以认为大致准确。当然，实际重量可能少于816吨这个数字。</p><p style=\"text-align: justify;\"><strong>816吨是多重？</strong></p><p style=\"text-align: justify;\">4.5架波音747</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/94dbbe63a66682ef830ea048d651365e\" tg-width=\"1023\" tg-height=\"535\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/e7e6a34fed8f1229405fd964c37c349a\" tg-width=\"1080\" tg-height=\"717\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/f25c66e2e5396827d2b360f505884b4a\" tg-width=\"1080\" tg-height=\"608\"/></p><p style=\"text-align: justify;\">32,727只金毛</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/76fd5d300d16a3d29a94e0a97e8559ca\" tg-width=\"1080\" tg-height=\"608\"/></p><p style=\"text-align: justify;\">假如英伟达在未来几个季度保持相同的GPU销量，那么它有望在今年售出3,266吨H100。</p><p style=\"text-align: justify;\">假如这个速度保持不变，每年英伟达都会卖出120万个H100。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/8eb6a67855edd144e0f6b1f0d893743f\" tg-width=\"657\" tg-height=\"268\"/></p><p style=\"text-align: justify;\">并且，还不止这些。</p><p style=\"text-align: justify;\">还有H800，以及上一代的A100、A800、A30。</p><p style=\"text-align: justify;\">这样算的话，英伟达每季度实际销售的GPU数量远远高于30万个，重量总计远超过816吨。</p><p style=\"text-align: justify;\">即便如此，仍然不能满足全球的GPU荒——根据行业内部消息，英伟达H100 2023年的产量，早已销售一空，现在交钱订购，至少要到2024年中才能拿到货。</p><p style=\"text-align: justify;\">现在，H100早已一卡难求。</p><p style=\"text-align: justify;\">甚至还有外媒爆料：英伟达要在2024年，将H100的产量从今年的50万张左右直接提高到150-200万张。</p><p style=\"text-align: justify;\">显然，随着英伟达芯片在生成式AI的热潮中愈加紧俏，这个预测并不夸张。</p><h2 id=\"id_1314116694\" style=\"text-align: start;\">黄仁勋「第一性原理」</h2><p style=\"text-align: justify;\">与此同时，GPU的销量暴涨，也让英伟达成为了世界算力霸主，成功进入万亿美元俱乐部。</p><p style=\"text-align: justify;\">这背后离不开领导人黄仁勋的「疯狂式」的管理策略。</p><p style=\"text-align: justify;\">老黄表示，当你创立一家公司时，很自然地从第一性原理开始。</p><p style=\"text-align: justify;\">「就像我们正在建造一台机器如何运作一样，什么是输入，什么是输出，处在什么条件下，行业标准又是什么.....」</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/ca0092ff461c0f1b2cf9da8b848de3fe\" tg-width=\"640\" tg-height=\"320\"/></p><p style=\"text-align: justify;\">用老黄的话来说，英伟达的使命是，解决世界那些几乎不可能的计算问题。如果一个问题可以由普通的电脑解决，英伟达就会不做。</p><p style=\"text-align: justify;\">为了实现这一使命，英伟达吸引很多很多出色的人才，聚集在一起。</p><p style=\"text-align: justify;\">同时还需要，老黄管理这些人才的顶级策略，具体包括：</p><p style=\"text-align: justify;\">直接管理40名下属，没有1:1会议</p><p style=\"text-align: justify;\">英伟达不需要「金字塔」式的管理，而是将权力下放给每一个人。</p><p style=\"text-align: justify;\">老黄信奉扁平化的组织最富有能力，以便信息能够快速传播。</p><p style=\"text-align: justify;\">其中，组织的第一层——公司高层，就必须要考虑更加周全。他从不向任何人高管提供职业建议，因为管理团队中没有人来向他寻求职业建议。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/12ecdf538f0b039c9fdb9f375d024318\" tg-width=\"1080\" tg-height=\"716\"/></p><p style=\"text-align: justify;\">「他们已经成功了，他们做得很好」。</p><p style=\"text-align: justify;\">另外，老黄从不进行1对1会议，所有事情都在小组讨论中进行。</p><p style=\"text-align: justify;\">「如果你有一个战略方向，为什么只告诉一个人？应该让每个人都知道」。</p><p style=\"text-align: justify;\">每个人都能随时了解所有情况</p><p style=\"text-align: justify;\">在公司内部，从来都不会召开副总裁会议、总监会议。</p><p style=\"text-align: justify;\">老黄称，自己参加的会议里，有来自不同组织的人，刚刚毕业的大学生，任何人都可以参加并发表意见。</p><p style=\"text-align: justify;\"><strong>不做状态报告，而是email「前五件事情」</strong></p><p style=\"text-align: justify;\">在英伟达，每个人都不需要做状态报告，因为老黄认为这像是「元资讯」，太过精炼，基本上没有有益的讯息。</p><p style=\"text-align: justify;\">相反，公司里的任何人都可以通过电子邮件向他发送自己的「前五件事情」。</p><p style=\"text-align: justify;\">你所学到的，你所观察到的，你即将要做的，无论是什么事情，他每天早上都会阅读100+邮件，去了解大家的TOP 5 things。</p><p style=\"text-align: justify;\">比如，你去了一家非常棒的餐厅、有了一个可爱的baby...，这才是真正重要的信息。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/ce1a3f60d3c283121c03c1feeddf873d\" tg-width=\"500\" tg-height=\"500\"/></p><p style=\"text-align: justify;\"><strong>没有正式的定期计划</strong></p><p style=\"text-align: justify;\">对于，如何去做规划，让公司最底层的想法展现出来、让最好的工程师执行。</p><p style=\"text-align: justify;\">老黄表示，对于我来说，没有5年计划，也没有1年计划，会根据不断变化的业务和市场条件进行重新评估。</p><p style=\"text-align: justify;\">总结来说，英伟达优化组织结构的目的是：（1）吸引优秀人才；（2）保持尽可能小的团队规模；（3）使信息传播尽可能迅速</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/f68dbd40151d61cfc0943a55b73c5875\" tg-width=\"948\" tg-height=\"1296\"/></p><p style=\"text-align: justify;\">就连英伟达深度学习研究员VP Bryan Catanzaro，直接现身证明，全部为真。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/059df64c6d268171d99e1e522ac9db4e\" tg-width=\"942\" tg-height=\"144\"/></p><p style=\"text-align: justify;\">那么，在这样的组织工作是一种什么样的体验？</p><p style=\"text-align: justify;\">Bryan表示，在很多方面，这是一个非常稳定的环境。许多资深员工已经在英伟达工作了几十年。这种风格并不适合每一个人，但对很多人来说却很有效。这是一个充满活力的环境。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/ed52bd58d69ae6f9dd02d7c0f8d63b26\" tg-width=\"994\" tg-height=\"494\"/></p><p style=\"text-align: justify;\">与马斯克不同的是，老黄很少对外讲述自己管理公司的方法。</p><p style=\"text-align: justify;\">今年在台大的演讲中，老黄曾讲述了定义了今天英伟达样貌的3个故事。这当中，离不开他的决策和判断，已经思考。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/daff6084b84da3ef1ec5d52f3127cc41\" tg-width=\"1080\" tg-height=\"762\"/></p><p style=\"text-align: justify;\">最初，英伟达与SEGA签约，为其打造游戏机。经过一年的开发过程，却发现使用的技术架构是错误的。</p><p style=\"text-align: justify;\">但是，黄仁勋发现即便纠正过来，也无济于事，因为这一产品创造与微软的Widows系统并不兼容。</p><p style=\"text-align: justify;\">于是，他联络了SEGA执行长，解释英伟达无法完成这个任务，并还得到了SEGA的帮助，所幸没有破产。</p><p style=\"text-align: justify;\">第二件事，就是2007年英伟达宣布的CUDA GPU加速计算技术。</p><p style=\"text-align: justify;\">为了向全世界推广CUDA技术，还专门创办了GTC的会议。经过多年努力，英伟达这项技术成为AI革命重要的推动引擎。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/a5d90c82b8af177705ce7a6496d3c2ae\" tg-width=\"590\" tg-height=\"332\"/></p><p style=\"text-align: justify;\">第三件事，做出放弃手机市场的艰难决定，将重心放在显卡上。</p><p style=\"text-align: justify;\">正如老黄所说，「战略性的撤退、牺牲、决定放弃什麽是成功的核心，非常关键的核心。」</p><p style=\"text-align: justify;\">一位X的工程师称，这一管理方式与马斯克X公司的操作非常类似。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/a432c843adc621df05969cf06a5d5eb1\" tg-width=\"1080\" tg-height=\"171\"/></p><p style=\"text-align: justify;\">还有网友戏称，老黄的这种管理方式，都可以在多模态智能体大模型体系中建模了。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/d247d30df4c9e8a30954e0c3d9ff8ef5\" tg-width=\"1080\" tg-height=\"209\"/></p><p style=\"text-align: justify;\">如果老黄，能够像马斯克一样出一本传记，相信每个人都愿意去拜读一下。</p><p style=\"text-align: justify;\">看看，英伟达的GPU如何取得成功，成为大厂的掘金铲。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/95bcc3f5257ca144062917fe0ea7e730\" tg-width=\"1080\" tg-height=\"976\"/></p><h2 id=\"id_890140781\" style=\"text-align: start;\">全球GPU缺口超40万张</h2><p style=\"text-align: justify;\">Sam Altman就曾自曝，GPU已经告急，希望用ChatGPT的用户能少一点。????</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/acb872b5cbca8697c7214bb0d53488a1\" tg-width=\"1080\" tg-height=\"273\"/></p><p style=\"text-align: justify;\">「GPU非常短缺，使用我们产品的人越少越好」</p><p style=\"text-align: justify;\">Altman表示，受GPU限制，OpenAI已经推迟了多项短期计划（微调、专用容量、32k上下文窗口、多模态）。</p><p style=\"text-align: justify;\">OpenAI联合创始人兼职科学家Andrej Karpathy也透露过，现在谁家得到了多少块H100，都是硅谷的顶级八卦。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/3c093780d45b05c7c6c19838e7ebeee3\" tg-width=\"1080\" tg-height=\"173\"/></p><p style=\"text-align: justify;\">这张在社区广为流传的图曾做出如下估算——</p><blockquote><p style=\"text-align: justify;\">-GPT-4可能在大约10000-25000张A100上进行了训练</p><p style=\"text-align: justify;\">-Tesla大约7000 A100</p><p style=\"text-align: justify;\">-Stability AI大约5000 A100</p><p style=\"text-align: justify;\">-Falcon-40B在384个A100上进行了训练</p><p style=\"text-align: justify;\">– Inflection使用了3500和H100，来训练与GPT-3.5能力相当的模型</p></blockquote><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/534ceffdebb19d8e04ff3e4862711784\" tg-width=\"1080\" tg-height=\"1761\"/></p><p style=\"text-align: justify;\">现在不光是科技公司排着队购买H100，连沙特阿拉伯和阿联酋都出手了，一下就买了几千个H100 GPU。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/929561a831c8f2432b5dda6158f57dfe\" tg-width=\"1080\" tg-height=\"438\"/></p><p style=\"text-align: justify;\">马斯克直言，现在想买到H100已经难如登天。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/996647e68de9c03a9f2ccd57e5c2a124\" tg-width=\"690\" tg-height=\"1136\"/></p><p style=\"text-align: justify;\">根据马斯克的说法，GPT-5可能需要30000-50000个H100。此前，摩根士丹利曾表示GPT-5使用25000个GPU，自2月以来已经开始训练，不过Sam Altman之后澄清了GPT-5尚未进行训。</p><p style=\"text-align: justify;\">而一篇名为「Nvidia H100 GPU：供需」文章曾推测，小型和大型云提供商的大规模H100集群容量即将耗尽，H100的需求趋势至少会持续到2024年底。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/8d1d34bd4fc2d29342e454d68c2a370d\" tg-width=\"1080\" tg-height=\"692\"/></p><p style=\"text-align: justify;\">微软的年报中也向投资者强调，GPU是其云业务快速增长的「关键原材料」。如果无法获得所需的基础设施，可能会出现数据中心中断的风险因素。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/b3afc4dc710c66410380af39a799f9a3\" tg-width=\"1080\" tg-height=\"167\"/></p><p style=\"text-align: justify;\">据推测，OpenAI可能需要50000个H100，而Inflection需要22,000个，Meta可能需要 25k，而大型云服务商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。</p><p style=\"text-align: justify;\">Lambda和CoreWeave以及其他私有云可能总共需要100k。Anthropic、Helsing、Mistral和Character可能各需要10k。</p><p style=\"text-align: justify;\">整体算来，全球公司需要约432000张H100。按每个H100约35k美元来计算，GPU总需求耗资150亿美元。</p><p style=\"text-align: justify;\">这其中，还不包括国内大量需要H800的互联网公司。</p><p style=\"text-align: justify;\">而且，H100不光不愁卖，利润率还高得吓人。</p><p style=\"text-align: justify;\">业内专家曾称，英伟达H100的利润率接近1000%。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/6237682dfd133150232508c19df9a403\" tg-width=\"490\" tg-height=\"104\"/></p></body></html>","source":"lsy1569730104218","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>英伟达3个月卖出800吨H100！利润率接近1000%</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n英伟达3个月卖出800吨H100！利润率接近1000%\n</h2>\n\n<h4 class=\"meta\">\n\n\n2023-09-18 20:02 北京时间 <a href=https://wallstreetcn.com/articles/3698111><strong>新智元</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>仅在今年第二季度，英伟达就已经卖出了816吨H100！假如这个速度不变，它有望在今年卖出3,266吨H100。并且，在接下来的每年里，英伟达都会卖出120万张H100。现在，云服务供应商的大规模H100集群容量即将耗尽，全球陷入GPU短缺，硅谷大佬们都急了——整体算来，全球公司需要约432000张H100。最近同时大火的，还有黄仁勋管理英伟达的方法。「没有计划、没有汇报、没有层级」，如此随性，如此...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3698111\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/f23894c2351e5bd427ba6f5dbbc891c6","relate_stocks":{"NVDA":"英伟达"},"source_url":"https://wallstreetcn.com/articles/3698111","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"1198292513","content_text":"仅在今年第二季度，英伟达就已经卖出了816吨H100！假如这个速度不变，它有望在今年卖出3,266吨H100。并且，在接下来的每年里，英伟达都会卖出120万张H100。现在，云服务供应商的大规模H100集群容量即将耗尽，全球陷入GPU短缺，硅谷大佬们都急了——整体算来，全球公司需要约432000张H100。最近同时大火的，还有黄仁勋管理英伟达的方法。「没有计划、没有汇报、没有层级」，如此随性，如此佛系，甚至可以说，如此疯狂。就是这种管理办法，让英伟达市值超过1万亿，在半导体公司中一时风头无两。半导体巨人英伟达声称，在2024财年第二季度，他们售出了价值103亿美元的数据中心硬件。价值103亿美元是什么概念？今天，市场研究公司Omdia给出了让我们更容易理解的单位——816吨H100！根据Omdia估计，第二季度英伟达的H100 GPU出货量超过了816吨。一个英伟达H100 GPU，再加上散热器，平均重量超过了3公斤，因此，第二季度的H100发货量，保守估计也有30万个。Omdia的估算准确吗？要知道，H100有三种不同的外形尺寸，重量也不尽相同。H100 PCIe显卡重达1.2千克，H100 SXM模组的重量尚不清楚，而带散热片的OAM模组重量可达2千克，它与H100 SXM的尺寸和TDP大致相同。假设H100出货量80%是模组，20%是显卡，那么单个H100的平均重量应为1.84千克左右。所以，Omida的估算可以认为大致准确。当然，实际重量可能少于816吨这个数字。816吨是多重？4.5架波音74732,727只金毛假如英伟达在未来几个季度保持相同的GPU销量，那么它有望在今年售出3,266吨H100。假如这个速度保持不变，每年英伟达都会卖出120万个H100。并且，还不止这些。还有H800，以及上一代的A100、A800、A30。这样算的话，英伟达每季度实际销售的GPU数量远远高于30万个，重量总计远超过816吨。即便如此，仍然不能满足全球的GPU荒——根据行业内部消息，英伟达H100 2023年的产量，早已销售一空，现在交钱订购，至少要到2024年中才能拿到货。现在，H100早已一卡难求。甚至还有外媒爆料：英伟达要在2024年，将H100的产量从今年的50万张左右直接提高到150-200万张。显然，随着英伟达芯片在生成式AI的热潮中愈加紧俏，这个预测并不夸张。黄仁勋「第一性原理」与此同时，GPU的销量暴涨，也让英伟达成为了世界算力霸主，成功进入万亿美元俱乐部。这背后离不开领导人黄仁勋的「疯狂式」的管理策略。老黄表示，当你创立一家公司时，很自然地从第一性原理开始。「就像我们正在建造一台机器如何运作一样，什么是输入，什么是输出，处在什么条件下，行业标准又是什么.....」用老黄的话来说，英伟达的使命是，解决世界那些几乎不可能的计算问题。如果一个问题可以由普通的电脑解决，英伟达就会不做。为了实现这一使命，英伟达吸引很多很多出色的人才，聚集在一起。同时还需要，老黄管理这些人才的顶级策略，具体包括：直接管理40名下属，没有1:1会议英伟达不需要「金字塔」式的管理，而是将权力下放给每一个人。老黄信奉扁平化的组织最富有能力，以便信息能够快速传播。其中，组织的第一层——公司高层，就必须要考虑更加周全。他从不向任何人高管提供职业建议，因为管理团队中没有人来向他寻求职业建议。「他们已经成功了，他们做得很好」。另外，老黄从不进行1对1会议，所有事情都在小组讨论中进行。「如果你有一个战略方向，为什么只告诉一个人？应该让每个人都知道」。每个人都能随时了解所有情况在公司内部，从来都不会召开副总裁会议、总监会议。老黄称，自己参加的会议里，有来自不同组织的人，刚刚毕业的大学生，任何人都可以参加并发表意见。不做状态报告，而是email「前五件事情」在英伟达，每个人都不需要做状态报告，因为老黄认为这像是「元资讯」，太过精炼，基本上没有有益的讯息。相反，公司里的任何人都可以通过电子邮件向他发送自己的「前五件事情」。你所学到的，你所观察到的，你即将要做的，无论是什么事情，他每天早上都会阅读100+邮件，去了解大家的TOP 5 things。比如，你去了一家非常棒的餐厅、有了一个可爱的baby...，这才是真正重要的信息。没有正式的定期计划对于，如何去做规划，让公司最底层的想法展现出来、让最好的工程师执行。老黄表示，对于我来说，没有5年计划，也没有1年计划，会根据不断变化的业务和市场条件进行重新评估。总结来说，英伟达优化组织结构的目的是：（1）吸引优秀人才；（2）保持尽可能小的团队规模；（3）使信息传播尽可能迅速就连英伟达深度学习研究员VP Bryan Catanzaro，直接现身证明，全部为真。那么，在这样的组织工作是一种什么样的体验？Bryan表示，在很多方面，这是一个非常稳定的环境。许多资深员工已经在英伟达工作了几十年。这种风格并不适合每一个人，但对很多人来说却很有效。这是一个充满活力的环境。与马斯克不同的是，老黄很少对外讲述自己管理公司的方法。今年在台大的演讲中，老黄曾讲述了定义了今天英伟达样貌的3个故事。这当中，离不开他的决策和判断，已经思考。最初，英伟达与SEGA签约，为其打造游戏机。经过一年的开发过程，却发现使用的技术架构是错误的。但是，黄仁勋发现即便纠正过来，也无济于事，因为这一产品创造与微软的Widows系统并不兼容。于是，他联络了SEGA执行长，解释英伟达无法完成这个任务，并还得到了SEGA的帮助，所幸没有破产。第二件事，就是2007年英伟达宣布的CUDA GPU加速计算技术。为了向全世界推广CUDA技术，还专门创办了GTC的会议。经过多年努力，英伟达这项技术成为AI革命重要的推动引擎。第三件事，做出放弃手机市场的艰难决定，将重心放在显卡上。正如老黄所说，「战略性的撤退、牺牲、决定放弃什麽是成功的核心，非常关键的核心。」一位X的工程师称，这一管理方式与马斯克X公司的操作非常类似。还有网友戏称，老黄的这种管理方式，都可以在多模态智能体大模型体系中建模了。如果老黄，能够像马斯克一样出一本传记，相信每个人都愿意去拜读一下。看看，英伟达的GPU如何取得成功，成为大厂的掘金铲。全球GPU缺口超40万张Sam Altman就曾自曝，GPU已经告急，希望用ChatGPT的用户能少一点。????「GPU非常短缺，使用我们产品的人越少越好」Altman表示，受GPU限制，OpenAI已经推迟了多项短期计划（微调、专用容量、32k上下文窗口、多模态）。OpenAI联合创始人兼职科学家Andrej Karpathy也透露过，现在谁家得到了多少块H100，都是硅谷的顶级八卦。这张在社区广为流传的图曾做出如下估算——-GPT-4可能在大约10000-25000张A100上进行了训练-Tesla大约7000 A100-Stability AI大约5000 A100-Falcon-40B在384个A100上进行了训练– Inflection使用了3500和H100，来训练与GPT-3.5能力相当的模型现在不光是科技公司排着队购买H100，连沙特阿拉伯和阿联酋都出手了，一下就买了几千个H100 GPU。马斯克直言，现在想买到H100已经难如登天。根据马斯克的说法，GPT-5可能需要30000-50000个H100。此前，摩根士丹利曾表示GPT-5使用25000个GPU，自2月以来已经开始训练，不过Sam Altman之后澄清了GPT-5尚未进行训。而一篇名为「Nvidia H100 GPU：供需」文章曾推测，小型和大型云提供商的大规模H100集群容量即将耗尽，H100的需求趋势至少会持续到2024年底。微软的年报中也向投资者强调，GPU是其云业务快速增长的「关键原材料」。如果无法获得所需的基础设施，可能会出现数据中心中断的风险因素。据推测，OpenAI可能需要50000个H100，而Inflection需要22,000个，Meta可能需要 25k，而大型云服务商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。Lambda和CoreWeave以及其他私有云可能总共需要100k。Anthropic、Helsing、Mistral和Character可能各需要10k。整体算来，全球公司需要约432000张H100。按每个H100约35k美元来计算，GPU总需求耗资150亿美元。这其中，还不包括国内大量需要H800的互联网公司。而且，H100不光不愁卖，利润率还高得吓人。业内专家曾称，英伟达H100的利润率接近1000%。","news_type":1},"isVote":1,"tweetType":1,"viewCount":848,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":53,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/221207135502480"}
精彩评论