青云栈道
2023-05-29
凡事不谈成本不谈性价比,还是市场化程度不够
@量化大师公:
GPU是AI算力最优解吗,还有哪些公司能打破英伟达垄断地位?
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP,发表看法
APP内打开
发表看法
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":655357097,"tweetId":"655357097","gmtCreate":1685336781119,"gmtModify":1685336782723,"author":{"id":3545121946516538,"idStr":"3545121946516538","authorId":3545121946516538,"authorIdStr":"3545121946516538","name":"青云栈道","avatar":"https://static.tigerbbs.com/36576e27e104d73cad5028ef9b850c81","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":14,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body>凡事不谈成本不谈性价比,还是市场化程度不够\n<br></body></html>","htmlText":"<html><head></head><body>凡事不谈成本不谈性价比,还是市场化程度不够\n<br></body></html>","text":"凡事不谈成本不谈性价比,还是市场化程度不够","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/655357097","repostId":655356321,"repostType":1,"repost":{"magic":2,"id":655356321,"tweetId":"655356321","gmtCreate":1685332851163,"gmtModify":1685334750343,"author":{"id":4142479600468640,"idStr":"4142479600468640","authorId":4142479600468640,"authorIdStr":"4142479600468640","name":"量化大师公","avatar":"https://static.tigerbbs.com/bca7cb01bcc041f29b91cac61ada746d","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"fanSize":293,"starInvestorFlag":false},"themes":[],"images":[{"img":"https://static.tigerbbs.com/8b5d18b355b7c38b779d6d42f4f4ac5e","width":"1161","height":"800"},{"img":"https://static.tigerbbs.com/c4c23a3ee6b2f1967e56fef338a646a0","width":"889","height":"500"},{"img":"https://static.tigerbbs.com/9aecca20cb89784d00e1ba459c1bc438","width":"868","height":"500"}],"coverImages":[{"img":"https://static.tigerbbs.com/8b5d18b355b7c38b779d6d42f4f4ac5e","width":"1161","height":"800"},{"img":"https://static.tigerbbs.com/c4c23a3ee6b2f1967e56fef338a646a0","width":"889","height":"500"},{"img":"https://static.tigerbbs.com/9aecca20cb89784d00e1ba459c1bc438","width":"868","height":"500"}],"title":"GPU是AI算力最优解吗,还有哪些公司能打破英伟达垄断地位?","html":"<html><head></head><body><p style=\"text-align: start;\">个人认为英伟达的GPU未必是算力最优解,但在当前阶段是效费比最优解,而天下事怕就怕成本二字。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/9aecca20cb89784d00e1ba459c1bc438\" tg-width=\"868\" tg-height=\"500\"><span>GPU</span></p>\n<p style=\"text-align: start;\">X86架构能成为桌面主流,ARM能成为移动端主流是因为它们是算力最优解吗?</p>\n<p style=\"text-align: start;\">电动车能成为新能源主流,难道是因为电动车是新能源最优解吗?</p>\n<p style=\"text-align: start;\">以英伟达GPU为人工智能的算力支撑,除了英伟达的高性能GPU本身在算力方面的优势外,还有一个很重要的原因在于英伟达GPU是目前唯一可以持续稳定廉价且足量供应的优质算力工具,你别看A100显卡动不动大几万,H100动不动几十万,但这已经是目前最廉价的优质算力解决方案了,比它能算的方案比它贵出一大截,比它便宜的方案远远没它能算,说白了英伟达GPU的效费比是最好的,你其实根本就没得选。</p>\n<p style=\"text-align: start;\">之所以英伟达GPU会成为人工智能最具效费比的算力工具,这和人工智能最初的诞生环境有关。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/8b5d18b355b7c38b779d6d42f4f4ac5e\" tg-width=\"1161\" tg-height=\"800\"><span>人工智能</span></p>\n<p style=\"text-align: start;\">目前人工智能训练的基础大纲是反向传播算法,基于这套算法的梯度优化是人工智能训练的主流技术路径,反向传播算法之父辛顿在最初设计这套算法的时候,就是用英伟达的游戏显卡作为算力工具的,这导致这套算法和英伟达GPU具有天然的适配性,相当于是娘胎里带出来的优势,就像你问中国人为什么说中国话说的那么好,我怎么知道,从小在那么个环境里长大,说着说着自然就说的好了。</p>\n<p style=\"text-align: start;\">这种高适配性带来的优势就是高效费比,可以近似的理解为早年的主机游戏通过手工调整代码让游戏程序更适配于主机硬件,这让主机游戏可以在硬件参数逊于同时代PC的情况下,通过更好的适配性,让游戏的画面表现打平乃至超越同时代的PC。</p>\n<p style=\"text-align: start;\">这个道理其实国内也有人懂,当年百度和谷歌竞逐招募辛顿时,除了开出的价码比谷歌高外,还承诺在辛顿采购硬件上给予大量照顾,特别是辛顿孜孜以求的显卡。</p>\n<p style=\"text-align: start;\">另一方面英伟达在人工智能领域布局多年,其硬件的设计方案在数年前就针对人工智能的使用场景进行了针对性优化,连带着整个产业设计思路也越来越“亲人工智能化”,就连游戏硬件都开始引入深度学习超级采样技术来改善画面表现,实现了人工智能对游戏硬件的反哺,再加上游戏显卡和数据中心两大关键业务摊薄了相关研发成本,在进一步提高了和人工智能算法的适配性的同时还进一步降低了成本,效费比再次提升。</p>\n<p style=\"text-align: start;\">至于英伟达常年深耕半导体供应链带来的全产业链成本优势,更是毋庸多言,工业化的优势并非制造单一高技术产品——那是手工业的优势——恰恰在于批量提供质量稳定成本低的量产产品。</p>\n<p style=\"text-align: start;\">企业为啥要做人工智能?为了赚钱,因此效费比最高的方案哪怕不是技术最优解,也是现实最优解。</p>\n<p style=\"text-align: start;\">随着人工智能的逐步迭代和英伟达针对迭代后的人工智能的针对性硬件设计,这种效费比优势只会增加而不会减弱,因为它是一个标准的帕累托改进过程,是一个越滚越大的雪球:高适配性→高性能→高效费比→高应用量→高利润→高改进→高适配性。</p>\n<p style=\"text-align: start;\">这注定了其它任何后来者在检索所有技术路线后会发现,最优解就是去把英伟达已经走过的路再原模原样的走一遍。</p>\n<p style=\"text-align: start;\">领先这个东西,是一步快,步步快,落后也一样,一步慢,步步慢。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/c4c23a3ee6b2f1967e56fef338a646a0\" tg-width=\"889\" tg-height=\"500\"><span>AI</span></p>\n<p>所以,只有财大气粗的大佬才能玩这个游戏。</p>\n<p>据我有限的了解,真正能够挑战 NV 霸主的只有三家公司:Google 、Intel 和 华为。只有这三家可以软硬件协同设计,并且能够推动整个生态。</p>\n<p>Google 的 TPU,设计时融入了大量工程师思维,性能很强,大量的网络互联设计,配合自家 TF、JAX 和 XLA。但是 TPU 普及不好,只有 Google Cloud Platform 上有,colab 可以白嫖,但用户量总体有限。TPU 本身部署有限 + TF被喷屎一样的API + JAX学习曲线陡峭。TPU 前途貌似也不是很明朗。当然TF和JAX用好之后,性能还是很出色的。要不是 Google 的光环效应,我真担心 TPU 的市场。</p>\n<p>华为 的 升腾。21年我一直在研究升腾(Ascend)。芯片本身算力很高,HBM内存,每张卡上自带一个 RoCE RDMA网卡,用于多机通信。华为从软硬件上投入了大量精力,提供了 CANN(对标CUDA),深度学习编译器、集合通信库 hccl。一方面是后来者,要追赶,硬件上设计还不是特别完善;另一方面美国打压,新一代芯片量产难度大;CANN的软件栈只有华为一家在玩,生态还不行,网上资料少,小白用户入门难度大;再有 MindSpore 是国产框架,推向世界的难度大,易用性等各方面还有待完善。但总的来说,已经超过很多同类了。</p>\n<p>Intel 是芯片的老玩家,他们的数据中心产品很强,曾经什么都自己做:傲腾内存、Omni-Path高速网络,以及 GPU。但真正经得住市场检验的只有 CPU,而且 CPU 现在也四面楚歌。现在通过收购或者自研,新做了不少深度学习芯片产品线,能不能突围,还有待进一步观察。</p>\n<p>无论是 Google、华为、Intel、还是 Graphcore、每家公司都想做生态,但是这些公司做到最后,实际还是自己一家玩。</p>\n<p>所以, NVIDIA 最牛的是有生态布局,拥抱开源。现在开源社区离不开 NVIDIA,那 NVIDIA 可以继续卖硬件。</p>\n<p>至于国产的其他公司,没有一个公司敢像华为站出来明确搞自研、搞国产化。为啥?分分钟被美国搞死。华为被美国打压,就是活生生的案例。所以大家只能悄悄地做生态。那么问题来了,悄悄滴能做得起生态么......</p>\n<p> <a href=\"https://laohu8.com/S/BK4543\">$AI(BK4543)$</a> <a href=\"https://laohu8.com/S/NVDA\">$英伟达(NVDA)$</a> <a href=\"https://laohu8.com/S/000001.SH\">$上证指数(000001.SH)$</a> </p></body></html>","htmlText":"<html><head></head><body><p style=\"text-align: start;\">个人认为英伟达的GPU未必是算力最优解,但在当前阶段是效费比最优解,而天下事怕就怕成本二字。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/9aecca20cb89784d00e1ba459c1bc438\" tg-width=\"868\" tg-height=\"500\"><span>GPU</span></p>\n<p style=\"text-align: start;\">X86架构能成为桌面主流,ARM能成为移动端主流是因为它们是算力最优解吗?</p>\n<p style=\"text-align: start;\">电动车能成为新能源主流,难道是因为电动车是新能源最优解吗?</p>\n<p style=\"text-align: start;\">以英伟达GPU为人工智能的算力支撑,除了英伟达的高性能GPU本身在算力方面的优势外,还有一个很重要的原因在于英伟达GPU是目前唯一可以持续稳定廉价且足量供应的优质算力工具,你别看A100显卡动不动大几万,H100动不动几十万,但这已经是目前最廉价的优质算力解决方案了,比它能算的方案比它贵出一大截,比它便宜的方案远远没它能算,说白了英伟达GPU的效费比是最好的,你其实根本就没得选。</p>\n<p style=\"text-align: start;\">之所以英伟达GPU会成为人工智能最具效费比的算力工具,这和人工智能最初的诞生环境有关。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/8b5d18b355b7c38b779d6d42f4f4ac5e\" tg-width=\"1161\" tg-height=\"800\"><span>人工智能</span></p>\n<p style=\"text-align: start;\">目前人工智能训练的基础大纲是反向传播算法,基于这套算法的梯度优化是人工智能训练的主流技术路径,反向传播算法之父辛顿在最初设计这套算法的时候,就是用英伟达的游戏显卡作为算力工具的,这导致这套算法和英伟达GPU具有天然的适配性,相当于是娘胎里带出来的优势,就像你问中国人为什么说中国话说的那么好,我怎么知道,从小在那么个环境里长大,说着说着自然就说的好了。</p>\n<p style=\"text-align: start;\">这种高适配性带来的优势就是高效费比,可以近似的理解为早年的主机游戏通过手工调整代码让游戏程序更适配于主机硬件,这让主机游戏可以在硬件参数逊于同时代PC的情况下,通过更好的适配性,让游戏的画面表现打平乃至超越同时代的PC。</p>\n<p style=\"text-align: start;\">这个道理其实国内也有人懂,当年百度和谷歌竞逐招募辛顿时,除了开出的价码比谷歌高外,还承诺在辛顿采购硬件上给予大量照顾,特别是辛顿孜孜以求的显卡。</p>\n<p style=\"text-align: start;\">另一方面英伟达在人工智能领域布局多年,其硬件的设计方案在数年前就针对人工智能的使用场景进行了针对性优化,连带着整个产业设计思路也越来越“亲人工智能化”,就连游戏硬件都开始引入深度学习超级采样技术来改善画面表现,实现了人工智能对游戏硬件的反哺,再加上游戏显卡和数据中心两大关键业务摊薄了相关研发成本,在进一步提高了和人工智能算法的适配性的同时还进一步降低了成本,效费比再次提升。</p>\n<p style=\"text-align: start;\">至于英伟达常年深耕半导体供应链带来的全产业链成本优势,更是毋庸多言,工业化的优势并非制造单一高技术产品——那是手工业的优势——恰恰在于批量提供质量稳定成本低的量产产品。</p>\n<p style=\"text-align: start;\">企业为啥要做人工智能?为了赚钱,因此效费比最高的方案哪怕不是技术最优解,也是现实最优解。</p>\n<p style=\"text-align: start;\">随着人工智能的逐步迭代和英伟达针对迭代后的人工智能的针对性硬件设计,这种效费比优势只会增加而不会减弱,因为它是一个标准的帕累托改进过程,是一个越滚越大的雪球:高适配性→高性能→高效费比→高应用量→高利润→高改进→高适配性。</p>\n<p style=\"text-align: start;\">这注定了其它任何后来者在检索所有技术路线后会发现,最优解就是去把英伟达已经走过的路再原模原样的走一遍。</p>\n<p style=\"text-align: start;\">领先这个东西,是一步快,步步快,落后也一样,一步慢,步步慢。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/c4c23a3ee6b2f1967e56fef338a646a0\" tg-width=\"889\" tg-height=\"500\"><span>AI</span></p>\n<p>所以,只有财大气粗的大佬才能玩这个游戏。</p>\n<p>据我有限的了解,真正能够挑战 NV 霸主的只有三家公司:Google 、Intel 和 华为。只有这三家可以软硬件协同设计,并且能够推动整个生态。</p>\n<p>Google 的 TPU,设计时融入了大量工程师思维,性能很强,大量的网络互联设计,配合自家 TF、JAX 和 XLA。但是 TPU 普及不好,只有 Google Cloud Platform 上有,colab 可以白嫖,但用户量总体有限。TPU 本身部署有限 + TF被喷屎一样的API + JAX学习曲线陡峭。TPU 前途貌似也不是很明朗。当然TF和JAX用好之后,性能还是很出色的。要不是 Google 的光环效应,我真担心 TPU 的市场。</p>\n<p>华为 的 升腾。21年我一直在研究升腾(Ascend)。芯片本身算力很高,HBM内存,每张卡上自带一个 RoCE RDMA网卡,用于多机通信。华为从软硬件上投入了大量精力,提供了 CANN(对标CUDA),深度学习编译器、集合通信库 hccl。一方面是后来者,要追赶,硬件上设计还不是特别完善;另一方面美国打压,新一代芯片量产难度大;CANN的软件栈只有华为一家在玩,生态还不行,网上资料少,小白用户入门难度大;再有 MindSpore 是国产框架,推向世界的难度大,易用性等各方面还有待完善。但总的来说,已经超过很多同类了。</p>\n<p>Intel 是芯片的老玩家,他们的数据中心产品很强,曾经什么都自己做:傲腾内存、Omni-Path高速网络,以及 GPU。但真正经得住市场检验的只有 CPU,而且 CPU 现在也四面楚歌。现在通过收购或者自研,新做了不少深度学习芯片产品线,能不能突围,还有待进一步观察。</p>\n<p>无论是 Google、华为、Intel、还是 Graphcore、每家公司都想做生态,但是这些公司做到最后,实际还是自己一家玩。</p>\n<p>所以, NVIDIA 最牛的是有生态布局,拥抱开源。现在开源社区离不开 NVIDIA,那 NVIDIA 可以继续卖硬件。</p>\n<p>至于国产的其他公司,没有一个公司敢像华为站出来明确搞自研、搞国产化。为啥?分分钟被美国搞死。华为被美国打压,就是活生生的案例。所以大家只能悄悄地做生态。那么问题来了,悄悄滴能做得起生态么......</p>\n<p> <a href=\"https://laohu8.com/S/BK4543\">$AI(BK4543)$</a> <a href=\"https://laohu8.com/S/NVDA\">$英伟达(NVDA)$</a> <a href=\"https://laohu8.com/S/000001.SH\">$上证指数(000001.SH)$</a> </p></body></html>","text":"个人认为英伟达的GPU未必是算力最优解,但在当前阶段是效费比最优解,而天下事怕就怕成本二字。 GPU X86架构能成为桌面主流,ARM能成为移动端主流是因为它们是算力最优解吗? 电动车能成为新能源主流,难道是因为电动车是新能源最优解吗? 以英伟达GPU为人工智能的算力支撑,除了英伟达的高性能GPU本身在算力方面的优势外,还有一个很重要的原因在于英伟达GPU是目前唯一可以持续稳定廉价且足量供应的优质算力工具,你别看A100显卡动不动大几万,H100动不动几十万,但这已经是目前最廉价的优质算力解决方案了,比它能算的方案比它贵出一大截,比它便宜的方案远远没它能算,说白了英伟达GPU的效费比是最好的,你其实根本就没得选。 之所以英伟达GPU会成为人工智能最具效费比的算力工具,这和人工智能最初的诞生环境有关。 人工智能 目前人工智能训练的基础大纲是反向传播算法,基于这套算法的梯度优化是人工智能训练的主流技术路径,反向传播算法之父辛顿在最初设计这套算法的时候,就是用英伟达的游戏显卡作为算力工具的,这导致这套算法和英伟达GPU具有天然的适配性,相当于是娘胎里带出来的优势,就像你问中国人为什么说中国话说的那么好,我怎么知道,从小在那么个环境里长大,说着说着自然就说的好了。 这种高适配性带来的优势就是高效费比,可以近似的理解为早年的主机游戏通过手工调整代码让游戏程序更适配于主机硬件,这让主机游戏可以在硬件参数逊于同时代PC的情况下,通过更好的适配性,让游戏的画面表现打平乃至超越同时代的PC。 这个道理其实国内也有人懂,当年百度和谷歌竞逐招募辛顿时,除了开出的价码比谷歌高外,还承诺在辛顿采购硬件上给予大量照顾,特别是辛顿孜孜以求的显卡。 另一方面英伟达在人工智能领域布局多年,其硬件的设计方案在数年前就针对人工智能的使用场景进行了针对性优化,连带着整个产业设计思路也越来越“亲人工智能化”,就连游戏硬件都开始引入深度学习超级采样技术来改善画面表现,实现了人工智能对游戏硬件的反哺,再加上游戏显卡和数据中心两大关键业务摊薄了相关研发成本,在进一步提高了和人工智能算法的适配性的同时还进一步降低了成本,效费比再次提升。 至于英伟达常年深耕半导体供应链带来的全产业链成本优势,更是毋庸多言,工业化的优势并非制造单一高技术产品——那是手工业的优势——恰恰在于批量提供质量稳定成本低的量产产品。 企业为啥要做人工智能?为了赚钱,因此效费比最高的方案哪怕不是技术最优解,也是现实最优解。 随着人工智能的逐步迭代和英伟达针对迭代后的人工智能的针对性硬件设计,这种效费比优势只会增加而不会减弱,因为它是一个标准的帕累托改进过程,是一个越滚越大的雪球:高适配性→高性能→高效费比→高应用量→高利润→高改进→高适配性。 这注定了其它任何后来者在检索所有技术路线后会发现,最优解就是去把英伟达已经走过的路再原模原样的走一遍。 领先这个东西,是一步快,步步快,落后也一样,一步慢,步步慢。 AI 所以,只有财大气粗的大佬才能玩这个游戏。 据我有限的了解,真正能够挑战 NV 霸主的只有三家公司:Google 、Intel 和 华为。只有这三家可以软硬件协同设计,并且能够推动整个生态。 Google 的 TPU,设计时融入了大量工程师思维,性能很强,大量的网络互联设计,配合自家 TF、JAX 和 XLA。但是 TPU 普及不好,只有 Google Cloud Platform 上有,colab 可以白嫖,但用户量总体有限。TPU 本身部署有限 + TF被喷屎一样的API + JAX学习曲线陡峭。TPU 前途貌似也不是很明朗。当然TF和JAX用好之后,性能还是很出色的。要不是 Google 的光环效应,我真担心 TPU 的市场。 华为 的 升腾。21年我一直在研究升腾(Ascend)。芯片本身算力很高,HBM内存,每张卡上自带一个 RoCE RDMA网卡,用于多机通信。华为从软硬件上投入了大量精力,提供了 CANN(对标CUDA),深度学习编译器、集合通信库 hccl。一方面是后来者,要追赶,硬件上设计还不是特别完善;另一方面美国打压,新一代芯片量产难度大;CANN的软件栈只有华为一家在玩,生态还不行,网上资料少,小白用户入门难度大;再有 MindSpore 是国产框架,推向世界的难度大,易用性等各方面还有待完善。但总的来说,已经超过很多同类了。 Intel 是芯片的老玩家,他们的数据中心产品很强,曾经什么都自己做:傲腾内存、Omni-Path高速网络,以及 GPU。但真正经得住市场检验的只有 CPU,而且 CPU 现在也四面楚歌。现在通过收购或者自研,新做了不少深度学习芯片产品线,能不能突围,还有待进一步观察。 无论是 Google、华为、Intel、还是 Graphcore、每家公司都想做生态,但是这些公司做到最后,实际还是自己一家玩。 所以, NVIDIA 最牛的是有生态布局,拥抱开源。现在开源社区离不开 NVIDIA,那 NVIDIA 可以继续卖硬件。 至于国产的其他公司,没有一个公司敢像华为站出来明确搞自研、搞国产化。为啥?分分钟被美国搞死。华为被美国打压,就是活生生的案例。所以大家只能悄悄地做生态。那么问题来了,悄悄滴能做得起生态么...... $AI(BK4543)$ $英伟达(NVDA)$ $上证指数(000001.SH)$","highlighted":2,"essential":1,"paper":2,"link":"https://laohu8.com/post/655356321","repostId":0,"isVote":1,"tweetType":1,"commentLimit":10,"symbols":["NVDA"],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":3865,"xxTargetLangEnum":"ZH_CN"},"isVote":1,"tweetType":1,"viewCount":3219,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":41,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/655357097"}
精彩评论