在英伟达一步步站稳万亿市值脚根的道路上，少不了两项关键技术支持，其中之一是由台积电主导的CoWoS先进封装，另一个便是席卷当下的HBM（高带宽存储）。
英伟达H200是首次采用HBM3E存储器规格的AI加速卡。借助内存速度更快、容量更大的HBM3e，英伟达H200以每秒4.8TB的速度提供141GB的内存，与A100相比，容量几乎是其两倍，带宽也提升了43%，从而加速生成式AI和大语言模型，提高高性能计算（HPC）的工作负载。
随着人工智能的兴起，HBM成为巨头们抢占的高地。三星、SK海力士、美光等存储巨头纷纷将HBM视为重点生产产品之一。
HBM的火热，给市场掀起巨大波澜。一起看看HBM这股热潮给市场带来了哪些转折？
01
HBM走红，带来三大影响
HBM成为力挽行业下行的关键词之一
数个季度的持续低迷下，头部存储厂商相继展现出季度收入环比增长趋势，其中以SK海力士的表现最为亮眼，背后就离不开由HBM拉动对DRAM的需求提升。
今年Q1，SK海力士收入创历史同期新高，营业利润也创下了市况最佳的2018年以来同期第二高，公司将其视为摆脱了长时间的低迷期，开始转向了全面复苏期。SK海力士表示：“凭借HBM等面向AI的存储器技术领导力，公司提升了面向AI服务器的产品销量，同时持续实施以盈利为主的经营活动，从而实现了营业利润环比增长734%的业绩。”
三星电子曾表示生成式AI市场应用将带来HBM等支持大规模数据处理的内存产品需求快速增长，公司接到了大量客户需求。预计2024年HBM的需求可能出现陡峭增长。
美光表示，AI服务器的DRAM容量是普通服务器的6倍到8倍，NAND容量是普通服务器的3倍。英伟达DGX GH200所需的DRAM容量是普通服务器的数百倍。
通用DRAM恐缺货涨价
通用型DRAM内存芯片面临的供应短缺，主要源于业界对HBM等类型的DRAM进行了大量的投资，而通用型DRAM的产能利用率相对较低。目前，三星和SK海力士的产能利用率仅为80%到90%，远低于NAND闪存的全速生产状态。
自2024年初以来，通用型DRAM的产能仅提升了大约10%，但智能手机、PC和服务器市场的增长率预计仅为2%到3%。全球云计算和科技公司在AI基础设施上的投资削减，并未能显著推动DRAM需求的复苏。
然而，在同一时期内，企业级固态硬盘（eSSD）的需求却因人工智能的普及而激增。因此，三星、SK海力士等主要制造商在第二季度满负荷运行其NAND生产线。此外，铠侠也在市场条件改善后结束了减产，NAND产能利用率恢复至100%。
由于通用DRAM内存芯片在消费市场，如个人电脑和移动终端等领域发挥着巨大作用，而随着市场需求的放大，可能会出现大范围的短缺。根据摩根士丹利最新报告，全球内存市场在2025年将迎来一次前所未有的供需失衡，2025年HBM的供应不足率将达到-11%，而整个DRAM市场的供应不足率将高达-23%。
争夺战，不只是技术
存储巨头在HBM技术领域的争夺战日益激烈，从HBM1到HBM2、HBM3，再到最新的HBM3e，每一代技术的演进都标志着存储性能的显著提升和市场竞争的加剧。
HBM1最早于2014年由AMD与SK海力士共同推出，作为GDDR竞品，为4层die堆叠，提供128GB/s带宽，4GB内存，显著优于同期GDDR5。
HBM2于2016年发布，2018年正式推出，为4层DRAMdie，现在多为8层die，提供256GB/s带宽，2.4Gbps传输速度，和8GB内存。
HBM2E于2018年发布，于2020年正式提出，在传输速度和内存等方面均有较大提升，提供3.6Gbps传输速度，和16GB内存。
HBM3于2020年发布，2022年正式推出，堆叠层数及管理通道数均有增加，提供6.4Gbps传输速度，传输速度最高可达819GB/s，和16GB内存。
HBM3E由SK海力士发布HBM3的增强版，提供高达8Gbps的传输速度，24GB容量，2024年开始大规模量产。
然而这不仅仅是一场单纯的技术较量，更是一场激烈无比的产能竞赛。
根据存储三巨头表示，今年的HBM供应能力已全部耗尽，明年的产能也已经大部分售罄。据专业机构分析，今明两年HBM需求的动态缺口约为产能的5.5%和3.5%。因此，三大厂商纷纷开启产能冲刺竞赛。比如SK海力士正在大幅扩产第5代1b DRAM，以应对HBM与DDR5 DRAM的需求增加。按照晶圆投入量看，公司计划将1b DRAM月产能从今年一季度的1万片增加到年末的9万片，到明年上半年进一步提升至14万-15万片，是今年一季度产能的14-15倍。三星3月底曾表示，预计今年HBM产能将增至去年的2.9倍。美光正在美国建设先进的HBM测试生产线，并考虑首次在马来西亚生产HBM，以抓住AI热潮带来的更多需求。
02
相比GDDR，HBM强在哪儿？
根据产品分类，DRAM 可以分为 DDR、LPDDR、GDDR、HBM。前三类产品主要用于传统周期领域，HBM 则主要是 AI 市场的带动。其中 DDR 主要用于消费电子、服务器、PC 领域；LPDDR主要用于移动设备、手机及汽车领域；GDDR 主要用于图像处理方面的 GPU 等。
随着数据量越发庞大加之AI芯片的加速发展，冯氏计算架构问题凸显：“存”“算”之间性能失配，使得计算机的计算能力增长遇到瓶颈，虽然多核并行加速技术可以提高算力，但存储带宽的限制仍对计算系统的算力提升产生了制约。GDDR是目前应用较为广泛的显存技术，但在AI计算领域GDDR也难堪重任，于是制造商将目光投向HBM技术。
HBM具备高带宽的优势。通过多层堆叠，HBM能达到更高的I/O数量，使得显存位宽达到1024位，几乎是GDDR的32倍，显存带宽显著提升。显存带宽显著提升解决了过去AI计算“内存墙”的问题，HBM逐步提高在中高端数据中心GPU中的渗透比率。
HBM具备高密度、小体积等优势。相比传统DRAM，HBM在相同的物理空间内能够容纳更多的存储单元，从而提供更高的存储容量。这对于存储千亿参数乃至更大规模的大模型至关重要。此外，HBM通过3D封装工艺实现DRAM die的垂直方向堆叠封装，可以较大程度节约存储芯片在片上占据的面积。HBM芯片的尺寸比传统的DDR4芯片小20%，比GDDR5芯片节省了94%的表面积。根据三星电子的统计，3D TSV工艺较传统POP封装形式节省了35%的封装尺寸。
受构造影响，GDDR的总带宽上限低于HBM。总带宽=I/O数据速率（Gb/s）*位宽/8。为解决DDR带宽较低的问题，本质上需要对单I/O的数据速率和位宽（I/O数*单I/O位宽）进行提升，可分为GDDR单体式方案和HBM堆叠式方案。单体式GDDR采取大幅提升单I/O数据速率的手段来改善总带宽，GDDR5和GDDR6的单I/O数据速率已达到7 Gb/s到16Gb/s，超过HBM3的6.4 Gb/s。HBM利用TSV技术提升I/O数和单I/O位宽，从而大幅提升位宽，虽然维持较低的单I/O数据速率，但总带宽远优于GDDR。
HBM的综合功耗也低于GDDR。HBM通过增加I/O引脚数量来降低总线频率，从而实现更低的功耗。尽管片上分布的大量缓存能提供足够的计算带宽，但由于存储结构和工艺制约，片上缓存占用了大部分的芯片面积（通常为1/3至2/3），限制了算力提升。
如今，HBM已经成为超级计算机、数据中心等核心设施中不可或缺的关键组件，为大规模并行计算提供了坚实的内存基础。尤其在图形处理领域，HBM的高带宽特性使得GPU能够更快速地访问和处理图像数据，从而为用户带来更加流畅、逼真的视觉体验。
即便是业界领先的英伟达，也对这一产品展现出了高度的依赖性。据悉，英伟达近几年发布的多款旗舰产品（如A100、H100、H200）均搭配了不同数量的HBM。HBM已然是英伟达AI芯片的必备搭档。然而全球约九成的HBM市场被SK海力士和三星两家韩系企业垄断。
03
2024年末，HBM是持续短缺？还是供过于求？
在存储三巨头的竞争中，由于海力士HBM3产品性能领先，率先拿下英伟达订单，成为其服务器GPU的主要供应商。
三星主攻一些云端客户的订单，美光则直接跳过了HBM3，将主要精力放在了HBM3E产品上。仅从当下来看，美光的市场占有率和前面两个玩家有一些差距。
但不管怎样，三位存储芯片的大佬都在扩产能上不留余力。比如海力士已经放下豪言壮语，计划到2028年投资高达748亿美元，其中80%将用于HBM的研发和生产，而且将下一代HBM4芯片的量产时间提前到2025年。
据专业机构分析，今明两年HBM需求的动态缺口约为产能的5.5%和3.5%。
不过根据海豚投研的数据显示，HBM有望从2023年末的“供不应求”转为2024年末的“供大于求”。
海豚投研比较了2023—2024年HBM的供需关系情况。 从需求端来看，结合云服务厂商的资本开支和AI出货量情况，市场对HBM的需求有望从2023年的284MGB提升至512MGB； 从供给端来看，结合存储主流厂商的产能计划，HBM的供给端更可能从2023年的147MGB快速提升至1000MGB以上。
在此供需关系中，2023年供给端仅能满足需求的1/2，严重供不应求。供不应求的局面，推动各家厂商大幅提升产能计划。如果产能规划如实落地，2024年的HBM供需关系可能会出现明显反转，供给端反而会超出整体的市场需求。
对于HBM的价格，当前由于供给仍相对紧张，因此整体价格在2024年将有所上涨。但随着三星产品通过认证和产能端的释放，HBM的产品价格也可能出现回落。
04
国产厂商加速突破
随着AIGC技术应用的快速发展，AI服务器和高端GPU的需求持续增长，将进一步推动HBM市场的高速增长。据预计，到2025年，中国HBM的需求量规模有望超过100万颗。
而中国，在这一赛道还属于后来者。
不久前，国家集成电路产业投资基金三期横空出世。大基金三期注册资本高达3440亿元，这一规模远超前两期基金，显示出国家对集成电路产业的重视和大力支持。如此庞大的资金注入，无疑将为集成电路产业的发展提供强大的动力。
目前，大基金三期对外投资重点还未正式披露。据悉，大基金三期有望增加覆盖人工智能芯片环节，在HBM产业链扶持大型晶圆厂。
今年3月，武汉新芯发布了《高带宽存储芯粒先进封装技术研发和产线建设》招标项目，这一行动标志着该公司正式进军HBM市场。通过利用三维集成多晶圆堆叠技术，武汉新芯旨在打造更高容量、更大带宽、更小功耗的存储解决方案，以满足市场对高性能存储芯片的需求。面对海外大厂对于 HBM3E 的量产，国内存储厂商也在 HBM 技术上进行着加速突破，有望在 AI 大浪潮的需求下提升竞争实力。
面对海外大厂对于 HBM3E 的量产，国内存储厂商也在 HBM 技术上进行着加速突破，有望在 AI 大浪潮的需求下提升竞争实力。
封测龙头长电科技在投资者互动中表示，其XDFOI高密度扇出封装解决方案也同样适用于HBM的Chip to Wafer 和Chip to Chip TSV堆叠应用；通富微电此前表示，南通通富工厂先进封装生产线建成后，公司将成为国内最先进的2.5D/3D先进封装研发及量产基地，实现国内在HBM（高带宽内存）高性能封装技术领域的突破，对于国家在集成电路封测领域具有重要意义。
中国主要的存储芯片公司也在与封测厂商通富微电合作开展HBM相关项目。
然而总体来看，国内厂商在HBM技术上的发展仍处于早期阶段。尽管国际上已经有了更先进的HBM3和HBM3E产品，但国内存储厂商目前还处于HBM2的研发和产业化阶段。
面对海外大厂在HBM3E等先进技术上的量产优势，国内厂商仍需加快追赶步伐，克服技术壁垒，实现从技术跟随到技术引领的转变。在此过程中，客户对于AI服务器性能、内存带宽及内存大小的持续高要求，既是对HBM技术的巨大挑战，也是推动其不断前行的动力源泉。
值得注意的是，尽管HBM在带宽性能上占据优势地位，但其高昂的成本与功耗也促使行业探索更多元化的解决方案。GDDR、LPDDR等内存技术的快速发展，为AI处理器提供了更多选择，尤其是在成本、性能与功耗之间寻求最佳平衡点的应用场景中。例如，GDDR7的推出不仅显著提升了内存容量与数据传输率，还因其相对较低的复杂度成为部分AI应用的理想之选。
综上所述，随着AI技术的不断演进与市场需求的日益多样化，HBM作为高性能存储技术的代表，将继续在特定领域发挥关键作用。同时，国内厂商需紧抓机遇，加速技术创新与产业升级，以更加灵活多样的内存解决方案，满足AI时代对高性能计算的多元化需求。
精彩评论