01摘要前所未有的无监督训练（unsupervised training）数据以及神经缩放规律（neural scaling laws），导致模型规模和服务/训练 LLM 的计算需求空前激增。然而，主要的性能瓶颈正日益转向内存带宽。在过去 20 年中，服务器硬件 FLOPS 峰值以 3.0 倍/2 年的速度增长，超过了 DRAM 和互连带宽的增长速度，而 DRAM 和互连带宽的增长速度分别仅为 ...
网页链接01摘要前所未有的无监督训练（unsupervised training）数据以及神经缩放规律（neural scaling laws），导致模型规模和服务/训练 LLM 的计算需求空前激增。然而，主要的性能瓶颈正日益转向内存带宽。在过去 20 年中，服务器硬件 FLOPS 峰值以 3.0 倍/2 年的速度增长，超过了 DRAM 和互连带宽的增长速度，而 DRAM 和互连带宽的增长速度分别仅为 ...
网页链接
精彩评论