本文作者:李笑寅 来源:硬AI AI时代,大语言模型(Large Language Model,LLM)横行。 早在2020年,OpenAI就曾在一篇论文中提出一个定律:Scaling law。这个定律指的是大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度)基本无关。 此后,OpenAI在AI界风生水起,很多初创公司甚至科技巨头都将这一定律...
网页链接本文作者:李笑寅 来源:硬AI AI时代,大语言模型(Large Language Model,LLM)横行。 早在2020年,OpenAI就曾在一篇论文中提出一个定律:Scaling law。这个定律指的是大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度)基本无关。 此后,OpenAI在AI界风生水起,很多初创公司甚至科技巨头都将这一定律...
网页链接
精彩评论