图片 (图片来源:Pixels) 图片 “我们总不能永远处在价值链低端吧”。 图片 @数科星球原创 作者丨苑晶 编辑丨大兔 近日,OpenAI发布了“ o1”以及更小更便宜的“mini”新一代大模型。以上模型一经发布,引得全网测试风潮,成为了AI圈最新的“国民事件”。 很快,业界对该项产品得出了结论:它在代码、数学、科学等强逻辑领域的能力大幅提升。在新产品中,更强的Agent性能得以体现。 但不幸的是,OpenAI的此次升级,可能“溅射”到了国内大模型公司。在以OpenAI主导的标准下,大模型公司或将更难生存。 业界似乎正在期待更强的创新诞生。 图片 01 蒸馏法的前途 在AI界,用蒸馏法训练自己的大模型,较为普遍。 本质上,这是一种模型压缩技术,允许将大型且复杂的模型转换到更小、更高效的模型之中。以往,这条技术通路并未被特定限制,而现在,在“o1”模型推出后,这种训练新模型的模式将可能受到影响。 一位大模型企业高管对数科星球DigitalPlanet这样说:“目前,o1输出接口限制是每周30条(mini为每周50条),这就是对蒸馏的限制。” 在行业内,GPT-4以“教师模型”的存在示人。它的训练数据集包含13万亿个token、1.8万亿的参数量和6个专家模型构成。以它为基准,行业中诞生了诸多“学生模型”,即可利用“蒸馏法”等技术手段训练自身模型。 而如今,如何优化蒸馏过程、提升大语言模型生成能力的技术手段较为风靡,甚至这些技术已成为某些大模型公司的核心技术。 “你知道,为什么这么多大模型公司热衷于'刷榜'?”一位从业者向我们提问。行业内,“刷榜”是基于榜单企业提供的标准化问题,测试各大模型技术能力的手段。 在他看来,在行业未建立更公正、透明的评估机制前,“刷榜”一定程度上提供了大模型的基准测试场景,也是行业里评价模型性能、成本、部署便利性、安全性等评估结果的方
AI力挺!微软后市你怎么看?
AI力挺微软Q3 Azure收入增超30%,但预计Q4增长放缓、AI支出加码。微软盘后先涨超2%后一度跌超4%。
+ 关注
+3