“只需”10万美元,训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了:它叫JetMoE,来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。△贾扬清转发要知道,后者可是数十亿美元级别的投入成本。JetMoE发布即完全开源,且学术界友好:仅使用公开数据集和开源代码,用消费级GPU就能进行微调。不得说,大模型的打造成本,真的比人们想的要便宜更多了。Ps. ...
网页链接“只需”10万美元,训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了:它叫JetMoE,来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。△贾扬清转发要知道,后者可是数十亿美元级别的投入成本。JetMoE发布即完全开源,且学术界友好:仅使用公开数据集和开源代码,用消费级GPU就能进行微调。不得说,大模型的打造成本,真的比人们想的要便宜更多了。Ps. ...
网页链接
精彩评论