首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语

华尔街见闻02-26

最近爆火的AI初创公司Groq,推出了比目前常见GPU推理系统快4倍,成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示,让大部分习惯了其他LLM“娓娓道来”的用户直呼,简直是魔法! Groq在处理单个数据序列方面展现出了惊人的性能优势,这可能使得“思维链”等技术在现实世界中变得更加实用。 虽然Groq有如此之多的好处,但评估某款硬件是否真的...

网页链接
免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法