Sora这就落伍了？Meta“最强视频模型”不用DiT，用Llama大力出奇迹了_老虎社区_美港股上老虎

Sora这就落伍了？Meta“最强视频模型”不用DiT，用Llama大力出奇迹了

硅星人Pro10-05

在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼，Meta毫不客气发了它的视频模型“Movie Gen”，并直接用一个完整的评测体系宣告自己打败了Sora们。而且更狠的是，Meta还“杀人诛心”，虽然这模型目前和Sora一样还没对外开放，但它把新模型的95页技术报告（没有开源，但包含很多细节）公开，并且告诉大家：这模型...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

暂无评论

热议股票

7x24

全部

关于我们·老虎社区守则·老虎社区账号管理规范·老虎社区服务协议·老虎社区隐私政策

公司名称：北京至简风宜信息技术有限公司

违法和不良信息投诉：010-5681-3562（工作时间9:30-18:30）

邮箱：service@laohu8.com

营业执照：91110105MA01A4U55R

ICP备：京ICP备18016422号

网安备：京公网安备11010502036490

关注我们

{"i18n":{"language":"zh_CN"},"data":{"share":"https://www.laohu8.com/m/news/1190502381?lang=zh_CN&edition=full","thumbnail":"https://static.tigerbbs.com/c6d0df826bfabac1af5600578c7a604b","is_english":false,"pubTime":"2024-10-05 10:30","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"1190502381","market":"us","top_or_hot":-1,"title":"Sora这就落伍了？Meta“最强视频模型”不用DiT，用Llama大力出奇迹了","media":"硅星人Pro","content":"<div>\n<p>在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼，Meta毫不客气发了它的视频模型“Movie Gen”，并直接用一个完整的评测体系宣告自己打败了Sora们。而且更狠的是，Meta还“杀人诛心”，虽然这模型目前和Sora一样还没对外开放，但它把新模型的95页技术报告（没有开源，但包含很多细节）公开，并且告诉大家：这模型...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/Ho_sQOIldLqwKuWPNYxlMQ\">网页链接</a>\n\n</div>\n","source":"lsy1694483538611","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>Sora这就落伍了？Meta“最强视频模型”不用DiT，用Llama大力出奇迹了</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nSora这就落伍了？Meta“最强视频模型”不用DiT，用Llama大力出奇迹了\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-10-05 10:30 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s/Ho_sQOIldLqwKuWPNYxlMQ><strong>硅星人Pro</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼，Meta毫不客气发了它的视频模型“Movie Gen”，并直接用一个完整的评测体系宣告自己打败了Sora们。而且更狠的是，Meta还“杀人诛心”，虽然这模型目前和Sora一样还没对外开放，但它把新模型的95页技术报告（没有开源，但包含很多细节）公开，并且告诉大家：这模型...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/Ho_sQOIldLqwKuWPNYxlMQ\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"META","symbol_name":"Meta Platforms, Inc.","start_time":0,"source_url":"https://mp.weixin.qq.com/s/Ho_sQOIldLqwKuWPNYxlMQ","article_id":"1190502381","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/c6d0df826bfabac1af5600578c7a604b"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=1190502381","pubTimestamp":1728095419,"columns":[],"sourceInfo":{"source_id":"lsy1694483538611","name":"硅星人Pro"},"weMediaInfo":null,"summary":"在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼，Meta毫不客气发了它的视频模型“Movie Gen”，并直接用一个完整的评测体系宣告自己打败了Sora们。这些音频最长可达 45 秒，而且Meta还表示，它们的音频模型可以生成任意长度视频的连贯音频。不用DiT了，用Llama大力出奇迹！训练任务由 Meta 的全球规模训练调度器Mast进行调度。简单说，Movie Gen用Llama大力出奇迹打败了Sora路线。显然这对Meta的开源战略也很重要。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"META":"Meta Platforms, Inc."},"translate_title":"Sora is out of date now? Meta's \"strongest video model\" does not need DiT, but uses Llama to work miracles","themeId":"","isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/6771c44984242e819a105c1b7db04e96","symbols_score_info":{"META":1.1},"content_text":"在OpenAI Sora的主要技术负责人跑去Google、多个报道指出OpenAI Sora在内部因质量问题而导致难产的节骨眼，Meta毫不客气发了它的视频模型“Movie Gen”，并直接用一个完整的评测体系宣告自己打败了Sora们。而且更狠的是，Meta还“杀人诛心”，虽然这模型目前和Sora一样还没对外开放，但它把新模型的95页技术报告（没有开源，但包含很多细节）公开，并且告诉大家：这模型不仅效果上打败了Sora，而且用了新的技术路线——也就是证明了Sora的技术路线在今天也不再是最先进的了。各位文生视频玩家们，别“抄”Sora了。“媒体基座模型”准确说，Meta发布的是一系列模型，一个为了实现“AI生成媒体内容”而创建的一个组合。这也是这个技术论文的标题的意思：Movie Gen: A Cast of Media Foundation Models这个组合包括：最大的基础文生视频生成模型 Movie Gen Video ， 300 亿参数。最大的基础视频生成音频模型 Movie Gen Audio ，130 亿参数。进一步对 Movie Gen Video 模型进行后训练获得的 Personalized Movie Gen Video，用来根据个人的面部生成个性化视频。以及一种新的后训练过程，能够生成 Movie Gen Edit，用于精确编辑视频。这些模型结合起来，可以用于创建最高 16 秒的逼真个性化高清视频（16 FPS）和 48kHz 的音频，并具备编辑真实或生成视频的能力。在用户侧，能体验到的功能包括：视频生成： 用户用一段文本提示能生成高清视频（1080p），最长可达 16 秒，帧率 高达16fps。对主体-客体关系，物流规律捕捉和摄像机的各种拍摄运动等也都完成的很好。个性化视频生成： 用户可以上传自己的图像，结合文本提示，可以让自己出现在个性化的生成视频里。精准视频编辑： 这是Meta重点强调的功能，除了可以对背景和风格做整体的修改，Movie Gen也提供了通过文本指令来添加、移除或替换元素的局部编辑功能。缺乏对视频的精确编辑能力，在目前视频生成产品中算是一大痛点。音频生成： Movie Gen 不仅可以根据视频内容和文本指令生成高质量的各类音效和音乐，而且还可以做到与视频内容更高度的匹配与同步。这些音频最长可达 45 秒，而且Meta还表示，它们的音频模型可以生成任意长度视频的连贯音频。不用DiT了，用Llama大力出奇迹！这其中，最重要的显然是文生视频部分。根据论文介绍，Movie Gen Video是一个拥有300亿参数的基础模型，用于联合文本生成图像和视频，可以生成符合文本提示的高质量高清（HD）视频，时长最长可达16秒。该模型能够自然地生成多种纵横比、分辨率和时长的高质量图像和视频。模型通过联合预训练，处理约1亿个视频和约10亿张图像，通过“观看”视频来学习视觉世界。这只是最基础的介绍，而最最重要的信息就是，它不再是一个DiT架构的模型，也就是和现在几乎所有最知名的文生视频模型架构都不一样。用Meta视频生成团队的研究科学家Andrew Brown的话说，在这个项目里最大的发现就是：数据，算力和模型参数非常重要。然后把这个搭配上Flow Matching，就可以用一个最简单最流行的架构——也就是Meta自己的Llama，实现最强的视频模型。这明显是冲着Sora诞生后，已经成为所有文生视频创业公司和大厂项目主流的DiT路线去的。今天视频生成的技术路线里，扩散模型是背后最主流的思想。简单说，它通过逐步将噪声还原为图像或视频，生成过程是一个去噪的过程。具体地，扩散模型的生成过程通常是从随机噪声开始，逐步反向推导出与输入文本描述相对应的清晰视频帧。而DiT是把Transformer的能力引入到这个思想里，来更好完成模型对全局上下文信息的捕捉能力，本质上还是扩散的思路。但Flow Matching则不再从这个扩散过程入手做训练，而是更“暴力”，直接寻找更抽象的“近路”，而不是一步步寻找找路过程里的脚印：Flow Matching基于轨迹学习，它直接在潜在空间（latent space）中学习从输入噪声到目标视频序列的映射轨迹。它通过优化一个连续的ODE（常微分方程）系统，找到从初始随机分布到目标分布的最佳“路径”。而Meta这次把Flow Matching直接加到Llama架构上，第一次彻底不用扩散的思路来做生成并打败了DiT路线的一众代表模型。要实现这个效果，自然是离不开“大力出奇迹”的配套方法。根据Meta的论文，他们使用了多达 6144 个 H100 GPU 训练了媒体生成模型，每个 GPU 的运行功率为 700W TDP，配备 80GB HBM3，采用 Meta 的 Grand Teton AI 服务器平台Baumgartner 和 Bowman，2022。在一台服务器内，有八个 GPU 通过 NVSwitch 进行均匀连接。服务器之间的 GPU 则通过 400Gbps RoCE RDMA 网卡相互连接。训练任务由 Meta 的全球规模训练调度器Mast进行调度。扎克伯格囤的那些卡用在了哪里，用在了这。除此之外，在这个详尽的论文里，Meta还介绍了在模型各个环节里的多个创新技巧。比如时空自动编码器（Temporal Autoencoder, TAE），通过它将视频和图像编码到压缩的时空潜在空间中，大幅减少生成视频时的计算量。这些技术让Meta可以“用一个更通用的架构来处理媒体生成任务”，它把图像和视频生成统一了起来。简单说，Movie Gen用Llama大力出奇迹打败了Sora路线。在Meta的各路人马对此次模型的宣传里，其实有一个很明显的意图：在证明了Sora路线不是最优路线后，它希望更多的开发者来基于Llama做文生视频的模型开发和研究。显然这对Meta的开源战略也很重要。而另一个有意思的地方是，Meta这次的“模型家族”，其实不只是追求榜单和评测上的表现，它已经呈现出明显的实际应用导向，这让它本身看起来可能不会走开源路线，它的目标是用在Meta自己的社交媒体，乃至Orion为代表的下一代的计算平台生态里。在Meta的官方博客里这样写道：想象一下，您可以用文字提示来制作并编辑一个“日常生活”的动画视频分享到Reels，或者为朋友定制一个个性化的生日动画祝福，并通过WhatsApp发送给他们。随着创造力和自我表达的主导，可能性将是无限的。","kind":"news","is_publish_news":true,"is_publish_highlight":true,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"1","news_tag":"productRelease","news_rank":0,"symbols":[],"gpt_button":0},"commentList":[],"hasMoreComments":false,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false}}