最强开源文生图模型一夜易主！SD原班人马打造，要发SOTA视频生成模型

智东西08-02

作者 | 香草编辑 | 李水青最强开源文生图模型一夜易主！智东西8月2日报道，昨日晚间，开源文生图模型霸主Stable Diffusion原班人马，宣布推出全新的图像生成模型FLUX.1。FLUX.1包含专业版、开发者版、快速版三种模型，其中前两款模型击败SD3-Ultra等主流模型，较小规模的FLUX.1[schnell]也超越了Midjourney v6.0、DALL·E 3等更大的模型。▲...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2456446339?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-08-02 10:28","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2456446339","market":"us","top_or_hot":-1,"title":"最强开源文生图模型一夜易主！SD原班人马打造，要发SOTA视频生成模型","media":"智东西","content":"<div>\n<p>作者 | 香草编辑 | 李水青最强开源文生图模型一夜易主！智东西8月2日报道，昨日晚间，开源文生图模型霸主Stable Diffusion原班人马，宣布推出全新的图像生成模型FLUX.1。FLUX.1包含专业版、开发者版、快速版三种模型，其中前两款模型击败SD3-Ultra等主流模型，较小规模的FLUX.1[schnell]也超越了Midjourney v6.0、DALL·E 3等更大的模型。▲...</p>\n\n<a href=\"https://tech.ifeng.com/c/8biTE5RWvV7\">网页链接</a>\n\n</div>\n","source":"fenghuang_stock","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>最强开源文生图模型一夜易主！SD原班人马打造，要发SOTA视频生成模型</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n最强开源文生图模型一夜易主！SD原班人马打造，要发SOTA视频生成模型\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-08-02 10:28 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8biTE5RWvV7><strong>智东西</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>作者 | 香草编辑 | 李水青最强开源文生图模型一夜易主！智东西8月2日报道，昨日晚间，开源文生图模型霸主Stable Diffusion原班人马，宣布推出全新的图像生成模型FLUX.1。FLUX.1包含专业版、开发者版、快速版三种模型，其中前两款模型击败SD3-Ultra等主流模型，较小规模的FLUX.1[schnell]也超越了Midjourney v6.0、DALL·E 3等更大的模型。▲...</p>\n\n<a href=\"https://tech.ifeng.com/c/8biTE5RWvV7\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"SD","symbol_name":"SandRidge Energy","start_time":0,"source_url":"https://tech.ifeng.com/c/8biTE5RWvV7","article_id":"2456446339","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2456446339","pubTimestamp":1722565727,"sourceInfo":{"source_id":"fenghuang_stock","name":"凤凰网"},"weMediaInfo":null,"summary":"作者 | 香草编辑 | 李水青最强开源文生图模型一夜易主！智东西8月2日报道，昨日晚间，开源文生图模型霸主Stable Diffusion原班人马，宣布推出全新的图像生成模型FLUX.1。黑森林还预告不久之后将发布SOTA视频模型。文字的生成在图像、视频生成中非常重要，许多模型容易混淆看起来相似的字母。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"SD":"SandRidge Energy","BK4213":"石油与天然气的勘探与生产"},"translate_title":"The strongest open source Vincent graph model changed hands overnight! Created by the original SD crew, SOTA video generation model is to be released","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"SD":1},"content_text":"作者 | 香草编辑 | 李水青最强开源文生图模型一夜易主！智东西8月2日报道，昨日晚间，开源文生图模型霸主Stable Diffusion原班人马，宣布推出全新的图像生成模型FLUX.1。FLUX.1包含专业版、开发者版、快速版三种模型，其中前两款模型击败SD3-Ultra等主流模型，较小规模的FLUX.1[schnell]也超越了Midjourney v6.0、DALL·E 3等更大的模型。▲FLUX.1 ELO分数与主流模型对比FLUX.1在文字生成、复杂指令遵循和人手生成上具备优势。以下是其最强的专业版模型FLUX.1[pro]生成图像示例，可以看到即使是生成大段的文字、多个人物，也没有出现字符、人手等细节上的错误。▲FLUX.1[pro]生成图像示例FLUX.1现已在开源平台Replicate上可用，以下是我用提示词“世界上最小的黑森林蛋糕，手指大小，被黑森林的树木包围”，在三款模型上生成的图像，用时分别为17.5s、12.2s、1.5s。▲三款模型生成对比FLUX.1同时开放了API（应用程序接口），按图像张数定价，三款模型的价格依次为每张图片0.055美元、0.03美元、0.003美元（约合人民币0.4元、0.22元、0.022元）。FLUX.1背后的公司名为Black Forest Labs（黑森林实验室），由Stable Diffusion原班人马、多位Stability AI前研究员成立。与Stability AI类似，黑森林致力于研发优质多模态模型并开源，目前已完成3100万美元（约合人民币2.25亿元）的种子轮融资。黑森林还预告不久之后将发布SOTA（当前技术指标第一）视频模型。从其放出的Demo来看，无论是流畅度、稳定性还是物理模拟都达到第一梯队水平，该公司或许会成为视频生成领域的一匹黑马。▲视频生成模型预告三款模型试用地址：https://replicate.com/black-forest-labs/flux-prohttps://replicate.com/black-forest-labs/flux-devhttps://replicate.com/black-forest-labs/flux-schnell一、擅长生成文字、人手，三种模型规模秒级生成FLUX.1在视觉质量、图像细节和输出多样性等方面性能优越，其具有三大特点：文字生成、复杂构图、人手描绘。文字的生成在图像、视频生成中非常重要，许多模型容易混淆看起来相似的字母。FLUX.1可以处理重复字母的棘手单词，例如生成一个黑森林Flux Schnell蛋糕：▲黑森林Flux Schnell蛋糕在构图方面，FLUX.1擅长按照图像中事物应该位于哪里等复杂指示进行操作。例如，FLUX.1完美地演绎了这段提示词：三个魔法巫师站在一张黄色桌子上，每个巫师都拿着一个标志。左边，一个穿着黑色长袍的巫师拿着一个写着“AI”的标志；中间，一个穿着红色长袍的女巫拿着一个写着“is”的标志；在右边，一个穿着蓝色长袍的巫师拿着一个写着“cool”的标志。▲复杂构图人手一直是多模态生成模型的重灾区。FLUX.1生成的人手图像虽然还不够完美，但实现了很大的进步。▲人手FLUX.1共有专业版、开发者版、快速版三种版本。其中，FLUX.1[pro]是最先进的一个版本，具有顶级的即时跟踪、视觉质量、图像细节和输出多样性，面向专业用户提供定制的企业解决方案。▲FLUX.1[pro]生成图像示例FLUX.1[dev]面向非商业应用，它从FLUX.1[pro]提炼而来，具有相似的质量和能力，同时比相同尺寸的标准模型更高效。▲FLUX.1[dev]生成图像示例FLUX.1[schnell]是三款模型中最快的，专为本地开发和个人使用而定制，并根据Apache 2.0标准许可公开提供。▲FLUX.1[schnell]生成图像示例FLUX.1现已在开源平台Replicate上可用，只需一行代码即可在云端运行，用户也可以下载模型权重并以编程方式运行。FLUX.1的API也同步开放，三款模型的价格依次为每张图片0.055美元、0.03美元、0.003美元（约合人民币0.4元、0.22元、0.022元）。二、击败MJ V6、DALL·E 3，技术报告即将发布性能方面，FLUX.1经过特别微调，在预训练中保留了整个输出多样性，在指令遵守、视觉质量、尺寸/长宽变化等多个方面树立了新标准。其中FLUX.1[pro]和[dev]两款模型，在5项测评标准中都超过了Midjourney v6.0、DALL·E 3和SD3-Ultra等热门模型。FLUX.1[schnell]作为轻量级模型，不仅优于同类竞争对手，还优于Midjourney v6.0、DALL·E 3等强大的非蒸馏模型。▲FLUX.1性能与主流模型对比此外，所有FLUX.1模型均支持0.1和2.0百万像素的多种宽高比和分辨率。▲宽高比/分辨率变化如此强大的性能是怎么做到的？在模型架构上，FLUX.1采用基于多模态和并行扩散Transformer模块的混合架构，并将其扩展到12B参数。团队通过建立流匹配（Flow Matching）来改进最先进的扩散模型，并通过结合旋转位置嵌入（Rotary Position Embedding）和并行注意力层，来提高模型性能和硬件效率。更详细的技术报告将在不久后发布。三、SD原班人马，2.25亿种子轮，要发SOTA视频模型黑森林实验室由Stable Diffusion的创始团队成立，该团队此前的工作还包括高质量图像生成模型VQGAN、视频生成模型Stable Video Diffusion等。Stable Diffusion最初的5位作者中，4位曾加入Stability AI并持续开发SD后续版本的成员，包括Robin Rombach、Andreas Blattmann、Dominik Lorenz以及Patrick Esser，都在黑森林实验室的创始团队中。▲Stable Diffusion作者、黑森林实验室创始团队该团队称，其核心信念是开发广泛可访问的模型，促进研究界和学术界的创新和协作，并提高模型透明度。黑森林实验室宣布已完成3100万美元（约合人民币2.25亿元）的种子轮融资，由知名风投机构a16z（Andreessen Horowitz）领投，VR制造商Oculus的CEO Brendan Iribe、创企孵化器YC的CEO陈嘉兴（Garry Tan）、英伟达研究员Timo Aila等专家及AI公司跟投，还收到了来自General Catalyst等一线基金的后续投资。该团队的顾问委员会，包括在内容创作行业拥有丰富经验的前迪士尼总裁Michael Ovitz，以及神经风格转换的先驱Matthias Bethge教授。刚刚创业的AI大神安德烈·卡帕西（Andrej Karpathy）为黑森林团队送上祝福，并称“开源的FLUX.1图像生成模型看起来非常强大”。▲卡帕西评论创始团队的前领导——Stability AI前CEO埃马德·莫斯塔克（Emad Mostaque）也发来贺电，还说“之前能与他们合作是我的荣幸，我相信他们会继续在生成每一个像素的旅程中突破界限”。▲莫斯塔克评论在下一步的工作上，黑森林预告将发布一款SOTA文生视频模型，“让所有人都能将文本转为视频”。该模型将建立在FLUX.1的基础上，“以高清和前所未有的速度实现精确创作和编辑”。▲视频生成模型预告结语：多模态大模型领域黑马涌现在众多大厂、创企狂卷文生视频之际，文生图领域突然迎来黑马。“横空出世”的FLUX.1的不仅展现出卓越的性能，在文字生成、复杂构图、人手描绘等方面突破难关，还以多样化的版本满足不同用户的需求。黑森林实验室凭借着Stable Diffusion原班人马的强大实力，获得了丰厚的种子轮融资，也吸引了众多行业大咖的关注与支持。其后续将发布的视频模型，又将为文生视频领域注入新的活力。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.29.1","shortVersion":"4.29.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2456446339"}