港大与Adobe联手推出PixelFlow图像生成模型
时间:2025-05-03 17:45:41 135浏览 收藏
PixelFlow 是香港大学与Adobe联合推出的图像生成模型,支持在像素空间中直接生成高质量图像。该模型采用高效的级联流建模,从低分辨率逐步提升到高分辨率,显著降低计算成本。在256×256 ImageNet 类别条件图像生成任务中,PixelFlow 的FID 分数达到1.98,展示出卓越的图像质量和语义控制能力。此外,PixelFlow 在文本到图像生成任务中表现出色,能够生成与文本描述高度一致的高质量图像。其端到端可训练性和多尺度生成策略为视觉生成模型的研究提供了新的方向。
PixelFlow是什么
PixelFlow 是香港大学和Adobe联合推出的图像生成模型,支持直接在像素空间中生成图像。PixelFlow基于高效的级联流建模,从低分辨率逐步提升到高分辨率,降低计算成本。PixelFlow 在 256×256 ImageNet 类别条件图像生成任务中达到 1.98 的 FID 分数,展现出色的图像质量和语义控制能力。PixelFlow在文本到图像生成任务中也表现出色,支持生成高质量且与文本描述高度一致的图像。PixelFlow 的端到端可训练性和高效的多尺度生成策略为下一代视觉生成模型提供新的研究方向。

PixelFlow的主要功能
- 高质量图像生成:支持生成高分辨率、高质量的图像。
- 类别条件图像生成:根据给定的类别标签生成相应的图像。
- 文本到图像生成:根据文本描述生成与之匹配的图像,支持复杂的语义理解和视觉表现。
PixelFlow的技术原理
- 流匹配:流匹配是生成模型技术,基于一系列线性路径将先验分布(如标准正态分布)的样本逐步转换为目标数据分布的样本。训练时,基于线性插值构造训练样本,训练模型预测从中间样本到真实数据样本的转换速度。
- 多尺度生成:基于多阶段去噪过程逐步增加图像分辨率。每个阶段从较低分辨率的噪声图像开始,逐步去噪提升分辨率,直到达到目标分辨率。逐步提升分辨率的方法避免在全分辨率下进行所有去噪步骤,显著降低计算成本。
- Transformer 架构:
- Patchify:将输入图像的空间表示转换为 1D 序列的标记。
- RoPE(Rotary Position Embedding):用 RoPE 替换原始的正弦余弦位置编码,更好地处理不同图像分辨率。
- 分辨率嵌入:引入额外的分辨率嵌入区分不同分辨率。
- 文本到图像生成:在每个 Transformer 块中引入交叉注意力层,将视觉特征与文本输入对齐。
- 端到端训练:基于统一的参数集直接在像素空间中进行训练,无需预训练的 VAE 或其他辅助网络。训练时,模型从所有分辨率阶段均匀采样训练样本,用序列打包技术进行联合训练,提高训练效率和模型的可扩展性。
- 高效的推理策略:在推理时,PixelFlow 从最低分辨率的高斯噪声开始,逐步去噪和提升分辨率,直到达到目标分辨率。支持多种 ODE 求解器(如 Euler 和 Dopri5),根据需要选择不同的求解器平衡速度和生成质量。
PixelFlow的项目地址
- GitHub仓库:http://github.com/ShoufaChen/PixelFlow
- arXiv技术论文:http://arxiv.org/pdf/2504.07963
- 在线体验Demo:http://huggingface.co/spaces/ShoufaChen/PixelFlow
PixelFlow的应用场景
- 艺术与设计:生成创意绘画、平面设计元素和虚拟角色。
- 内容创作:辅助视频制作、游戏开发和社交媒体内容创作。
- 教育与研究:作为教学工具,帮助理解复杂概念,辅助科研可视化。
- 商业与营销:生成产品设计原型、广告图像和品牌推广内容。
- 娱乐与互动:用在互动故事、VR/AR内容生成和个人化图像定制。
以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持golang学习网!更多关于科技周边的相关知识,也可关注golang学习网公众号。
相关阅读
更多>
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
最新阅读
更多>
-
361 收藏
-
272 收藏
-
248 收藏
-
335 收藏
-
480 收藏
-
406 收藏
-
454 收藏
-
284 收藏
-
226 收藏
-
447 收藏
-
301 收藏
-
243 收藏
课程推荐
更多>
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习