phenaki

Phenaki：文本驱动视频生成模型

Phenaki是一款革命性的AI模型，能够根据文本提示生成视频。它不仅支持随时间变化的提示，还能生成长达几分钟的高质量视频，为视频创作提供了全新的可能性。

核心特点：

• 文本到视频生成：通过文本提示生成动态视频，提示可以随时间变化，带来更丰富的表达。
• 长视频支持：能够生成长达几分钟的视频，满足多样化的视频需求。
• 交互式体验：用户可以选择不同的上下文词组合，生成关于宇航员等主题的视频。
• 静态图像转视频：从第一帧图像和文本提示开始，生成完整的视频内容。

主要功能：

• 文本提示序列：通过一系列文本提示生成连贯的视频内容。
• 视频压缩技术：利用因果模型学习视频表示，将视频压缩成小型离散标记，提升处理效率。
• 变长视频处理：采用因果注意力机制，灵活处理不同长度的视频。
• 双向遮蔽变换器：用于从文本生成视频标记，确保视频的连贯性和质量。

使用示例：

• 示例1：生成一个在旧金山海洋中游泳的逼真泰迪熊的视频。
• 示例2：生成一个在海滩上放松的泰迪熊的视频。
• 示例3：生成一个在火星上行走、跳舞、遛狗并观看烟花的宇航员的视频。

总结：

Phenaki模型通过文本提示合成现实感视频，解决了生成视频的计算成本、高质量文本-视频数据量有限以及视频长度可变等挑战。它通过联合训练大量图像-文本对和少量视频-文本示例，实现了超越现有视频数据集的泛化能力。Phenaki是首个研究生成随时间变化提示视频的模型，并且在视频的空间-时间质量和每视频标记数方面超越了文献中使用的每帧基线方法。