TC-BenchTC-Bench是一个专门用于评估视频生成模型的时间组合性的工具。它通过精心设计的文本提示、相应的真实视频以及强大的评估指标来衡量视频生成模型在不同时间点上新概念的出现及其关系转换的能力。TC-Bench不仅适用于文本条件模型,也适用于图像条件模型,能够进行生成性帧插值。该工具的开发旨在推动视频生成技术的发展,提高生成视频的质量和一致性。
Open-Sora Plan v1.2Open-Sora Plan v1.2是一个开源的视频生成模型,专注于文本到视频的转换任务。它采用3D全注意力架构,优化了视频的视觉表示,并提高了推理效率。该模型在视频生成领域具有创新性,能够更好地捕捉联合空间-时间特征,为视频内容的自动生成提供了新的技术路径。
通义视频通义视频是阿里云旗下通义万相平台推出的AI视频生成工具,于2024年9月19日的云栖大会上正式发布。通义AI生视频支持“文生视频”和“图生视频”两种创作模式,用户可以通过输入文本或图片上传,快速生成高质量的影视级视频内容。通义视频依托阿里自研的AI视频生成大模型,具备强大的风格泛化和动态生成能力,擅长概念理解与组合生成,可以根据用户需求生成不同风格的视频画面。通义万相AI视频还特别注重中式元素的表现,在制作中国风视频时表现出色。
WorldDreamerWorldDreamer是一个创新的视频生成模型,它通过预测遮蔽的视觉令牌来理解并模拟世界动态。它在图像到视频合成、文本到视频生成、视频修复、视频风格化以及动作到视频生成等多个方面表现出色。该模型借鉴了大型语言模型的成功经验,将世界建模视为一个无监督的视觉序列建模挑战,通过将视觉输入映射到离散的令牌并预测被遮蔽的令牌来实现。