VideoTetrisVideoTetris是一个新颖的框架,它实现了文本到视频的生成,特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术,精确地遵循复杂的文本语义,并通过操作和组合去噪网络的空间和时间注意力图来实现。此外,它还引入了一种新的参考帧注意力机制,以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。
AnimateAnyoneAnimateAnyone是一个基于深度学习的视频生成模型,它能够将静态图片或视频转换为动画。该模型由Novita AI非官方实现,灵感来源于MooreThreads/Moore-AnimateAnyone的实现,并在训练过程和数据集上进行了调整。
AnimanicAnimanic是一个教育技术产品,它通过交互式文本到视频的生成,使用户能够以全新的方式学习新概念。该产品利用AI动画引擎,将复杂的概念以美观的方式进行可视化,同时提供讨论功能,允许用户与Animanic导师在视频中进行交流,以解答问题并满足用户的好奇心。目前处于Beta测试阶段,免费提供给用户试用,并积极寻求反馈以优化产品体验。
PABPAB 是一种用于实时视频生成的技术,通过 Pyramid Attention Broadcast 实现视频生成过程的加速,提供了高效的视频生成解决方案。该技术的主要优点包括实时性、高效性和质量保障。PAB 适用于需要实时视频生成能力的应用场景,为视频生成领域带来了重大突破。
Viggle AI VideoViggleAI is a powerful AI-powered animation tool and image-to-video AI generator. It allows you to animate your characters for free and create stunning animations, even without any prior animation experience.
Follow-Your-PoseFollow-Your-Pose是一个文本到视频生成的模型,它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值,解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案,结合预训练的文本到图像模型,实现了姿势可控的视频生成。
Dream Machine API.ioDream Machine API是一个Python脚本,使用Dream Machine API来生成视频,并异步检查视频生成状态,输出最新生成的视频链接。它需要Python 3.7+环境和requests、aiohttp库支持。用户需要登录LumaAI的Dream Machine网站获取access_token以使用该脚本。