Video Depth AnythingVideo Depth Anything 是一个基于深度学习的视频深度估计模型,能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发,具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发,旨在解决长视频深度估计中的挑战,如时间一致性问题和复杂场景的适应性问题。目前,该模型的代码和演示已公开,供研究人员和开发者使用。
Video Prediction PolicyVideo Prediction Policy(VPP)是一种基于视频扩散模型(VDMs)的机器人策略,能够准确预测未来的图像序列,展现出对物理动力学的良好理解。VPP利用VDMs中的视觉表示来反映物理世界的演变,这种表示被称为预测性视觉表示。通过结合多样化的人类或机器人操控数据集,并采用统一的视频生成训练目标,VPP在两个模拟环境和两个真实世界基准测试中均优于现有方法。特别是在Calvin ABC-D基准测试中,相较于先前的最佳技术,VPP实现了28.1%的相对改进,并在复杂的真实世界灵巧手操控任务中提高了28.8%的成功率。
CameraBenchCameraBench 是一个用于分析视频中相机运动的模型,旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较,该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源,适合研究人员和开发者使用,且后续将推出更多改进版本。
TransPixar.proTransPixar 是一款基于先进人工智能技术的透明视频生成工具。它采用创新的 DiT 架构,能够将文本描述快速转化为高质量的透明视频,实现 RGB 和 Alpha 通道的完美对齐。该技术对于创意制作领域具有重要意义,能够极大提升创作效率,降低制作成本,为视觉特效、动画制作等行业带来全新的解决方案。目前,该产品主要面向创意专业人士,提供高效、专业的透明视频生成服务,具体价格未明确提及,但从其定位来看,可能属于付费范畴。
Apollo-LMMsApollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间,揭示了驱动性能的关键因素,提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency',使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上,大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合,以及一个新型的基准测试ApolloBench,用于高效评估。
Veo 5 AIVeo 5 AI视频生成器是一款基于Veo 5技术的下一代AI视频生成器,能够快速创建出令人惊叹的超逼真视频。它采用最新的Veo 5 A模型,实现智能场景理解、自然运动合成和上下文感知渲染,带来前所未有的超逼真和创造力。
FastHunyuanFastHunyuan是由Hao AI Lab开发的加速版HunyuanVideo模型,能够在6次扩散步骤中生成高质量视频,相比原始HunyuanVideo模型的50步扩散,速度提升约8倍。该模型在MixKit数据集上进行一致性蒸馏训练,具有高效率和高质量的特点,适用于需要快速生成视频的场景。
On-device SoraOn-device Sora 是一个开源项目,旨在通过线性比例跳跃(LPL)、时间维度标记合并(TDTM)和动态加载并发推理(CI-DL)等技术,实现在移动设备(如 iPhone 15 Pro)上高效的视频生成。该项目基于 Open-Sora 模型开发,能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景,如短视频创作、广告制作等。项目目前开源,用户可以免费使用。