OmniHuman-1

3个月前发布 1 00

OmniHuman-1 是一个端到端的多模态条件人类视频生成框架,能够基于单张人像和运动信号(如音频、视频或其组合)生成人类视频。该技术通过混合训练策略克服了高质量数据稀缺的问题,支持任意宽高比的图像输入,生成逼真的人类视频。它在弱信号输入(尤其是音频)方面表现出色,适用于多种场景,如虚拟主播、视频制作等。

收录时间:
2025-05-30
OmniHuman-1OmniHuman-1

OmniHuman-1 是一个端到端的多模态条件人类视频生成框架,能够基于单张人像和运动信号(如音频、视频或其组合)生成人类视频。该技术通过混合训练策略克服了高质量数据稀缺的问题,支持任意宽高比的图像输入,生成逼真的人类视频。它在弱信号输入(尤其是音频)方面表现出色,适用于多种场景,如虚拟主播、视频制作等。

数据统计

相关导航

Video Prediction Policy

Video Prediction Policy

Video Prediction Policy(VPP)是一种基于视频扩散模型(VDMs)的机器人策略,能够准确预测未来的图像序列,展现出对物理动力学的良好理解。VPP利用VDMs中的视觉表示来反映物理世界的演变,这种表示被称为预测性视觉表示。通过结合多样化的人类或机器人操控数据集,并采用统一的视频生成训练目标,VPP在两个模拟环境和两个真实世界基准测试中均优于现有方法。特别是在Calvin ABC-D基准测试中,相较于先前的最佳技术,VPP实现了28.1%的相对改进,并在复杂的真实世界灵巧手操控任务中提高了28.8%的成功率。
Zight

Zight

Zight AI 是一款专注于视频内容处理的智能工具,通过先进的自然语言处理技术,能够快速为视频生成标题、摘要、字幕和多语言翻译。其主要优点是自动化程度高,能够显著节省用户的时间和精力,同时提高视频内容的可访问性和易用性。Zight AI 适用于多种场景,包括企业培训、客户服务、教育等领域,旨在通过智能化手段提升视频内容的生产力。其价格为付费使用,起价为每用户每月 4 美元,适合需要高效处理视频内容的个人和团队。
On-device Sora

On-device Sora

On-device Sora 是一个开源项目,旨在通过线性比例跳跃(LPL)、时间维度标记合并(TDTM)和动态加载并发推理(CI-DL)等技术,实现在移动设备(如 iPhone 15 Pro)上高效的视频生成。该项目基于 Open-Sora 模型开发,能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景,如短视频创作、广告制作等。项目目前开源,用户可以免费使用。
Apollo-LMMs

Apollo-LMMs

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间,揭示了驱动性能的关键因素,提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency',使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上,大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合,以及一个新型的基准测试ApolloBench,用于高效评估。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...