SoundStorm

SoundStorm

SoundStorm是由Google Research开发的一种音频生成技术,它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频,并且可以与文本到语义模型结合,控制说话内容、说话者声音和说话轮次,实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题,提高了音频生成的效率和质量。
090
YuE-s1-7B-anneal-en-cot

YuE-s1-7B-anneal-en-cot

YuE是一个开创性的开源基础模型系列,专为音乐生成设计,能够将歌词转化为完整的歌曲。它能够生成包含吸引人的主唱和配套伴奏的完整歌曲,支持多种音乐风格。该模型基于深度学习技术,具有强大的生成能力和灵活性,能够为音乐创作者提供强大的工具支持。其开源特性也使得研究人员和开发者可以在此基础上进行进一步的研究和开发。
090
JASCO

JASCO

JASCO是一个结合了符号和基于音频的条件的文本到音乐生成模型,它能够根据全局文本描述和细粒度的局部控制生成高质量的音乐样本。JASCO基于流匹配建模范式和一种新颖的条件方法,允许音乐生成同时受到局部(例如和弦)和全局(文本描述)的控制。通过信息瓶颈层和时间模糊来提取与特定控制相关的信息,允许在同一个文本到音乐模型中结合符号和基于音频的条件。
080
MelodyFlow

MelodyFlow

MelodyFlow是一个基于文本控制的高保真音乐生成和编辑模型,它使用连续潜在表示序列,避免了离散表示的信息丢失问题。该模型基于扩散变换器架构,经过流匹配目标训练,能够生成和编辑多样化的高质量立体声样本,且具有文本描述的简单性。MelodyFlow还探索了一种新的正则化潜在反转方法,用于零样本测试时的文本引导编辑,并展示了其在多种音乐编辑提示中的优越性能。该模型在客观和主观指标上进行了评估,证明了其在标准文本到音乐基准测试中的质量与效率上与评估基线相当,并且在音乐编辑方面超越了以往的最先进技术。
050