SoundStorm
SoundStorm是由Google Research开发的一种音频生成技术,它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频,并且可以与文本到语义模型结合,控制说话内容、说话者声音和说话轮次,实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题,提高了音频生成的效率和质量。
musicgen-songstarter-v0.2是一个针对音乐制作人设计的音频生成模型,专门用于生成有用的旋律循环。该模型在Splice样本库中的旋律循环数据集上进行了微调,能够生成立体声音频,音频频率为32kHz。与v0.1版本相比,v0.2版本使用了三倍的独特样本,并且模型大小从中等提升到了大型。