Meta开源AI音频和音乐生成模型
Meta今日发布一套AI音频生成工具AudioCraft,并开源所有AudioCraft模型权重和代码。
AudioCraft包括三个模型:MusicGen、AudioGen和EnCodec。MusicGen接受了Meta拥有的和特别授权的音乐的训练,从基于文本的用户输入中生成音乐。
AudioGen接受了公共音效的训练,从基于文本的用户输入中生成音频。EnCodec解码器的改进版本允许用更少的工件生成更高质量的音乐;其预训练的AudioGen模型可产生环境声音和音效,比如狗叫声、汽车喇叭声或木地板上的脚步声。
