歌歌AI发布十亿级华语音乐大模型,从零预训练并接入字节系平台
杭州音律闪动人工智能科技有限公司于近日发布歌歌AI音乐大模型,这是一款从零开始完整预训练的十亿级参数端到端音乐生成模型,专为华语音乐设计,旨在解决通用AI音乐模型在中文咬字、情绪表达和曲风适配上的短板。模型采用双流独立生成架构(人声与伴奏分路生成并通过跨流注意力对齐)、音素-时间帧软对齐先验机制(提升咬字清晰度)以及分层多维条件控制体系(AdaLN-Zero实现情绪稳定),支持单张H系GPU约10秒生成一首3分钟立体声歌曲,实时率约0.05。
技术架构与本土化设计
歌歌AI音乐大模型的核心技术路线包括:
- 双流独立生成架构:人声与伴奏各走独立生成通路,通过跨流注意力机制实现节奏与和声的实时对齐,避免传统“事后叠层”带来的脱节感。
- 音素-时间帧软对齐先验机制:将中文字符的发音时序信息作为注意力偏置注入生成过程,从根源上解决音节错位和字音含混问题。
- 分层多维条件控制体系:情绪、曲风、调性等全局风格通过AdaLN-Zero调制每层生成行为,不同条件维度拥有独立引导强度控制,创作者可分别调节歌词贴合度与旋律自由度。
- 三阶段全链路华语训练:第一阶段训练音频压缩与重建的VAE;第二阶段以授权华语曲库为基础预训练十亿级扩散主干;第三阶段通过音乐领域DPO对齐华语听众审美偏好。
效率与商业化路径
模型采用非自回归并行生成架构,整首歌的潜在表示并行去噪,单张H系GPU约10秒完成3分钟歌曲生成,实时率约0.05。配合流匹配少步采样、模型量化加速等优化,推理成本极低,支持分块续写功能。
商业化方面,歌歌AI与字节跳动签署非独家音乐版权分成协议,生成的原创歌曲、录音制品、MV可全量合规上架抖音、剪映、汽水音乐、西瓜视频、今日头条等字节系平台。抖音和剪映创作者可免费选用版权音乐,汽水音乐等平台的会员付费、广告分成等收益按合同结算,后续新生成的非独家版权曲目自动纳入授权曲库。
民乐AI模型与数据护城河
歌歌AI同步启动中国民乐专属AI模型研发项目,计划分三步推进:建立传统乐器与地方戏曲唱腔的专属声音库;基于现有架构微调民乐生成链路;上线独立民乐创作专区。团队已启动全国多地线下采风,实录原生乐器音源、民间小调与地方戏曲唱腔,完成版权归档后作为独家训练数据。该项目现阶段无明确商业回报时间表,但旨在构建数据护城河。
行业背景与竞争格局
据IFPI《2026全球音乐报告》,2025年全球录制音乐收入达317亿美元,中国首次跻身全球第四大音乐市场。流媒体平台Deezer数据显示,2026年4月每日新增AI歌曲近7.5万首,占当日新增上传的44%,但实际播放占比仅1%-3%,反映AI音乐产能过剩但用户接受度有限。海外模型如Suno(估值54亿美元)在通用能力上领先,但中文咬字和情绪表达存在结构性短板。国内玩家中,字节、腾讯、网易等大厂将AI音乐作为生态补充,昆仑万维旗下Mureka年化流水约1200万美元并实现毛利转正。歌歌AI选择以本土化深度为差异化切口,从零自研模型并打通版权分发闭环。
相关资讯
7月8日 · 综合整理
7月9日 · 综合整理
5月25日 · Suno Blog
6月17日 · 综合整理
6月15日 · 综合整理
12月11日 · Google DeepMind