琴乐大模型

琴乐大模型是由腾讯AI Lab与腾讯TME天琴实验室共同研发的人工智能音乐创作大模型。它可以通过输入中英文关键词、描述性语句或音频，能够直接生成立体声音频或多轨乐谱。具体来说，琴乐大模型可以根据文本提示生成44.1kHz的立体声音频（wav）或多轨乐谱（MIDI），包括旋律轨、和弦轨、伴奏轨和打击乐轨等。它还支持对生成的乐谱进行自动编辑，如续写、重新生成指定轨、修改乐器类型等。

琴乐大模型的主要功能特点

1. 音乐生成：通过输入中英文关键词、描述性语句或音频，琴乐大模型可以直接生成44.1kHz的立体声音频（wav）或多轨乐谱（MIDI），包括旋律轨、和弦轨、伴奏轨和打击乐轨。
2. 自动编辑：支持对生成的乐谱进行自动编辑，如续写、重新生成指定轨、重新生成指定小节、修改乐器类型和节奏等。
3. 高质量输出：在大规模双盲听测中，琴乐大模型在多维度主观评分上超越了业内其他音乐生成模型。
4. 多模态支持：模型包含多个模块，包括音频文本对齐模型、乐谱/音频表征提取模型、大语言模型、立体声生成模型和声码器等，能够实现高效、准确的音乐生成。
5. 未来扩展：研究团队计划在模型中加入人声、歌词等要素的生成能力，以更好地服务音乐创作需求。

这个模型的应用非常广泛，可以帮助音乐人更高效地创作音乐，也可以为普通用户提供生成音乐的能力。目前，相关技术已经上线腾讯音乐启明星平台，供音乐创作者使用。

腾讯音乐天琴实验室面向QQ音乐、全民k歌、腾讯音乐人、酷我、酷狗等产品的多媒体与AI应用型技术研究与落地。负责的明星项目包括QQ音乐上的听歌识曲、哼唱识别、翻唱识别、歌词时间戳、臻品音质、DMEE、mv视频剪辑、字幕识别、明星识别；全民K歌上的唱歌评分、智能修音、智能音效、歌声合成；懒人畅听上的AI朗读、AI文稿；直播互动上的智能品鉴、高光识别、端云一体视频质量提升。同时还在探索元宇宙中的虚拟人技术，以虚拟形象、虚拟舞蹈、歌唱表情生成、音乐灯光秀等为核心的小天小琴兄妹虚拟人即将面世，敬请期待。