香港科技大学的研究人员发布论文介绍了一个名为ChatMusician的新型大语言模型（LLM），它不仅能够处理文本生成任务，还能够理解和生成音乐。ChatMusician通过持续预训练和微调LLaMA2模型，使其能够处理与文本兼容的音乐表示——ABC记谱法，将音乐视为一种语言。这个模型能够在不依赖外部多模态神经结构或标记器的情况下，仅使用文本标记器理解和生成音乐。
项目主页：https://shanghaicannon.github.io/ChatMusician/
论文：https://arxiv.org/abs/2402.16153
主要功能： ChatMusician能够执行多种与音乐相关的任务，包括：
- 根据文本、和弦、旋律、动机、音乐形式等条件创作结构完整、全长的音乐作品。
- 在零样本设置下，在精心策划的大学级音乐理解基准MusicTheoryBench上，超越LLaMA2和GPT-3.5。
- 生成符合音乐理论的乐谱，并且能够回答关于音乐理论的高级问题。
主要特点：
- 音乐与语言的融合： ChatMusician将音乐理解与生成任务统一起来，同时保持或可能增强其基础的通用能力。
- 音乐理解能力： 在MusicTheoryBench基准测试中，ChatMusician在音乐知识和音乐推理方面的表现显著优于GPT-4和LLaMA2。
- 音乐生成能力： ChatMusician能够生成具有重复和结构的音乐，这在音乐创作中是非常重要的。
工作原理： ChatMusician通过以下步骤工作：
- 预训练： 使用大量文本数据对模型进行预训练，使其学会理解和生成文本。
- 微调： 在预训练的基础上，使用音乐理论问答对、音乐知识摘要和音乐摘要数据对模型进行微调，使其学会理解和生成音乐。
- 音乐表示： 使用ABC记谱法，这是一种文本格式的音乐表示方法，它能够高效地编码音乐结构和重复。
具体应用场景：
- 音乐创作： 艺术家和作曲家可以使用ChatMusician来创作新的音乐作品，或者为现有的音乐提供变体。
- 音乐教育： 在音乐理论教学中，ChatMusician可以作为一个辅助工具，帮助学生理解和分析音乐结构。
- 音乐分析： 音乐学者和研究人员可以使用ChatMusician来分析音乐作品，探索音乐的深层结构和理论。
简而言之，ChatMusician就像一个多才多艺的音乐家，它不仅能够理解和创作音乐，还能够与人类进行音乐理论方面的对话。这为音乐和人工智能的融合开辟了新的可能性。
0条评论