ACE-Step 1.5 – ACE Studio联合StepFun开源的音乐生成模型

ACE-Step 1.5的主要功能

• 音乐生成：支持从文本提示生成完整歌曲，涵盖50多种语言的歌词演唱，可灵活扩展从10秒短循环到10分钟长篇作品的任意时长音乐。
• 编辑功能：提供音频重绘、翻唱生成、人声转伴奏、音轨分离、层叠编曲和续写补全六大编辑能力，实现对现有音频的精细化操控和再创作。
• 风格控制：能精确解析、执行包含专业音乐术语的复杂提示词，实现零样本音色克隆和严格的风格 adherence。
• 个性化：用户仅需提供少量参考歌曲即可通过LoRA轻量微调，快速训练出捕捉个人独特风格的定制化模型。
• 效率特性：模型可在低于4GB显存的消费级GPU上本地运行，实现亚秒级高速生成，支持批量并行采样探索多样化的创作候选。

ACE-Step 1.5的技术原理

• 混合推理-扩散架构：ACE-Step 1.5采用双组件协作架构，将音乐生成解耦为规划与渲染两个阶段。语言模型（基于Qwen3-0.6B）作为”作曲家智能体”，通过思维链推理将用户提示转化为包含BPM、调性、时长、歌词和声学描述的YAML格式蓝图；Diffusion Transformer（约20亿参数）作为声学渲染器，接收标准化条件、专注生成高保真音频。这种分工使DiT摆脱语义理解负担，LM的多任务训练则确保跨50多种语言的稳健对齐。
• 高效推理优化：为实现消费级硬件实时生成，团队推出了对抗动态偏移蒸馏技术。用Decoupled DMD2为基础，引入GAN目标和隐空间判别器，通过从{1,2,3}中随机采样偏移参数，使模型接触多样化去噪状态，避免固定步长导致的过拟合。该方案将推理步数从50步压缩至4-8步，在A100上生成240秒音轨仅需约1秒，实现200倍加速，且对抗反馈帮助student模型超越teacher的音质表现。
• 内在强化学习对齐：系统建立统一的内在强化学习框架以避免外部偏见。对于DiT，提出注意力对齐分数（AAS）作为内在奖励，通过动态时间规整衡量歌词token覆盖率、注意力单调性和路径置信度，优化后歌词-音频同步与人类判断相关性超过95%。对于LM，采用GRPO算法，用点互信息构建奖励模型，将LM视为”作曲家”和”听众”的双重角色，PMI惩罚通用描述、奖励特异性标注，最终奖励按风格氛围50%、歌词内容30%、元数据约束20%动态加权。
• 统一掩码生成框架：通过有限标量量化（FSQ）将连续音频隐变量离散化为5Hz代码本表示，构建灵活的掩码生成范式。操纵源隐变量和掩码配置，单一模型可支持六种模态：文本到音乐、翻唱、重绘、音轨提取、层叠和补全。FSQ通过注意力池化将25Hz隐空间压缩为结构化源隐变量，与噪声目标、掩码拼接后经patchify层处理，统一表征简化了多任务训练，通过量化隐变量确保旋律和节奏元素在转换过程中的高保真保持。

ACE-Step 1.5的项目地址

• 项目官网：https://ace-step.github.io/ace-step-v1.5.github.io/
• GitHub仓库：https://github.com/ace-step/ACE-Step-1.5
• arXiv技术论文：https://arxiv.org/pdf/2602.00744
• 在线体验Demo：https://huggingface.co/spaces/ACE-Step/Ace-Step-v1.5

ACE-Step 1.5的应用场景

• 音乐创作与制作：音乐人和制作人可将ACE-Step 1.5作为灵感生成工具，快速将文本描述转化为完整歌曲草稿，突破创作瓶颈。
• 个性化内容创作：内容创作者可通过LoRA微调训练个人风格模型，为视频、播客、游戏等项目批量生成定制化背景音乐，保持跨作品的音色一致性。
• 多语言音乐生产：模型支持50多种语言的精准歌词生成和演唱，适用全球化音乐发行、跨文化合作项目，以及小语种音乐市场的内容生产。
• 教育与学习：音乐学习者可通过输入专业术语（如特定调式、和弦进行）观察模型生成结果，直观理解音乐理论概念。