小米自研MiMo-V2-TTS说话合成大模子发布,能说会唱 河南话、粤语等样样粗通

3月19日消息，今日，小米发布Xiaomi MiMo-V2-TTS，这是小米自研语音合成大模型，不仅能说、能演，还会唱。

其基于自研Audio Tokenizer和多码本语音-文本联合建模架构，经过上亿小时语音数据的大规模预训练与多维度强化学习，实现高度可控的多粒度语音风格控制。

该模型支持从整体风格定调到局部情绪表达的精准调节，能在同一句话内完成语气转折和情感递变，真实还原人类说话的自然韵律，在唱歌时，也能准确表达音高和节奏，自然且富有表现力。

为进一步激发模型在大规模预训练中积累的高表现力语音生成潜力，小米还引入了多维度强化学习，兼顾稳定性与表现力。

模型在预训练阶段通过大量文本-语音对齐数据，学习了书面语与口语表达之间的映射关系，能智能识别文本中的各类格式信号如标点符号、语气词、强调标记等，并将其自动转化为恰当、自然的语音表达，全程无需用户额外标注或手动干预。

MiMo-V2-TTS还支持多种方言的自然发音，包括东北话、四川话、河南话、粤语、台湾腔等，可进行角色扮演式的风格化演绎，还能实现高质量的歌声合成。

小米表示，MiMo-V2-TTS是其语音技术路线图上的重要里程碑，但绝非终点。

在小米的规划中：中英文之外更多语种的覆盖；以及与 MiMo-V2-Omni 多模态理解能力的深度融合让 Agent不仅能看懂世界、理解世界，更能以富有表现力的人类声音去讲述这个世界。