听见文本的魅力：AI 与未来的语音交互

AI 与未来的语音交互

引言

随着人工智能（AI）技术的迅猛发展，文本转语音（Text-to-Speech, TTS）技术逐渐进入了我们的日常生活中。
已广泛应用于不限于以下示例场景：

• 流式语音实时翻译对话；
• 非流式语音对话机器人一问一答式对话；
• 类似豆包、Kimi等AI工具的智能助手；
• 用户友好的功能引导提示；
• 游戏NPC交互；
• 儿童读物；
• 影视配音；
• 电子书；
• …

什么是文本转语音（TTS）？

文本转语音（TTS）是一种将书面文本转换为语音的技术。用户可以通过输入文本，利用 TTS 系统生成听起来自然流畅的语音。TTS 系统通常由以下几个主要组件组成：

1. 文本分析：解析输入的文本，识别分词、语法、标点和其他语言特征。
2. 语言处理：根据语言特征，将文本转换为音素（phonemes）和音节（syllables）。
3. 语音合成：将音素和音节转换为实际声音，通常采用预录音频或合成方式。

当前 TTS 技术现状

1. 神经网络与深度学习：近年来，随着神经网络和深度学习技术的突破，TTS 的质量得到了显著提升。尤其是 WaveNet、Tacotron 和 FastSpeech 等模型，在合成的自然度和表现力上远超传统 TTS 系统。这些模型能够生成更加流畅、自然的语音，甚至模仿特定说话者的音色。
2. 多语言支持：现代 TTS 系统已支持多种语言，适应全球用户需求。许多大厂商的 TTS 技术能够处理包括中文、英文、西班牙文等多种语言，并且提供不同地区的口音和方言。
3. 个性化语音：个性化语音合成技术的出现，使得用户可以定制语音特征，如音调、语速和情感风格。这种个性化的体验在教育和娱乐等领域尤为重要。

国内海外文本转语音能力调研

三方厂商服务多音色SSML标记语言多情感Emotion语速rate音调pitch音量volumeAPI价格备注出门问问魔音工坊是是是是是是是标准音色：100元/百万字符；精品音色：300元/百万字符支持多情感，国内语音合成效果非常好的一款产品，英文语音效果亦佳阿里云TTS是是是是是是是1.80元/千次部分中文音色支持多情感，英文音色不支持多情感腾讯云语音合成是是否是是是是标准音色：0.2元/万字符； 精品音色：0.3元/万字符英文不支持多情感火山云语音技术是是否是是是是5.5元/千次慵懒女声-Ava、情感女声-Lawrence、亲切女声-Anna支持通用、开心、悲伤、生气、害怕、厌恶、惊讶等情感。男声不支持多情感科大讯飞TTS 是是是是是是否1、会员月/45元，权益-80次/天；2、单次付费120字5元；2150字10元；51100字20元；101300字30元；3011000字45元；10015000字78元；5001~20000字168元；图形化操作不支持API，英文不支持多情感Elevenlabs是否否是否否是$99/500min；$330/2000min/英文场景优先推荐，英文音色效果很好；多情感需要文本中包含情感描述，导致合成语音存在情感描述。对情感类支持灵活性低。Google Cloud是是否是是是是标准语音：$4.00/100万字符Neural2 语音：$16.00/100万字符英文语音效果好，可通过SSML实现语音控制Azure AI是是是是是是是$15.00/100万字符英文场景优先推荐，英文音色效果很好；支持多情感音色AWS Polly是是否是是是是标准语音：$4.00/100 万字符； 神经语音：$16.00/100 万字符多情感，只能通过选择不同的音色，配置不同的语速和语调，来表达积极或失落的情感ArtList是否是是否否否$11.99/月，50,000积分（约1个小时音频）语音效果较好。支持多情感，但情感分类较少。图形化操作不支持APIPlay.ht是否否是否否是$49.00/月，25万字符需要通过声音参数表现力稳定性、声音相似性、情绪强度来调整语音设置；类似elevenlabs，对情感类支持灵活度较低。

文本转语音能力说明

此处以出门问问的序列猴子开放平台音色为例，介绍下音色主要的能力。
首先音色有分类，男声、女声、儿童、青年、中年、老年、中文、英文、韩语、法语这些最基本的大类。

• 音色 每个人的音色都不一样，不同的AI音色也不一样
• 语速 控制指定音色制作语音讲话的快慢
• 音调 控制指定音色制作语音的音调大小
• 音量 控制指定音色制作语音的音量大小

多情感风格

然后重要介绍下音色的多情感风格，训练出一款好的AI音色不局限于一种中性风格。例如出门问问会支持开心、难过、惊喜、生气、呢喃、新闻等各种情感色彩；Azure会支持友好、充满希望、柔和等情感风格；
一个普通的AI模型是没有感情色彩的，通常为中性，通过中性音色制作的语音，听起来有明显的AI感、机械化没有感情色彩。一个支持多情感的音色，是可以处理短文故事文案中各种复杂场景的，且语音合成没有AI感，更接近真实的人声。

此处以Azure AI语音Style为例。
情感风格风格描述friendly表达一种愉快、怡人且温暖的语气。 听起来很真诚且满怀关切。hopeful表达一种温暖且渴望的语气。 听起来像是会有好事发生在说话人身上。whispering表达一种柔和的语气，试图发出安静而柔和的声音。empathetic表达关心和理解。chat表达轻松随意的语气。serious表达严肃和命令的语气。 说话者的声音通常比较僵硬，节奏也不那么轻松。excited表达乐观和充满希望的语气。 似乎发生了一些美好的事情，说话人对此满意。

SSML语音合成标记语言

正常语音合成输入纯文本即可，语音合成引擎内部会使用基于规则或者统计学习模型的方法，去做文本分析，尝试预测合理的注音和韵律等。
使用SSML标签标记文本中的关键文字，可以指定文字的发音、语速、停顿、多音字处理、情感风格等。提到这些功能，大概可以知道SSML标签可以更加细化的控制我们的语音合成效果。实际生产过程中对制作语音要求高的场景，往往建议你通过SSML标签来控制。

示例：

9月10日，庆祝2019年教师节暨全国教育系统先进集体和先进个人表彰大会在京举行。
XXX在XXX亲切会见受表彰代表，向受到表彰的先进集体和先进个人表示热烈祝贺，向全国广大教师和教育工作者致以节日的问候。

文本转语音API调用：

{"signature":"appkey+secret+timestamp的MD5值","timestamp":"1665717322","appkey":"开发者应用appkey","speaker":"cissy_meet","ignore_limit":true,"gen_srt":true,"audio_type":"mp3","text": "9月10日，庆祝2019年教师节暨全国教育系统先进集体和先进个人表彰大会在京举行。
XXX在XXX亲切会见受表彰代表，向受到表彰的先进集体和先进个人表示热烈祝贺，向全国广大教师和教育工作者致以节日的问候。","speed":"1.0"}

SSML标签处理后示例：
此处对"教师节"制定了读音及读第几声。通过break控制停顿500ms。更多能力请参考官方文档语音合成标记语言SSML使用说明

<speakversion="1.0"xml:lang="zh-CN"xmlns="http://www.w3.org/2001/10/synthesis">9月10日，庆祝2019年<wphoneme="jiao4 shi1 jie2">教师节</w>暨全国教育系统先进集体和先进个人表彰大会在京举行。<breaktime="500ms"/>XXX在XXX亲切会见受表彰代表，<breaktime="500ms"/>向受到表彰的先进集体和先进个人表示热烈祝贺，<breaktime="500ms"/>向全国广大<pphoneme="jiao4">教</p>师和教育工作者致以节日的问候。</speak>

文本转语音API调用：

{"signature":"appkey+secret+timestamp的MD5值","timestamp":"1665717322","appkey":"开发者应用appkey","speaker":"cissy_meet","ignore_limit":true,"gen_srt":true,"audio_type":"mp3","text":"<speak version=\"1.0\" xml:lang=\"zh-CN\" xmlns=\"http://www.w3.org/2001/10/synthesis\">9月10日，庆祝2019年<w phoneme=\"jiao4 shi1 jie2\">教师节</w>暨全国教育系统先进集体和先进个人表彰大会在京举行。<break time=\"500ms\" />XXX在XXX亲切会见受表彰代表，<break time=\"500ms\" />向受到表彰的先进集体和先进个人表示热烈祝贺，<break time=\"500ms\" />向全国广大<p phoneme=\"jiao4\">教</p>师和教育工作者致以节日的问候。</speak>","speed":"1.0"}

未来趋势

1. 更自然的语音生成：目前的语音合成很多时候虽然还是被吐槽一听就有AI感，但是已存在部分厂商的音色去AI感了。未来的 TTS 技术将继续朝着更高的自然度和声音表现力发展，甚至可能实现像人声一样真实的交互。
2. 专属AI语音模型训练：目前已经很多厂商在做训练用户专属的AI语音模型，并已经作为功能开放出来，供开发者训练指定音色模型，比如我们投喂姚明的大量的语音资源，可以训练出姚明的音色模型出来。
3. 情感语音合成：随着情感计算技术的发展，TTS 将能够生成不同情感的语音，自动分析前后文，动态的切换感情色彩，提升人机交互的情感表达能力。
4. 跨模态学习：结合图像、视频和文本等多种模态的信息处理，未来的 TTS 系统将能够更好地理解上下文，从而生成更恰当的语音输出。
5. 隐私与安全：随着个人语音数据的增加，确保用户隐私和数据安全将成为 TTS 技术发展的重要课题。