标题: 【Arduino】168种传感器系列实验（138）---TTS文本转语音模块 [打印本页]
作者: eagler8    时间: 2020-2-5 08:28
标题: 【Arduino】168种传感器系列实验（138）---TTS文本转语音模块
37款传感器与模块的提法，在网络上广泛流传，其实Arduino能够兼容的传感器模块肯定是不止37种的。鉴于本人手头积累了一些传感器和模块，依照实践出真知（一定要动手做）的理念，以学习和交流为目的，这里准备逐一动手试试做实验，不管成功与否，都会记录下来---小小的进步或是搞不定的问题，希望能够抛砖引玉。

【Arduino】168种传感器模块系列实验（资料+代码+图形+仿真）
实验一百三十八：中文TTS文本转语音合成模块 替代SYN6288和XFS5152




作者: eagler8    时间: 2020-2-5 08:41
TTS（Text-To-Speech，文本到语音）
我们比较熟悉的ASR（Automatic Speech Recognition），是将声音转化为文字，可类比于人类的耳朵。而TTS是将文字转化为声音（朗读出来），类比于人类的嘴巴，是人机对话的一部分，让机器能够说话。

TTS是同时运用语言学和心理学的杰出之作，在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。TTS技术对文本文件进行实时转换，转换时间之短可以秒计算。在其特有智能语音控制器作用下，文本输出的语音音律流畅，使得听者在听取信息时感觉自然，毫无机器语音输出的冷漠与生涩感。TTS语音合成技术即将覆盖国标一、二级汉字，具有英文接口，自动识别中、英文，支持中英文混读。所有声音采用真人普通话为标准发音，实现了120-150个汉字/分钟的快速语音合成，朗读速度达3-4个汉字/秒，使用户可以听到清晰悦耳的音质和连贯流畅的语调。有少部分MP3随身听具有了TTS功能。




作者: eagler8    时间: 2020-2-5 08:59
本帖最后由 eagler8 于 2020-2-5 10:10 编辑

语音合成(SpeechSynthesis)
语音合成，能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。它涉及声学、语言学、数字信号处理、计算机科学等多个学科技术，是中文信息处理领域的一项前沿技术，解决的主要问题就是如何将文字信息转化为可听的声音信息，也即让机器像人一样开口说话。我们所说的“让机器像人一样开口说话”与传统的声音回放设备（系统）有着本质的区别。传统的声音回放设备（系统），如磁带录音机，是通过预先录制声音然后回放来实现“让机器说话”的。这种方式无论是在内容、存储、传输或者方便性、及时性等方面都存在很大的限制。而通过计算机语音合成则可以在任何时候将任意文本转换成具有高自然度的语音，从而真正实现让机器“像人一样开口说话”。

语音合成是通过机械的、电子的方法产生人造语音的技术。TTS技术（又称文语转换技术）隶属于语音合成，它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出的技术。语音合成满足将文本转化成拟人化语音的需求，打通人机交互闭环。 提供多种音色选择，支持自定义音量、语速，让发音更自然、更专业、更符合场景需求。语音合成广泛应用于语音导航、有声读物、机器人、语音助手、自动新闻播报等场景，提升人机交互体验，提高语音类应用构建效率。  




作者: eagler8    时间: 2020-2-5 11:19
TTS一般分为两个步骤
一、 文本处理。这一步做的事情是把文本转化成音素序列，并标出每个音素的起止时间、频率变化等信息。作为一个预处理步骤，它的重要性经常被忽视，但是它涉及到很多值得研究的问题，比如拼写相同但读音不同的词的区分、缩写的处理、停顿位置的确定，等等。
二、语音合成。狭义上这一步专指根据音素序列（以及标注好的起止时间、频率变化等信息）生成语音，广义上它也可以包括文本处理的步骤。这一步主要有三类方法：
1、拼接法，即从事先录制的大量语音中，选择所需的基本单位拼接而成。这样的单位可以是音节、音素等等；为了追求合成语音的连贯性，也常常用使用双音子（从一个音素的中央到下一个音素的中央）作为单位。拼接法合成的语音质量较高，但它需要录制大量语音以保证覆盖率。
2、参数法，即根据统计模型来产生每时每刻的语音参数（包括基频、共振峰频率等），然后把这些参数转化为波形。参数法也需要事先录制语音进行训练，但它并不需要100%的覆盖率。参数法合成出的语音质量比拼接法差一些。
3、声道模拟法。参数法利用的参数是语音信号的性质，它并不关注语音的产生过程。与此相反，声道模拟法则是建立声道的物理模型，通过这个物理模型产生波形。这种方法的理论看起来很优美，但由于语音的产生过程实在是太复杂，所以实用价值并不高。




作者: eagler8    时间: 2020-2-5 14:23

中文TTS文本转语音合成模块（当前版本V5 ）
网上资料非常少，细看模块上主要有三块芯片，U1估计是主要芯片，可惜被盖住了，查不到具体型号。

作者: eagler8    时间: 2020-2-5 14:48

U2是8002A
8002A 是一颗带关断模式的音频功放 IC。在 5V 输入电压下工作时，负载（3Ω）上的平均功率为 3W，且失真度不超过 10%。而对于手提设备而言，当 VDD 作用于关断端时，8002A 将会进入关断模式，此时的功耗极低，IQ 仅为 0.6uA。8002A 是专为大功率、高保真的应用场合所设计的音频功放 IC。所需外围元件少且在 2.0V～5.5V 的输入电压下即可工作。

功能特点
¾ 无需输出耦合电容或外部缓冲电路。
¾ 稳定的增益输出。
¾ 外部增益设置。
¾ 封装形式：SOP8、SOP8-PP、DIP8、MSOP8。

作者: eagler8    时间: 2020-2-5 15:11

U5的型号是MX25L6406EMI-12G

功能描述：IC FLASH SER 64MB 86MHZ 16SOP
RoHS：是
类别：集成电路 (IC) >> 存储器
系列：MX25xxx05/06
标准包装：2,500
系列：- 格式 -
存储器：EEPROMs - 串行
存储器类型：EEPROM
存储容量：1K (128 x 8)
速度：100kHz
接口：UNI/O（单线）
电源电压：1.8 V ~ 5.5 V
工作温度：-40°C ~ 85°C
封装/外壳：8-TSSOP，8-MSOP（0.118，3.00mm 宽）

作者: eagler8    时间: 2020-2-5 15:19
MX25L6406EMI-12G，查到的外文资料，功能方框图和型号命名规则





作者: eagler8    时间: 2020-2-5 19:44
本帖最后由 eagler8 于 2020-2-6 09:10 编辑




作者: eagler8    时间: 2020-2-6 09:10

作者: eagler8    时间: 2020-2-6 09:13

作者: eagler8    时间: 2020-2-6 09:14

作者: eagler8    时间: 2020-2-6 09:15

作者: eagler8    时间: 2020-2-6 14:18
  1. /*
  2.   【Arduino】168种传感器模块系列实验（资料+代码+图形+仿真）
  3.   实验一百三十八：中文TTS文本转语音合成模块 替代SYN6288和XFS5152
  4.   实验接线:
  5.   TX -> Arduino 0
  6.   RX -> Arduino 1
  7.   5V -> Arduino 5V
  8.   GND -> Arduino GND
  9. */

  11. void setup()
  12. {
  13.   Serial.begin(9600);
  14. }
  15. void loop()
  16. {
  17.   Serial.println("1234567890") ;
  18.   delay(5000);
  19.   Serial.println("abcdefghijk") ;
  20.   delay(5000);
  21. }
复制代码


作者: eagler8    时间: 2020-2-6 14:28

作者: eagler8    时间: 2020-2-6 14:31

作者: eagler8    时间: 2020-2-6 16:12
实验之二：尝试中文TTS文本转语音合成播放

  1. /*
  2. 【Arduino】168种传感器模块系列实验（资料+代码+图形+仿真）
  3. 实验一百三十八：中文TTS文本转语音合成模块 替代SYN6288和XFS5152
  4. 实验之二：尝试中文TTS文本转语音合成播放
  5. 模块实验接线:
  6. TX -> Arduino 0
  7. RX -> Arduino 1
  8. 5V -> Arduino 5V
  9. GND -> Arduino GND
  10. */

  12. void setup()
  13. {
  14. Serial.begin(9600);
  15. }
  16. void loop()
  17. {
  18. Serial.println("期待好的解决方案 对编码转换这块一直有疑问") ;
  19. delay(5000);
  20. }
复制代码



作者: eagler8    时间: 2020-2-6 16:13

作者: eagler8    时间: 2020-2-6 17:15
https://v.youku.com/v_show/id_XNDUzNDkyMjY4OA==.html

由于编码不同，发出的是乱码播放，下面开始尝试学习编码转换相关.......

播放链接  https://v.youku.com/v_show/id_XNDUzNDkyMjY4OA==.html

作者: eagler8    时间: 2020-2-6 19:05
经查询资料，中文TTS文本转语音合成模块支持任意中文、 英文字母、阿拉伯数字的文本合成，并且支持中文、英文字母、数字的混读。模块支持中文 GBK 编码集；支持大、小写英文字母。

GBK编码（即汉字国标扩展码）
GBK编码，是对GB2312编码的扩展，因此完全兼容GB2312-80标准。GBK编码依然采用双字节编码方案，其编码范围：8140－FEFE，剔除xx7F码位，共23940个码位。共收录汉字和图形符号21886个，其中汉字（包括部首和构件）21003个，图形符号883个。GBK编码支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字，并包含了BIG5编码中的所有汉字。GBK编码方案于1995年12月15日正式发布，这一版的GBK规范为1.0版。Windows 95系统就是以GBK为内码，又由于GBK同时也涵盖了Unicode所有CJK汉字，所以也可以和Unicode做一一对应。

编码范围
8140－FEFE (33088-65278)
全部编码分为三大部分:1.汉字区;2.图形符号区;3.用户自定义区(详情见特性码位分配及顺序)

适用范围以及存在问题
几乎完美支持汉字,但是不支持部分国家的语言(如一些东亚国家,日本等)
所以经常会有GBK到UNICODE的转换

特性
1、字汇——GBK 规范收录了 ISO 10646.1 中的全部 CJK 汉字和符号，并有所补充。具体包括：
GB 2312 中的全部汉字、非汉字符号。
GB 13000.1 中的其他 CJK 汉字。以上合计 20902 个 GB 化汉字。
《简化字总表》中未收入 GB 13000.1 的 52 个汉字。
《康熙字典》及《辞海》中未收入 GB 13000.1 的 28 个部首及重要构件。
13 个汉字结构符。
BIG-5 中未被 GB 2312 收入、但存在于 GB 13000.1 中的 139 个图形符号。
GB 12345 增补的 6 个拼音符号。
汉字“○”。
GB 12345 增补的 19 个竖排标点符号（GB12345 较 GB 2312 增补竖排标点符号 29 个，其中 10 个未被 GB 13000.1 收入，故 GBK 亦不收）。
从 GB 13000.1 的 CJK 兼容区挑选出的 21 个汉字。
GB 13000.1 收入的 31 个 IBM OS/2 专用符号。
未录入《新华字典》上的一些字，如“韡”的简体。

2、码位分配及顺序
GBK 亦采用双字节表示，总体编码范围为 8140-FEFE，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 xx7F 一条线。总计 23940 个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。

3、误处理
低字节是0x40-0x7E的GBK字符有一定特殊性，因为这些字符占用了ASCII码的位置，这样会给一些系统带来麻烦。有些系统中用0x40-0x7E中的字符（如“|”）做特殊符号，在定位这些符号时又没有判断这些符号是不是属于某个 GBK字符的低字节，这样就会造成错误判断。在支持GB2312的环境下就不存在这个问题。需要注意的是支持GBK的环境中小于0x80的某个字节未必就 是ASCII符号；另外就是最好选用小于0×40的ASCII符号做一些特殊符号，这样就可以快速定位，且不用担心是某个汉字的另一半。Big5编码中也存在相应问题。

4、双字节编码
遵循GB2312规定。
作者: eagler8    时间: 2020-2-6 19:26
网上搜寻，请教知乎《Arduino 魔法书》专栏的兔子老师，才明白这个TTS模块只能识别16进制的GBK编码。

百度——汉字转GBK，有很多在线工具，这里使用千千秀字（www点qqxiuzi点cn/bianma/zifuji.php），输入“谢谢兔子老师”，自动转换结果见下图




作者: eagler8    时间: 2020-2-6 19:34
例如汉字”兔子”的GBK编码是“CDC3 D7D3”，再转为C语言格式“0xCD,0xC3,0xD7,0xD3”。实验开源代码如下：

  1. /*
  2.   【Arduino】168种传感器模块系列实验（资料+代码+图形+仿真）
  3.   实验一百三十八：中文TTS文本转语音合成模块 替代SYN6288和XFS5152
  4.   实验之三：中文TTS文本转语音合成播放：兔子你好
  5. 模块实验接线:
  6.   TX -> Arduino 0
  7.   RX -> Arduino 1
  8.   5V -> Arduino 5V
  9.   GND -> Arduino GND
  10. */

  12. char a[4]={0xC4,0xE3,0xBA,0xC3};//你好
  13. char b[]={0xCD,0xC3,0xD7,0xD3};//兔子
  14. String zi= "";

  16. void setup() {
  17.   Serial.begin(9600);  
  18.   for(int i=0;i<4;i++) zi+=a[i];
  19. }

  21. void loop() {
  22.   Serial.println(zi);
  23.   Serial.println(b);
  24.   delay(1000);   
  25.   }
复制代码





作者: eagler8    时间: 2020-2-6 19:56
发送到串口的16进制GBK编码




作者: eagler8    时间: 2020-2-7 10:23

作者: eagler8    时间: 2020-2-8 08:58
  1. /*
  2.   【Arduino】168种传感器模块系列实验（资料+代码+图形+仿真）
  3.   实验一百三十八：中文TTS文本转语音合成模块 替代SYN6288和XFS5152
  4.   实验之四：中文TTS文本转语音合成播放：春节快乐
  5.   (GBK码 B4BA,BDDA,BFEC,C0D6)
  6.   模块实验接线:
  7.   TX -> Arduino 0
  8.   RX -> Arduino 1
  9.   5V -> Arduino 5V
  10.   GND -> Arduino GND
  11. */

  13. char a[8] = {0xB4,0xBA,0xBD,0xDA,0xBF,0xEC,0xC0,0xD6}; //春节快乐

  15. void setup() {
  16.   Serial.begin(9600);
  17. }

  19. void loop() {
  20.   Serial.println(a);
  21.   delay(3000);
  22. }
复制代码


作者: eagler8    时间: 2020-2-8 08:58

作者: eagler8    时间: 2020-2-8 08:58

作者: eagler8    时间: 2020-2-8 09:18
本帖最后由 eagler8 于 2020-2-8 11:46 编辑

[media=x,500,375][/media]
中文TTS文本转语音模块合成播放“春节快乐”的10秒视频
https://v.youku.com/v_show/id_XNDUzNTY3MjMyNA==.htm




作者: eagler8    时间: 2020-2-8 09:35
完成本实验，特别感谢兔子老师的微信指导与帮助，主要学习与参考的资料有

Arduino 语音交互 TTS语音合成
https://zhuanlan.zhihu.com/p/66314323

DIY朗读机器人！不想给孩子读故事？TTS语音合成模块了解一下，B719模块效果测试
https://www.bilibili.com/read/cv3630794/

TTS 真人发音 SYN6288 模块
www点arduino点cn/thread-75043-1-1.html

Arduino语音模块-Speech Synthesizer Bee语音合成模块
www点ncnynl点com/archives/201606/192.html

关于 Arduino 发送中文字符问题 GB2312转16进制
https://www.cnblogs.com/xiaohe520/articles/7918641.html


作者: foxzenith    时间: 2020-4-23 12:12
点赞，专业就是王道，follow你的持续更新
作者: eagler8    时间: 2020-4-29 15:26
foxzenith 发表于 2020-4-23 12:12
点赞，专业就是王道，follow你的持续更新

谢谢鼓励，最近在做掌控板的系列实验

MicroPython动手做（17）——掌控板之触摸引脚

bbs.eeworld点com.cn/thread-1119462-1-1.html



欢迎光临 (http://www.51hei.com/bbs/) Powered by Discuz! X3.1