命令词和固件制作指南¶
1. 语音识别处理流程及所需资源¶
语音识别的流程及所需资源如下图所示,麦克风将语音转换为数字信号,送到NN做识别。NN识别需要两个资源,声学模型和语言模型,NN识别后输出字符串。然后到命令词信息表里查找NN输出的字符串,如果未找到,说明误识别,不处理。如果查找到,就是有效识别,然后根据查找到的命令词获取相关信息,进行相应应用功能处理,最后调用提示音播放器播放提示音。
注解
- 语言模型:根据命令词生成,用于NN识别;
- 声学模型:用于NN识别,一般根据语言,应用场景等因数相关;
- 命令词信息表:用于保存命令词相关的信息,比如命令字符串、是否是唤醒词、对应的提示音等等;
- 提示音:用于识别到命令词后,做相应的反馈提示,当前支持mp3。
后面的章节会介绍如何生成所需的资源。
2. 制作命令词模型文件¶
2.1. 进入模型制作界面¶
- 登录 ☞启英泰伦语音AI平台 , 如下图所示,点击左菜单栏(语言模型)选项图标进入语言模型界面:
- 创建项目:
- 模型制作界面:
2.2. 生成和下载声学模型¶
1、填写项目名称;
2、选择芯片型号CI230X系列芯片;
3、选择产品类型;
4、选择语言类型;
5、选择声学模型类型;
6、点击声学模型下载,下载声学模型,解压下载的声学模型压缩包,可以得到对应的声学模型文件。
- 解压下载的声学模型压缩包,可以得到声学模型:
2.3. 生成和下载语言模型¶
- 先填写语言类型,下载对应语言的模板文件:
1、语言类型:下拉框选择中文、英文、日文。
2、下载样例:根据语言类型选择,会出现中文、英文、日文样例。
- 打开下载的中文模板文件,参照文件格式,编辑命令词:
注解
- 命令词:需要语音识别的命令词字符串。 2. 命令词类型:指定命令词是否为唤醒词,如果指定了唤醒词,平台会生成双网络数据。 3. 双网络:是指为了改善唤醒词的识别效果,为唤醒词单独做一个识别模型,其他的命令词做一个识别模型,就相当于这个项目用到了两个神经网络模型,简称双网络。
- 按照如下步骤进行模型制作:
1、填写语言模型信息;
2、选择上传命令词列表文件;
3、会自动进行命令词列表文件检查,并将命令词列表展示与命令词信息中,用户可以检查和修改;
4、点击保存,平台开始制作模型;
- 上述步骤中的上传命令词列表文件可以省略,直接在命令词信息表中通过“添加明细行”添加命令词,然后点击“生成语言模型(以网页表格内容为准)”,同样可以进行模型制作:
- 后台制作语言模型结束后,可以在下载窗口下载:
- 解压下载的语言模型压缩包,可以得到命令词信息表文件:”[60000]{xxxx}.xls” 和命令词、唤醒词语言模型文件 “asr_zn_xxx_xxx.dat”:
3. 生成播报音(voice)¶
- 从平台主菜单进入“播报音合成”界面:
- 创建项目:
- 下载样例文件:
1、语言类型:下拉框选择中文、英文。
2、下载样例:根据语言类型选择,会出现中文、英文样例。
3、人声分类、合成人声:选择分类和人声后,可以试听样音,声音大小根据需求设置。
4、试听样音:点击后可以播放音频。
- 打开下载的模板文件,中文、英文示例如下:
- 按照模板格式,编辑需要生成的播报音:
注解
- 音频序号:指定生成音频文件的ID号。
- 音频名:指定生成音频文件的文件名。
- 合成内容:语音内容(文字间,可以有逗号分隔符号,但不能有空格)
提示
制作播报音也有一些规则可以减小固件大小,节省FLASH空间。SDK支持组合播报和选择播报,就可以把某些具有共性的词提取出来,制作成一个音频文件。比如,打开空间,打开电视,打开风扇,打开台灯,打开客厅灯,打开书房灯,这么多词都有“打开”一词,就可把“打开”做成一个单独的文件,在命令词信息表文件中,用组合播报的方式关联到命令词。再比如一些可以更换名字的项目,上电播报可能是“我是xxx, 你可以使用xxx来唤醒我”,可以把这名话拆分成4个音频:
- 我是
- xxx
- 你可以使用
- 来唤醒我
在命令词信息表中关联播报音ID时填入”1+2+3+2+4”。
其中”xxx”可以是多个名字,通过组合加选择播报的功能,在程序中根据情况选择播报,就不需要为每个名字生成一套播报音了。
- 添加播报音文件,也可以在播报音合成界面表个白中实时编辑,然后保存提交。
- 等页面提示生成成功,出现“下载文件”按钮,点击即可下载:
- 下载得到下列音频文件:
4. 制作固件¶
4.1. 编辑命令词信息表文件¶
将2.2节下载得到的命令词信息表文件:”[60000]{xxxx}.xls”拷贝到路径:%SDK_PATH%\projects\cias_aiot_audio\firmware\user_file\cmd_info\,替换原始[60000]开头的文件,并按照项目逻辑做相关修改,主要是关联播报音,设置唤醒词,调整识别灵敏度等。
注解
- 模型名:用于设置当前这套命令词对应的模型名称,目前就2个:NN ID(声学模型文件ID)、ASR ID(语言模型文件ID)。
- 模型ID:用于设置当前这套命令词对应的模型ID号。填写0及大于0的数字均可,但需与文件前缀[ID]号匹配。例如,[3]asr_xxx_cmd.dat文件标识ID为3,ASR ID的模型ID就填3。
- 命令词:命令词字符串。
- 命令词ID:开发者自定义的命令词ID ,方便快速开发实现逻辑。默认不支持不同命令词使用相同的命令词ID,如果一定要可以修改脚本文件“cmd_info.bat”,cmd_info.exe 命令后添加“- -no-cmd-id-duplicate-check”。
- 命令词语义ID:语义ID,启英泰伦自定义的字符串语义ID,具有唯一性,如果产品考虑家庭组网的话,可以用此ID解决多个设备的命令词冲突问题。
- 置信度:用于调整命令词的识别灵敏度,解决误识别等。
- 唤醒词:用于指定唤醒词。
- 组合词:用于指定组合词,既是唤醒词,又是命令词,少了唤醒一步。
- 期望词:用在某些命令词特别不容易识别时使用。
- 不期望词:用在某些命令词特别容易识别,而不能识别另外一个相似的正确命令词,导致误识别。
- 特殊词计数:用于短的命令词截获具有相同内容的长命令词的情况。比如:“加热”和“加热三分钟”,可能说“加热三分钟”,也会得到“加热”的结果。解决方法是给“加热”命令词设置特殊词计数,在识别到“加热”后,再等待一会,看后续是否有相近命令结果,如果有就丢弃“加热”。也不能设置的太大,否则会明显增大“加热”的响应时间。
- 播报音类型:主要用于多个选择播报时,指定选择的方式。当前支持两种,“随机选择”(调用播报接口时,select_index设置为-1),“自定义选择”(调用播报接口时,select_index设置为要选择的值)。
- 播报音ID:播报音文件ID(也就是第4章中的音频序号),组合播报用‘+’连接(最多支持16个音频组合),如果有多个选择播报,每个选择项占一列,最多127列。
- 模型分组ID:用于多模型切换。SDK demo中默认0为命令词模型,1为唤醒词模型。
提示
- 如果有未关联到命令词的播报,可以创建一个假命令词,也就是命令词字符串未用于生成语言模型,不会被识别到,但可以通过些字符串播放出来。
- 编辑命令词信息表文件名的ID必需为60000,不能修改,如[60000]{xxxx}.xls。
- 注意适当应用组合播报,选择播报,多模型切换功能,可以减小固件大小,节省FLASH空间。
4.2. 编辑代码,实现项目需求¶
- 用户逻辑的实现主要在“system_msg_deal.c”文件中;
- UserTaskManageProcess函数就是用户逻辑处理任务,在这个任务里处理各种消息,如:语音识别消息,按键消息,串口消息等。
- 找到要处理的消息,实现对应的逻辑功能。比如IO控制,播报音选择,切换模型,参数调整,串口上报等。
- 如果有需要关机保存的信息,可以使用ci_nvdm模块保存,请参考SDK中标准demo中音量设置相关代码。
注解
- 如果有用命令词切换模型的,同时切换模型的命令有语音播报,注意切换模型接口与语音播报的调用顺序,需要根据播报音所在的模型来定。
4.3. 合成并烧录固件¶
4.3.1. 拷贝资源文件¶
固件制作目录如下图:
- 将第2章节生成的语言模型文件(asr_zn_214_CI130x.dat)放入firmware目录下的asr目录中, 按照4.1节编辑的《命令词信息表》中ASR ID设置文件ID号,如[0]asr_zn_214_CI130x.dat。如果使用双网络,需将唤醒词、命令词的语言模型均放到该目录;
- 将第2章节生成的声学模型文件GE-CH-S-V00214.fefixbin3676,放入firmware目录下的dnn目录中,设置按照4.1节编辑的《命令词信息表》中NN ID设置文件ID号,如[0]GE-CH-S-V00214.fefixbin3676。如果NN目录下已有该模型,无需再替换;
- 将第3章节生成的播报音文件(TTS_wav目录下的wav格式的音频文件)放入firmware目录下的voice目录中,按照3.1节编辑的《命令词信息表》中VOICE GROUP设置文件夹ID号,如[0]voice。
- 编译工程代码,生成user_code.bin,在user_code目录下;
- 合成分区bin文件,双击运行”合成分区bin文件.bat”,完成后,会在asr、dnn、user_file、voice目录下生成与目录同名的bin文件。
4.3.2. 语音固件打包烧录¶
- 语音固件打包烧录固件参照☞开发环境搭建与使用-6章节