跳转至

单麦深度神经网络降噪+语音识别方案开发-CI1303

一. 方案介绍

1.1 方案背景

有的设备运行时,设备本身会产生较大的噪声,此时如果人声又比较小,信噪比不够会导致识别效果下降。为了解决这一痛点,启英泰伦推出了深度神经网络降噪算法方案。

1.2 方案原理

深度神经网络降噪算法通过抑制设备本身产生的高噪声,以提升低信噪比环境下的识别率。

1.3 方案实例

针对不同应用领域需使用对应领域的深度神经网络降噪模型,当前启英泰伦已推出了烟机和窗帘这两个领域的深度神经网络降噪模型。下面教程将以烟机领域为例,进行实战开发讲解。

二. 开发准备

2.1 硬件准备

开发模块:启英泰伦 CI1303模块板 (推荐型号 CI-D03GS01J)

烧录工具USB转TTL串口调试工具(用于固件烧录、实时通信验证、日志LOG打印等,可5V/3V3供电)

杜邦线杜邦线(用于固件烧录、实时通信验证、日志LOG打印等)

麦克风、喇叭:启英商城购买麦克风、喇叭与模块板匹配,批量购买具体参数可参考:麦克风兼容列表

测试设备:个人电脑(建议Windows 7及以上系统)

2.2 软件准备

开发环境搭建快速入门

软件SDK下载CI13XX_SDK_ASR_ALG_V2.5.28(若有新版本,请使用最新版本的SDK)

2.3 资料获取

  1. 启英泰伦语音AI平台

  2. CI1303 芯片数据手册

  3. CI-D03GS01J 模块数据手册

  4. SDK 软件开发手册

三. 软件开发

3.1 修改板级配置

打开CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\app\app_main\user_config.h文件,手动新增CI-D03GS01J模块对应的板级配置文件。

3.2 修改makefile

打开CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\project_file\makefile 文件,将CI_ALG_TYPE 修改为 CI_ALG_TYPE := $(USE_DENOISE_NN)

3.3 清理编译生成

修改makefile文件后,先clean清理后,再进行build生成。

3.4 引用前端降噪算法模型

使用深度神经网络降噪算法时需要将CI130X_SDK_ALG_PRO_Vx.x.x\external\model\nn_denoise(深度降噪)\烟机\ [60003]nn_denoise_m34.bin 前端降噪算法模型,复制到CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\firmware\dnn文件夹中。

3.5 下载深度降噪声学模型

1、进入AI平台组件开发页面,选择语音模型开发;

2、选择新建项目;

3、选择深度降噪专用声学模型;

4、下载深度降噪声学模型;

5、复制深度降噪声学模型压缩包并解压到CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\firmware\dnn文件夹中;

3.6 生成语言模型

1、选择命令词合成语言模型,下载命令词样例表格;

2、根据产品需求,自定义唤醒词及命令词;

3、上传命令词表格,生成asr语言模型和cmd_info表格;

4、下载asr语言模型及cmd_info表格;

5、将[60000]{cmd_info}表格复制到CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\firmware\user_file\cmd_info文件夹下;

6、将命令词和唤醒词网络语言模型复制到CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\firmware\asr文件夹下;

3.7 TTS播报音合成

1、功能开发主页选择播报音合成;

2、新建播报音合成;

3、选择合适的音色、语速及音量;

4、下载播报音样例表格,自定义播报内容,提交开始合成播报音;

5、下载播报音,并将原始音频复制到CI130X_SDK_ALG_PRO_Vx.x.x\projects\offline_asr_alg_pro_sample\firmware\voice\src文件夹下;

3.8 打包合成固件

1、点击合成分区bin文件,会自动合成asr.bin、dnn.bin、cmd_info.bin、voice.bin、user_code.bin;

2、打包合成固件;

3.9 固件升级及测试验证

1、点击固件升级按钮,进入固件升级界面;

2、使用杜邦线连接串口烧录工具和语音模块烧录口的5V、GND、TX、RX这几个引脚(注意TX接RX、RX接TX),将串口烧录工具与电脑连接,勾选正确的COM口,然后重新给语音模块上电(拔插一下5V),语音模块将自动开始升级固件。

3、固件烧录完成后,将语音模块接上麦克风和喇叭,然后可以将语音模块放在真实烟机环境下进行效果体验测试。

3.10 注意事项

1、深度降噪需搭配该算法的前端算法模型使用。

2、深度降噪在AI平台制作ASR与DNN模型请选择深度降噪专用模型。