跳转至

CI13XX离在线大模型对话SDK_V2.1.2开发流程

1. 概述

离在线大模型对话SDK(CI13XX_SDK_LLM_AIOT_V2.1.2) 相对于算法SDK新增功能有：录音音频数据上传(压缩/非压缩)、SPEEX、OPUS和G722编解码、播放网络音频数据(MP3/PCM/G722)、本地VAD端点检测；

名词解释

  • SPEEX —— Speex是一种采用 CELP 算法，针对人类语音频率范围（300-3400Hz）进行高度优化，在低码率下能保持清晰语音可懂度的音频编解码器。
  • OPUS —— Opus是一个有损声音编码的格式，以语音编码为导向的SILK和低延迟的CELT。在几乎所有比特率下，其音质都显著优于同期的其他编解码器（如 MP3、AAC、Speex、G722 等）。尤其是在中低码率下，优势非常明显。
  • G722 —— G722是最早被广泛采用的宽带语音编码器之一,技术成熟稳定。虽然带宽较宽，但其核心技术（SB-ADPCM）仍然是为语音优化的，不适合压缩音乐。
  • VAD —— VAD（语音活性检测）是一项用于语音处理的技术，目的是检测语音信号是否存在。VAD技术主要用于语音编码和语音识别。

由于增加功能加大了内存和算力消耗，故在算法SDK版本上做了功能和组合裁剪，当前只支持下面的算法组合:

算法名称 算法说明 hpout_sample iis_sample uart_sample
USE_AEC_DENOISE_NN 回声消除+深度降噪 √ √ √
USE_ANY_MIC_AEC_DENOISE_NN 任意MIC+回声消除+深度降噪(需外挂codec) √ √
USE_CWSL_AEC_DENOISE_NN 自学习+回声消除+深度降噪 √ √ √
USE_AI_DOA_AEC_DENOISE_NN 双麦声源定位+回声消除+深度降噪(需外挂codec) √ √

2. 算法功能组合说明:

开启算法 说明
ASR+回声消除+NN降噪 同时开启识别+回声消除+深度降噪
ASR+自学习+回声消除+NN降噪 同时开启识别加自学习+回声消除+深度降噪
ASR+任意MIC+回声消除+NN降噪 同时开启任意MIC+回声消除+深度降噪
ASR+声源定位+回声消除+NN降噪 同时开启识别加声源定位+回声消除+深度降噪

注意

除了上表算法组合功能，不支持其他组合，请勿随意组合算法功能，否则会出现sdk编译异常或者运行故障。

3. 算法功能使用说明

3.1 在CI13XX_SDK_LLM_AIOT_Vx.x.x\project_file\makefile文件定义了CI_ALG_TYPE变量，通过修改该变量的值，选择使用对应的算法功能，makefile中会自动根据CI_ALG_TYPE的配置去定义和使能对应的宏，用户不需要再去重复定义使能相关宏参数；CI_ALG_TYPE默认等于USE_AEC_DENOISE_NN。例如：应用中如果需要用到自学习+回声消除+降噪，CI_ALG_TYPE配置如下图： CI_ALG_TYPE配置

3.2 CI_ALG_TYPE变量和算法功能对应关系表如下：

CI_ALG_TYPE 算法功能说明
USE_ANY_MIC_AEC_DENOISE_NN 开启任意MIC+回声消除+NN降噪
USE_AEC_DENOISE_NN 开启识别+回声消除+NN降噪
USE_CWSL_AEC_DENOISE_NN 开启识别+自学习+回声消除+NN降噪
USE_AI_DOA_AEC_DENOISE_NN 开启识别+声源定位+回声消除+NN降噪

4.模型ID定义：

开启算法功能需使用不同的前端算法模型，各个算法模型对应ID如下表：

模型ID 模型类型
60003 NN深度降噪模型
60004 DOA声源定位模型

5. SDK开发包下载:

5.1 注册并登录AI开发平台：https://aiplatform.chipintelli.com

5.2 获取离在线大模型SDK CI13XX_SDK_LLM_AIOT_VXX的软件开发包：https://aiplatform.chipintelli.com/attachment， (若有新版本，请使用最新版本的SDK),如下图： SDK下载

6. WiFi/4G芯片和启英语音芯片对接离在线方案:

6.1 上传和播放音频参数+交互协议+指令说明： 请采参考离在线大模型对话SDK对接协议说明文档☞启英泰伦离在线大模型对话SDK对接参数及协议说明

6.2 方案对接说明： 离在线大模型对话SDK前端方案说明文档☞启英泰伦离在线大模型对话对接方案说明