离在线大模型对话SDK(CI13XX_SDK_LLM_AIoT)¶
概述¶
目前CI13XX系列芯片的离在线大模型对话SDK(CI13XX_SDK_LLM_AIoT)最新发布版本为:CI13XX_SDK_LLM_AIoT_V2.2.7
主要针对纯离在线大模型对话应用场景,例如AI玩具,AI医疗,车载等;支持离线自学习,回声消除(AEC),深度降噪,声源定位(DOA),VAD端点检测,SPEEX/OPUS/G722语音编解码算法;同时支持语音在线上传和播放功能:
- ASR(Automatic Speech Recognition,自动语音识别),☞《语音识别使用说明》
- CWSL(Command Word Self-Learning,离线命令词自学习),☞《离线命令词自学习使用说明》
- AEC(Acoustic Echo Cancellation,回声消除),☞《回声消除使用说明》
- NN_DENOISE(Neural Network Denoising,深度降噪),☞《深度降噪算法使用说明》
- DOA(Direction of Arrival,双mic声源定位),☞《双mic声源定位算法说明》
目前离在线大模型对话SDK提供了3个sample供用户选择,具体特性如下
| sample名称 | 录音上传 | 指令控制 | VAD | 音频播放 |
|---|---|---|---|---|
| hpout_sample | 使用hpout上传录音,不支持压缩,支持单/双麦;V2.2.7 起支持 IIS 采音 | 支持串口传输指令 | 支持(V2.2.7 起可选:上电开始检测 / 唤醒后开始检测) | 不支持播放,播放端给语音端回声消除参考信号 |
| iis_sample | 使用iis上传录音,不支持压缩;V2.2.7 起支持单/双麦 | 支持串口传输指令 | 支持(V2.2.7 起可选:上电开始检测 / 唤醒后开始检测) | 支持iis下传音频播放,只支持pcm格式,不支持本地播放;V2.2.7 起支持指令控制开始播报 |
| uart_sample | 使用uart上传录音,支持g722/speex/opus编码压缩,支持单/双麦 | 支持串口传输指令 | 支持VAD | 支持uart下传音频播放,支持pcm/g722/mp3,支持本地播放 |
备注
V2.2.7 起,UART、IIS、HPOUT 三个工程均新增**上下行、串口通信、本地播报、云端播报的全局宏开关控制**,可灵活配置各通路;同时 IIS、HPOUT 工程新增 VAD 开关逻辑(上电开始检测 / 唤醒后开始检测),并输出 VAD START、VAD END 串口指令。详见 ☞《SDK版本简介》。
离在线大模型对话SDK适配的AI语音芯片型号¶
- 芯片型号(☞启英商城有售):
CI 1302 、 CI 1303 、 CI 1306 。
- 模块型号(☞启英商城有售):
CI-D02GS01J单麦离线语音识别端子模块
CI-D06GT01J双麦离线语音识别蓝牙端子模块
- 开发板套件型号(☞启英商城有售):
CI1306开发板套件
CI1303开发板套件
CI1302开发板套件