跳转至

新平台产品开发流程指引

如果您使用的是新版本语音AI平台,请查看下列产品开发流程指引。


入门篇

1、初识语音

如果您是第一次接触智能语音产品,可以先了解下 ☞语音识别原理

如果您已经了解了语音知识,接下来您可以登录语音AI平台,查看 ☞启英泰伦demo演示视频,让您对启英泰伦的语音芯片有所了解;

如果您对这些都有所了解,请直接查阅 ☞语音AI平台账号如何获取,在这个平台,您可以获得更多的资料以及进行产品的开发,推荐您申请注册平台账号并使用,目前该平台对用户免费开放。

2、获取开发板套件

对于新用户,推荐您直接选取我们的开发板套件进行开发,我们为您提供了配套的使用说明,软件SDK,固件及各类工具,您可以更容易上手进行开发。我司的开发板套件和模块相关联,如果您还没有模块相关联的开发板套件,或者还不知道选用哪种模块及开发板套件,请您阅览下列内容: ☞硬件选型指南,选好后可以按 ☞样品和批量采购 中的说明购买该模块及开发板套件。

如果您已拥有了开发板套件,但还不知道如何体验开发板套件,请查看下面的初体验识别交互章节的内容,来亲自体验语音的魅力。

3、初体验识别交互

准备好您的开发板,接上电源,听见欢迎播报的时候,您就可以开始您的语音交互之旅了。

如果您体验完后,意犹未尽想制作一个自己的demo固件,那么请查阅下述进阶篇的内容。


进阶篇

1、开发环境准备

若您已经拥有我司开发板套件请直接查看下面内容,若目前还没有开发板套件请按照上文中 ☞获取开发板套件 内容获取开发板套件。

1.1 搭建可编程开发环境

进入语音AI平台后,点击【开发资料】,分类选择“开发工具及手册”;“查询”后根据文件描述,下载对应芯片型号的开发工具及手册,解压并根据【编译软件安装与使用】指引安装可编程开发环境。

1.2 开发板套件确认

收到购买的开发板套件后,需要参照以下步骤对开发板套件进行组装和功能确认:

CI130X系列CI-D06GT01D开发板套件确认步骤:

  1. 将麦克风按图中所示插入插座;(注意麦克风是有极性区分的,红线对应板极MIC+,黑线对应板极的MIC-)

  1. 喇叭插入对应插槽;

  1. 将数据线type-c端如图连接到模块,另一端连接到电脑的USB接口;

  1. 拨动电源开关,接通电源指示灯点亮后,会听到喇叭播报“欢迎使用智能管家,您可以使用智能管家唤醒我。语音处于关闭状态,如需语音请说打开语音”;

  1. 用户以正常语速呼叫“智能管家”,会听到喇叭播报“你好”,这样就可以确认模块能正常工作。

CI1122/CI110X系列CI-B02-MB开发板套件确认步骤:

  1. 将麦克风按图中所示插入插座;(注意麦克风是有极性区分的,红线对应板极MIC+,黑线对应板极的MIC-)

  1. 喇叭插入对应排针;

  1. 将数据线type-c端如图连接到模块,另一端连接到电脑的USB接口;

  1. 按下电源开关,接通电源指示灯点亮后,会听到喇叭播报“欢迎使用智能管家,您可以使用智能管家唤醒我。语音处于关闭状态,如需语音请说打开语音”;

  1. 用户以正常语速呼叫“智能管家”,会听到喇叭播报“你好”,这样就可以确认模块能正常工作。

如您购买的是其它开发板套件,也可以按照上述步骤进行组装和功能确认。

2、在线开发产品固件

用户的“开发板套件”和“开发环境”准备完毕并确认基础功能正常之后,本章将接着带您详细了解语音固件的在线开发、烧录及测试,现在正式开始感受语音开发给您带来的乐趣吧。

2.1 产品固件快速开发

用户可以使用该功能在十分钟内自动生成语音固件,让产品落地更快速。

  1. 进入语音AI平台“功能开发”页面;

  1. 点击“功能开发”页面下的“产品固件快速开发”板块,进入固件快速制作流程页面;

  1. 根据页面提示,分别填写“项目名称、产品类型、语言类型、芯片选择、选择板极配置、灵敏度、音色”等信息后点击“继续”。示例如下图:

  1. 根据提示信息编辑命令词,平台会根据产品类型推荐命令词模板可供下载编辑,编辑完成之后点击网页上的“点击这里上传”即可在数据区域显示命令词等信息(支持网页实时编辑);然后点击“立即提交”,也可点击“保存”下次提交;

  1. 命令词等信息提交后页面会自动跳转到“任务管理”板块,其中则会实时显示刚刚提交的固件快速制作的进度;

  1. 数分钟后固件的状态由“进行中”变为“完成”,即可点击“下载文件”按钮进行压缩包的下载,解压会得到开发板对应的固件及烧录步骤文档等内容;

  1. 用户可以根据解压得到的《固件烧录步骤.pdf》文档进行本固件的烧录操作和体验测试。

2.2 产品固件深度开发

用户可以使用此功能进行在线开发量产固件,亦可获取SDK进行离线深度编程开发。

  1. 进入语音AI平台“功能开发”页面;

  1. 点击【产品固件深度开发】板块,进入产品固件的深度开发流程;

  1. 点击“开发一个新产品”;

  1. 根据提示输入关于该产品的相关项目信息,再点击创建;

  1. 创建完毕之后则会自动进入该项目的“产品详情”页面;

  1. 产品详情页面中点击“开发新版本”,即可开始该产品的SDK详细参数配置步骤,接下来将用空调产品为例进行详解。

  1. 第一步首先需要按照提示填写该项目的版本及描述信息,填写完毕后点击“创建版本”;

  1. 然后根据芯片型号选择适合自己产品的模块,系统会有默认的配置参数,用户也可以根据产品具体需求修改部分参数;

  1. 然后根据页面提示进行识别“语言”的选择,目前支持“中文”与“英文”;再选择与产品领域匹配的“声学模型”,若无该产品领域配套的声学模型则可选择有“通用”字样的声学模型;

  1. 点击“附件样例下载”模板压缩包,解压得到Excel模板,打开Excel模板根据模板提示进行内容的填写,编辑完成之后点击网页上的“点击这里上传”即可在数据区域显示命令词等信息(并且支持网页实时编辑调整);

  1. 最后需要选择适合的播报音音色、语速、音量等配置,再点击“立即提交”,也可点击“保存”下次再进行提交;

  1. 下一步平台会自动跳转到【任务管理】界面,实时查看固件及SDK制作的当前状态;

  1. 稍加等待之后,会看到“当前状态”由“进行中”变为“完成”,即可点击“下载文件”按钮进行固件及SDK的下载;

  1. 下载的压缩文件需要解压;

  1. 解压得到的文件包含有SDK软件开发包、产品固件、命令词列表及固件烧录步骤手册;

  1. 用户可根据解压得到的《固件烧录步骤.pdf》文档进行本“产品固件”的烧录操作和体验测试;

  2. 最后有嵌入式开发能力的用户还可以使用解压出来的“SDK开发包”结合“启英泰伦文档中心-软件开发”板块内容,进行产品的编程开发。

3、开发固件组件

用户在完成了第一章“开发环境准备”和第二章“在线开发产品固件”之后,本章将接着带您进行固件组件的开发。我司芯片所对应的固件,主要由“语言模型、声学模型、播报音、用户代码”四大组件组成;接下来,我们来一步一步制作各个组件去合成我们想要的固件。

3.1 语言模型与声学模型获取

制作固件的语言模型与声学模型是一并生成获取的,详细步骤如下:

  1. 进入语音AI平台“功能开发”板块;

  1. 点击“语言模型开发”进入语言模型的制作流程;

  1. 根据页面提示信息填入相关数据后,点击“继续”按钮前往下一步;

  1. 声学模型是固件的重要组件,根据页面提示选择声学模型后请点击“声学模型下载”,解压后放入PC本地的SDK软件开发包中的.\firmware\dnn\目录下:

  1. 点击“附件样例下载”,将下载一个Excel文件;

  1. 打开下载好的Excel表;

  1. 根据表中“填写说明”填写“命令词预处理”内容;

  1. 填写好的“命令词预处理”内容如下示例(以空调产品为例):

  1. 再到网页中上传该表格文件;

  1. 上传成功后会显示表格名字,并在下方显示表格内容的预览并且支持修改调整;

  1. 点击“提交”,平台会自动跳转到【任务管理】界面,实时查看本次语言模型制作的进度,图中当前进度显示“进行中”,需要用户等待片刻;

  1. 稍等片刻后,当看到“当前状态”则显示为“完成”,即可点击“下载文件”;

  1. 将下载下来的压缩包文件进行解压;

  1. 解压得到的文件包含语言模型和声学模型,如下图中内容,请打开“使用说明.txt”文档;根据“使用说明”的步骤将各个文件内容拷贝到SDK相应路径即可。

3.2 播报音合成

合成播报音是为了让设备识别到命令词之后能拥有播报反馈响应,增强交互体验;现在我们来制作播报音,并且来让我们的播报音与命令词一一对应起来。

  1. 进入语音AI平台“功能开发”页面;

  1. 合成播报音点击“播报音合成”板块;

  1. 首先,选择播报音的发音语种,拥有中文、英文、日文三种语言可以选择;

  1. 然后,选择选择对应语种下的音色,有多种男声、女声、男童、女童等音色可供试听选择;(试听功能待开放)

  1. 再选择播报音的语速和播报音初始音量;

  1. 再点击“附件样例下载”,下载一个名为“播报词列表_中文模板.xlsx”的Excel格式附件;

  1. 打开该附件样例,根据表中的“填写说明”,将播报音等文本信息填写到“语言合成”sheet中保存备用;

  1. 回到网页,点击“选择导入文件”将保存好的Excel附件导入,并在下方显示表格内容的预览并且支持修改调整;

  1. 在最下方给项目填入名称后点击“提交”;

  1. 提交成功后,页面会自动跳转到任务管理页,可以看到播报音合成的当前状态为“进行中”;

  1. 播报音根据制作音频数量请等待几分钟,“当前状态”便会显示为完成,即可点击“下载文件”按钮保存该压缩文件;

  1. 解压下载好的压缩文件,得到如下多个文件;

  1. 根据《使用说明.txt》描述步骤将解压出来的音频文件放入PC本地的SDK中的.\firmware\voice\src目录下备用。

3.3 用户代码

用户要开发自定义功能的代码,需要先根据芯片型号安装与之匹配的开发环境。还未安装开发环境的用户可以进行如下操作:

  1. 进入语音AI平台,点击【开发资料】板块;

  1. 分类选择“开发工具及手册”;

  1. 点击“查询”后,可以看到不同芯片所对应的IDE开发工具下载链接;

  1. 用户找到与自己手上芯片型号所对应的开发工具及手册,点击“下载文件”(这里以下载CI130X芯片所对应的开发工具为例);

  1. 解压下载好的压缩文件;

  1. 打开解压出的IDE安装包,打开文档中心【编译软件安装与使用】,根据其中指引进行IDE开发环境的安装。

  1. 安装完毕后,用IDE工具打开放入了语言模型、声学模型、播报音及[60000]{cmd_info}.xlsx表的SDK包。用户可以根据产品需求参照文档中心《软件开发》进行应用代码的开发;

  1. 代码编写完成后,可以在3代芯片的IDE工具内点下图所示AI图标,左上角选项框中可以看到该工程名,先点击清理按钮,再点击生成按钮进行代码编译;

  1. 代码编译完成后,鼠标右键点击工程名,鼠标左键点击“合成分区bin文件”;

  1. 合成所有分区bin文件后,点击启动打包升级工具;

  1. 第一次打开“打包升级工具”需要选择与用户开发板对应的芯片型号;

  1. 然后点击“固件升级”按钮,跳转到固件升级工具界面会看到我们开发板的串口号、下载进度、下载速率及选中框等信息。另外请注意开发时使用的是USB转串口方式和电脑通信,请提前在电脑中安装好USB转串口芯片的驱动,以方便固件升级工具获取到串口号;

  1. 点击“选择固件”选择已经准备好的固件;

  1. 再在串口号后面勾选我们的开发板;

  1. 开发板重新上电或复位,软件会自动开始烧录选好的固件。

CI130X系列CI-D06GT01D开发板套件烧录时可以使用下图中的复位按键:

CI1122/CI110X系列CI-B02-MB开发板套件烧录时需按下图中的电源开关断电后,再按电源开关上电:

  1. 固件升级工具烧录时会实时显示下载进度:

  1. 待固件升级工具显示“device:update success....”,这表示固件下载更新成功;去掉勾选再重新上电即可开始体验测试。

注:烧录串口默认为芯片的UART0,波特率为115200(CI110X系列)或921600(CI130X系列)

4、硬件开发

硬件开发主要分为两种开发方式,第一:在启英泰伦官方标准模块的基础上进行扩展开发;第二:在启英泰伦芯片的基础上根据官方推荐外围器件布局设计自有的产品模块。接下来就这两种方式展开来说明,用户可根据开发能力和开发资源综合比较后选择其一。

4.1 硬件模块选型

官方标准模块是我司根据各产品领域的常用功能,选用合适的芯片和优质外围物料设计的模块,具有性价比高、可靠性好等特点。用户可在【硬件选型指南】文档的模块选型表中选取适合自身需求的一款模块,进行具体的产品开发。

4.2 硬件芯片选型

如用户需要直接采用语音芯片进行硬件开发,则需要先根据推荐选择适合自身产品的芯片型号。用户可【硬件选型指南】文档的芯片选型表中进行选择。

4.3 硬件设计

需要自行设计PCB的用户,可根据我司提供的【参考原理图】进行设计。启英泰伦提供了多种方案参考原理图,可以满足大多数通常应用场景。

硬件开发人员可根据到语音AI平台中获取参考原理图文件。具体获取步骤如下:

  1. 第一步:进入语音AI平台“开发资料”页面;

  1. 第二步:“分类”选项选择“硬件设计资料”;

  1. 第三步:“文件名称”输入具体芯片型号后点击“查询”,例如“CI1306”;

  1. 第四步:找到与芯片对应的硬件开发资料,点击蓝色的“下载文件”则会下载包含对应芯片的“参考原理图”。

4.4 硬件测试

我司芯片和模块相关的测试报告可到【测试报告】进行下载。

客户若自行设计模块,可参考上述测试项进行送检测试。

5、产品测试

基于启英泰伦芯片或模块开发的产品方案有一套完备的测试方法,分别为“语音方案识别效果测试的方法”、“搭建自动化语音识别测试的方法”、“产品批量生产时功能测试的方法”。

5.1 识别效果测试

文档中心有介绍语音方案识别效果测试的方法文档,请到【识别效果测试】查看。

5.2 自动化识别测试

文档中心有介绍搭建自动化语音识别测试的方法文档,请到【自动化识别测试】查看。

5.3 生产测试

文档中心有介绍我司产品批量生产时功能测试的方法文档,请到【生产测试】查看。

6、产品方案开发

文档中心有介绍我司已完成的一些产品方案应用案例,用户可以点击【产品方案开发】查阅对应文档浏览相关信息,用于指导开发和产品生产。