Primi Isolated Word Spectrogram Classification Based on Convolutional Neural Network

DONG Hua-zhen

doi:10.13718/j.cnki.xdzk.2021.02.021

A spectrogram model based on convolutional neural networks is introduced to achieve the classification of Primi isolated words. This model can achieve classification through unsupervised learning of spectrogram features. A nine-layer convolutional neural network modelis built, which is trained using the spectrogram sample set. For the trained model, the influence of various factors on the experimental results is tested by experiments, and thus the appropriate parameters are obtained. After the parameters are determined, a comparative experiment of convolutional neural network, support vector machine and BP neural network is performed, and the results show that the accuracy of Primi isolated word spectrogram classification based on convolutional neural networkis as high as 91%~95%, thus indicating its effectiveness and feasibility. Compared with SVM and BP neural network, this convolutional neural network has the advantages of automatically extracting features, avoiding over-fitting, and adapting to large sample data for training.

HTML

近年来国内语音识别技术快速发展，并取得显著成效.国内语音识别领域处于领先地位的科大讯飞、百度语音实验室等对汉语语音识别率可以达到95%以上，但对濒危少数民族语言，如普米语、佤语等语言的语音识别技术研究仍处于空白状态.普米族主要居住于云南省和四川省，普米语为其民族语言，由于没有文字，语言和文化仅限于口口相传^[1].随着年长的人相继离世，普米族的语言和文化正逐渐消亡.为了促进普米族语言和文化的传承和发展，语音识别技术介入迫在眉睫.

尽管目前语音识别的方法很多，但总的来说可以归结为基于语音信号和基于语谱图的2种语音识别方法.语音识别中，同一个词不同说话者的语速不同，同一个人发同一个音，在不同时刻，所用的时间也不相同^[2-3].因此，通过语音信号来统计人类语音的发音特征非常困难.基于语音信号的语音识别中提取的特征参数主要有梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficient，MFCC)、线性预测倒谱系数(Linear Prediction Cepstrum Coefficient，LPCC)等，其中MFCC、LPCC是最有效的^[4]，但这2个特征参数的提取是比较困难的.而基于语谱图的方法能够包含发音特点，并将语音信号的所有特征以图像的形式显示出来.通过傅里叶变换将语音信号转换为语谱图，借助图像处理的方法提取语谱图特征，最后利用分类器，可以实现基于语谱图的语音识别，从而大大减小了语音识别的难度.近年来国内对基于语谱图的语音识别展开了研究.如：宋洋^[5]提取语谱图的边界特征和二值特征作为语谱特征，通过构造BP神经网络实现维吾尔语音素分类.唐闺臣等^[6]通过提取语谱图中的Hu不变矩特征、纹理特征和部分语谱特征，基于SVM实现了对语音情感的分类.梁士利等^[7]将语谱图的频域图矩阵进行投影后的值作为特征值，并利用SVM实现二字汉语词汇语音识别.

基于语谱图的语音识别，其本质是实现语谱图的分类.普米语孤立词语谱图分类属于模式识别的范畴^[8]，模式识别算法的选择是普米语孤立词语谱图分类的难点也是核心问题.目前常用的模式识别算法有神经网络算法(Neural Network Algorithm，NNA)、K-近邻分类器(K-Nearest Neighbor Classifier，KNNC)^[9]、支持向量机(Support Vector Machine，SVM)、卷积神经网络(Convolutional Neural Network，CNN)等.神经网络算法、K-近邻分类器进行模型训练时需要大量训练样本.此外，神经网络算法^[10]基于经验风险最小化原则，面临“过学习的风险”的问题. SVM针对多分类和大样本数据时，单一核在学习过程中存在学习能力强泛化能力弱或泛化能力强学习能力弱等局限性，需要引入多核支持向量机^[11].卷积神经网络^[12-14]是深度学习的一个重要算法，其提供了一种端到端的学习模型，通过梯度下降算法可对模型的参数进行训练，并自动地学习图像的特征完成图像的分类.

3. 结论

本文在机器学习框架系统Tensorflow上搭建了一个包含7个卷积层和2个全连接层的卷积神经网络模型，并完成了普米语孤立词语谱图的分类实验.通过不同样本比例、不同学习率、不同激活函数、不同输出节点数等的对比实验，分析各项因素对分类准确率的影响，得到模型适当的参数.在此基础上，分别对卷积神经网络、SVM和BP神经网络的实验结果进行比较，判断卷积神经网络模型的性能.

实验表明，在基于卷积神经网络的普米语语谱图分类实验中，分类准确率受学习率、激活函数、同一类训练样本与测试样本比例等因素的影响，但通过模型的训练，可找到适当的参数，对模型参数进行调整.相比于SVM和BP神经网络，卷积神经网络的性能较好，对普米语孤立词语谱图的分类是有效的.通过实验分析各项因素对分类准确率的影响，从而得到了适当的参数并在训练好的模型上进行普米语孤立词语谱图的分类实验.

Figure (6) Table (10) Reference (14)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

[1]	胡文君, 傅美君, 潘文林.基于Kaldi的普米语语音识别[J].计算机工程, 2018, 44(1): 199-205. doi: 10.3969/j.issn.1000-3428.2018.01.034 CrossRef Google Scholar
[2]	余建潮, 张瑞林.基于MFCC和LPCC的说话人识别[J].计算机工程与设计, 2009, 30(5): 1189-1191. Google Scholar
[3]	李原.小词汇量连续语音识别系统的研究[D].重庆: 西南大学, 2017. Google Scholar
[4]	游大涛.基于听觉机理的鲁棒特征提取及在说话人识别中的应用[D].哈尔滨: 哈尔滨工业大学, 2013. Google Scholar
[5]	宋洋.基于图像处理的维吾尔语音素语音学特征提取与应用[D].新疆: 新疆大学, 2016. Google Scholar
[6]	唐闺臣, 冯月芹, 梁瑞宇, 等.面向语音情感识别的语谱特征提取算法研究[J].计算机工程与应用, 2016, 52(21): 152-156, 174. Google Scholar
[7]	梁士利, 魏莹, 潘迪, 等.基于语谱图行投影的特定人二字汉语词汇识别[J].吉林大学学报(工学版), 2017, 47(1): 294-300. Google Scholar
[8]	尹恒, 付佳, 何凌, 等.基于PICGTFs和SSMC增强的腭裂语音咽擦音自动识别方法: CN201810852508.2 [P]. 2019-2-1. Google Scholar
[9]	CHEN S B, XU Y L, DING C H. Q, et al. A Nonnegative Locally Linear KNN Model for Image Recognition [J]. Pattern Recognition, 2018, 83: 78-90. doi: 10.1016/j.patcog.2018.05.024 CrossRef Google Scholar
[10]	章鸣嬛, 陈瑛, 沈瑛, 等.人工神经网络和支持向量机性能比较及其在DMD疾病识别中的应用[J].上海理工大学学报, 2016, 38(4): 346-351. Google Scholar
[11]	王霞, 董永权, 于巧, 等.结构化支持向量机研究综述[J].计算机工程与应用, 2020, 56(17): 24-32. Google Scholar
[12]	KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Proceedings of the 25th International Conference on Neural Information Processing Systems, 2012, 1: 1097-1105. Google Scholar
[13]	李彦冬, 郝宗波, 雷航.卷积神经网络研究综述[J].计算机应用, 2016, 36(9): 2508-2515, 2565. Google Scholar
[14]	FUKUSHIMA K. Artificial Vision by Multi-layered Neural Networks: Neocognitron and Its Advances [J]. Neural Networks, 2013, 37: 103-119. Google Scholar

Message Board

Primi Isolated Word Spectrogram Classification Based on Convolutional Neural Network

Abstract

References

Access History

通讯作者: 陈斌, bchen63@163.com

Article Metrics

Access History

Other Articles By Authors