基于声学特征的语音情感分析
基于声学特征的语音情感分析[20200406110552]
摘要
随着时代的变化，科技的飞速发展，人类与机器之间的关系越来紧密，人们生活的方方面面都离不开手机，计算机等电子器械。如何让这些电子设备在理解人类的情感的基础上，更人性化的执行人类的各项指令，已然成了现代科技发展的主流趋势。语音情感分析技术则是实现人工智能的重要组成部分，语音情感识别技术包含语音信号的预处理、情感特征参数的提取和语音情感识别模式算法等。
本课题将在Matlab平台上选用LDA线性判别式分析算法完成语音情感识别系统的分类判别模块。该判别式在子空间中具有最好的可分离性，是一种简单而又高效的分类方法。在对15种情感进行分析，进行横向和纵向的对比总结后得出结论，主要研究对各种情绪的语音信号识别的准确性。
*查看完整论文请 +Q: 3 5 1 9 1 6 0 7 2
关键字:语音信号信号处理情感识别模式识别LDA
目 录
第一章 引言 1
1.1研究语音情感分析技术的目的和意义 1
1.2语音情感分析的国内外研究现状 1
1.3研究内容和技术方法 2
1.4 小结及章节安排 2
第二章 语音情感识别技术的原理和方法 4
2.1综述 4
2.2.语音信号的预处理 4
2.2.1语音情感信号的预加重 4
2.2.2语音情感信号的加窗处理 5
2.2.3短时平均过零率 7
2.2.4语音情感信号的端点检测 8
2.3 基于声学的特征参数 9
2.3.1根据韵律特征提取的参数 10
2.3.2 结合韵律与语音学特征提取的参数 11
2.3.3语音信号的频域特征提取 11
2.3.4 非线性分析提取的特征参数 12
2.4语音情感识别的方法 13
第三章 模式识别算法 14
3.1 神经网络 14
3.2 SVM算法 14
3.3 LDA算法 14
3.3.1 LDA线性判别分析概述 14
3.3.2 Fisher线性判别准则 15
第四章 实验仿真与结果 18
4.1 SD模式 18
4.2 GD模式 20
4.3 SI模式 21
4.4 分析小结 22
第五章 总结与展望 23
参考文献 24
致谢 25
第一章 第一章 引言
1.1研究语音情感分析技术的目的和意义
伴随计算机技术的不断发展，为实现计算机与人类之间的交流，其中语音交互技术已成为了非常必要手段,让计算机更加的智能，更加的人性化和情感化，成了近几年来众多研究者们探索和发展的方向，使得计算机能理解人类的感情，在自然的情况下消除计算机对人类语音的误解，使机器更了解人类内心的真实想法，能对同一内容不同声音情感的表达作出正确、灵敏的判断与反映。为了实现这些目标，让计算机可以判断用户的情感分类，然后在情感判断的基础上用相互结合的方式完成对话。
在沟通过程中想要知道对方的想法和情绪，语音是最便捷和最直接的认知方式。语音之所以能够抒发各种各样的感情，是因为在说话中，包含着不同的语速、能量、频率等情感特征，这些情感参数是声音信号中非常重要的用来判别情感的资源，这是我们理解他人所要表达的情感的不可或缺的部分，许多研究表明，大多数人，在表达相同的情感语音特征参数是相同的。由此，计算机可从提取分析语音情感特征的方式来识别人类的不同情感。
语音情感分析广泛的涉及了计算机、通信、声学、语言学、统计学、信号与系统、心理学和人工智能等许多部分都有着紧密的关联。语音情感识别的最大好处就是让用户界面更加自然和容易使用。由于情感识别的相关关技术的不断深入发展，使得更多复杂高级的语音情感识别系统的实现成为了可能。在最近的二十年到三十年，语音情感分析已被应用于许多工业，军事，交通，医疗，民用等方面并且越来越普遍。在生活的各个方面也已经进入人们的生活，例如：在智能家电的增加可以自动感知情感的功能，它可以提供更好的服务；在信息检索时，通过情感解析功能，就能提高智能信息检索的准确性和效率性；此外，用于远程教学中，此技术的应用可以帮助提升教学质量。
1.2语音情感分析的国内外研究现状
语音情感识别是语音信号处理中的一支新锐，有关的研究至今已有二十余年的历史，对提高智能人机交互水平和丰富多媒体检索方法有着非凡的实际意义。
世界上最早的对语音情感的研究始于1972年，国外学者发现人的情感变化对语音信号有很大的影响。到1990年，MIT多媒体实验室构造了一个“情感编辑器”对各种情感进行信号采样，利用人的语音信号、面部表情信号等来识别人的各种情感。1996，日本东京成蹊大学提出的情感空间的概念和语音的情感模型的建立。2000年，马里博尔大学的Vladimir Hozjan研究了基于多种语言的语音情感分析。2009年4月，日本开发了一个具有丰富表情的新型女性机器人“HRP-4C”，通过对使用者语音信号的识别，机器人可以表现出快乐，愤怒，悲伤和惊讶的表情等。
在国内，对语音情感识别分析的研究起步的比较晚。2001年，东南大学的赵力等人提出了关于语音信号情感识别的研究。2003年，北京科技大学谷学静等人将BDI Agent技术和情感机器人的语音识别技术应用到技术研究中去。此外，2003年十二月，中科院自动化研究所等单位在首都举办首届中国情感计算及智能交互学术全国会议。2005年十月，又在首都主办了第一届情感计算及智能交互学术国际会议。
1.3研究内容和技术方法
本课题的主要工作是在Matlab平台上搭建一个简单的基于声学特征的语音情感识别系统，并在此基础上，研究基本声学特征对于基于LDA（线性判别分析）技术的语音情感识别系统的影响。在Matlab软件中编写简单的语音情感识别代码，建立一个识别系统，基于给定的语音数据库中的声音信号，提取特征参数，对这些参数通过幅频变换、傅里叶变换等进行处理，利用计算机进行实验仿真，测得语音信号所表示的语音情感。
1.4 小结及章节安排
第一章是绪论。首先介绍了本论文的研究内容及意义，确定本文的研究对象：语音的情感分析。阐述了语音情感技术相关的一些技术，以及国内和国际上对此课题的研究现状。最后简要介绍了本课题做的主要内容。
第二章阐述了该课题的整体框架，简单的阐明了语音信号的前期处理技术，即语音信号的预处理与大量的情感参数。最后提出了本课题的重点，引出了语音情感判别式分析的算法，为第三章做出铺垫。
第三章主要是介绍了判别式模式识别算法与选择，一共列举了三种判别式模式识别算法，分别是神经网络模式、SVM算法和LDA算法。本章节主要介绍的是LDA算法的原理及在本论文中的运用。
第四章是语音情感识别系统仿真的研究。首先是介绍了系统运行时用到交叉验证方法。之后是通过在MATLAB软件上的系统仿真得出语音情感识别结果，对SD、GD、SI三种模式进行仿真结果的分析和总结。
第五章总结了本课题所编写的内容并对此技术展开了一系列的展望，对现阶段的研究成果进行了归纳，讲明了研究的意义，并预言了语音情感识别研究的发展趋势。
第二章 语音情感识别技术的原理和方法
2.1综述
不同类的语音情感识别系统，有着不同的设计与实现的细节，然而它们采纳的根本方法都是近似的。语音情感识别技术与语音识别技术，都有三种相同的组成部分，它们分别是：预处理、参数的提取与模式分类的计算。其识别过程为：首先，预处理语音信号；其次，是对该语句提取语音特征参数；然后在这基础上建立一个模板，即为训练过程；将特征参数与模式匹配的过程称为识别过程。流程图如图2.1：
图2.1 语音情感分析流程图
2.2.语音信号的预处理
事实中的语音情感信息是种模拟信号，要先将模拟语音情感信号 以采样周期 来采样，将它离散成 ，采样周期的选取取决于模拟语音情感信号 的带宽，以防止信号的频域混叠而失真。对语音情感信号进行预处理包含了：对语音信号的预加重、加窗处理和端点检测。
摘要
随着时代的变化，科技的飞速发展，人类与机器之间的关系越来紧密，人们生活的方方面面都离不开手机，计算机等电子器械。如何让这些电子设备在理解人类的情感的基础上，更人性化的执行人类的各项指令，已然成了现代科技发展的主流趋势。语音情感分析技术则是实现人工智能的重要组成部分，语音情感识别技术包含语音信号的预处理、情感特征参数的提取和语音情感识别模式算法等。
本课题将在Matlab平台上选用LDA线性判别式分析算法完成语音情感识别系统的分类判别模块。该判别式在子空间中具有最好的可分离性，是一种简单而又高效的分类方法。在对15种情感进行分析，进行横向和纵向的对比总结后得出结论，主要研究对各种情绪的语音信号识别的准确性。
*查看完整论文请 +Q: 3 5 1 9 1 6 0 7 2
关键字:语音信号信号处理情感识别模式识别LDA
目 录
第一章 引言 1
1.1研究语音情感分析技术的目的和意义 1
1.2语音情感分析的国内外研究现状 1
1.3研究内容和技术方法 2
1.4 小结及章节安排 2
第二章 语音情感识别技术的原理和方法 4
2.1综述 4
2.2.语音信号的预处理 4
2.2.1语音情感信号的预加重 4
2.2.2语音情感信号的加窗处理 5
2.2.3短时平均过零率 7
2.2.4语音情感信号的端点检测 8
2.3 基于声学的特征参数 9
2.3.1根据韵律特征提取的参数 10
2.3.2 结合韵律与语音学特征提取的参数 11
2.3.3语音信号的频域特征提取 11
2.3.4 非线性分析提取的特征参数 12
2.4语音情感识别的方法 13
第三章 模式识别算法 14
3.1 神经网络 14
3.2 SVM算法 14
3.3 LDA算法 14
3.3.1 LDA线性判别分析概述 14
3.3.2 Fisher线性判别准则 15
第四章 实验仿真与结果 18
4.1 SD模式 18
4.2 GD模式 20
4.3 SI模式 21
4.4 分析小结 22
第五章 总结与展望 23
参考文献 24
致谢 25
第一章 第一章 引言
1.1研究语音情感分析技术的目的和意义
伴随计算机技术的不断发展，为实现计算机与人类之间的交流，其中语音交互技术已成为了非常必要手段,让计算机更加的智能，更加的人性化和情感化，成了近几年来众多研究者们探索和发展的方向，使得计算机能理解人类的感情，在自然的情况下消除计算机对人类语音的误解，使机器更了解人类内心的真实想法，能对同一内容不同声音情感的表达作出正确、灵敏的判断与反映。为了实现这些目标，让计算机可以判断用户的情感分类，然后在情感判断的基础上用相互结合的方式完成对话。
在沟通过程中想要知道对方的想法和情绪，语音是最便捷和最直接的认知方式。语音之所以能够抒发各种各样的感情，是因为在说话中，包含着不同的语速、能量、频率等情感特征，这些情感参数是声音信号中非常重要的用来判别情感的资源，这是我们理解他人所要表达的情感的不可或缺的部分，许多研究表明，大多数人，在表达相同的情感语音特征参数是相同的。由此，计算机可从提取分析语音情感特征的方式来识别人类的不同情感。
语音情感分析广泛的涉及了计算机、通信、声学、语言学、统计学、信号与系统、心理学和人工智能等许多部分都有着紧密的关联。语音情感识别的最大好处就是让用户界面更加自然和容易使用。由于情感识别的相关关技术的不断深入发展，使得更多复杂高级的语音情感识别系统的实现成为了可能。在最近的二十年到三十年，语音情感分析已被应用于许多工业，军事，交通，医疗，民用等方面并且越来越普遍。在生活的各个方面也已经进入人们的生活，例如：在智能家电的增加可以自动感知情感的功能，它可以提供更好的服务；在信息检索时，通过情感解析功能，就能提高智能信息检索的准确性和效率性；此外，用于远程教学中，此技术的应用可以帮助提升教学质量。
1.2语音情感分析的国内外研究现状
语音情感识别是语音信号处理中的一支新锐，有关的研究至今已有二十余年的历史，对提高智能人机交互水平和丰富多媒体检索方法有着非凡的实际意义。
世界上最早的对语音情感的研究始于1972年，国外学者发现人的情感变化对语音信号有很大的影响。到1990年，MIT多媒体实验室构造了一个“情感编辑器”对各种情感进行信号采样，利用人的语音信号、面部表情信号等来识别人的各种情感。1996，日本东京成蹊大学提出的情感空间的概念和语音的情感模型的建立。2000年，马里博尔大学的Vladimir Hozjan研究了基于多种语言的语音情感分析。2009年4月，日本开发了一个具有丰富表情的新型女性机器人“HRP-4C”，通过对使用者语音信号的识别，机器人可以表现出快乐，愤怒，悲伤和惊讶的表情等。
在国内，对语音情感识别分析的研究起步的比较晚。2001年，东南大学的赵力等人提出了关于语音信号情感识别的研究。2003年，北京科技大学谷学静等人将BDI Agent技术和情感机器人的语音识别技术应用到技术研究中去。此外，2003年十二月，中科院自动化研究所等单位在首都举办首届中国情感计算及智能交互学术全国会议。2005年十月，又在首都主办了第一届情感计算及智能交互学术国际会议。
1.3研究内容和技术方法
本课题的主要工作是在Matlab平台上搭建一个简单的基于声学特征的语音情感识别系统，并在此基础上，研究基本声学特征对于基于LDA（线性判别分析）技术的语音情感识别系统的影响。在Matlab软件中编写简单的语音情感识别代码，建立一个识别系统，基于给定的语音数据库中的声音信号，提取特征参数，对这些参数通过幅频变换、傅里叶变换等进行处理，利用计算机进行实验仿真，测得语音信号所表示的语音情感。
1.4 小结及章节安排
第一章是绪论。首先介绍了本论文的研究内容及意义，确定本文的研究对象：语音的情感分析。阐述了语音情感技术相关的一些技术，以及国内和国际上对此课题的研究现状。最后简要介绍了本课题做的主要内容。
第二章阐述了该课题的整体框架，简单的阐明了语音信号的前期处理技术，即语音信号的预处理与大量的情感参数。最后提出了本课题的重点，引出了语音情感判别式分析的算法，为第三章做出铺垫。
第三章主要是介绍了判别式模式识别算法与选择，一共列举了三种判别式模式识别算法，分别是神经网络模式、SVM算法和LDA算法。本章节主要介绍的是LDA算法的原理及在本论文中的运用。
第四章是语音情感识别系统仿真的研究。首先是介绍了系统运行时用到交叉验证方法。之后是通过在MATLAB软件上的系统仿真得出语音情感识别结果，对SD、GD、SI三种模式进行仿真结果的分析和总结。
第五章总结了本课题所编写的内容并对此技术展开了一系列的展望，对现阶段的研究成果进行了归纳，讲明了研究的意义，并预言了语音情感识别研究的发展趋势。
第二章 语音情感识别技术的原理和方法
2.1综述
不同类的语音情感识别系统，有着不同的设计与实现的细节，然而它们采纳的根本方法都是近似的。语音情感识别技术与语音识别技术，都有三种相同的组成部分，它们分别是：预处理、参数的提取与模式分类的计算。其识别过程为：首先，预处理语音信号；其次，是对该语句提取语音特征参数；然后在这基础上建立一个模板，即为训练过程；将特征参数与模式匹配的过程称为识别过程。流程图如图2.1：
图2.1 语音情感分析流程图
2.2.语音信号的预处理
事实中的语音情感信息是种模拟信号，要先将模拟语音情感信号 以采样周期 来采样，将它离散成 ，采样周期的选取取决于模拟语音情感信号 的带宽，以防止信号的频域混叠而失真。对语音情感信号进行预处理包含了：对语音信号的预加重、加窗处理和端点检测。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/dzkxyjs/2366.html
