辅助虚拟现实数据捕捉手套及电刺激力觉增强反馈电路系统设计【字数：11452】
摘 要本文提出并设计一种新型用于辅助虚拟现实（Virtual Reality, VR）设备进行人机交互的原型系统。该系统包括一个数据手套和一个功能性电刺激（Functional Electrical Stimulation, FES）腕带，其中手套有手部运动及姿态数据采集功能，腕带使用FES作为VR的信息反馈。数据手套主要由弯曲度传感器、九轴运动姿态传感器、STM32主控模块和蓝牙模块组成。其采集原理是通过五根弯曲度传感器和九轴运动姿态传感器分别对手指弯曲度数据、手掌的三维空间数据进行测量，PC端在完成手势的识别的基础上通过虚拟场景中判断人手对物体触摸状态产生刺激控制信号，并传输至刺激腕带产生不同强度的FES刺激脉冲作用于用户的手腕部皮肤，从而实现虚拟现实中的力触觉增强反馈。该系统具穿戴舒适、重量轻、识别精度高的特点。
目 录
第一章 引言 1
1.1国内手势交互发展现状 1
1.2国外手势交互发展现状 2
1.3课题研究的意义 3
1.4本论文的主要工作 3
第二章 手势姿态数据采集系统硬件设计 5
2.1手势姿态数据采集系统的功能需求 5
2.2 手套硬件主控设计 6
2.3手势识别传感器搭建 9
2.4 VR设备平台搭建 12
2.5 功能性电刺激电路 13
第三章 手势姿态手套软件编程设计 16
3.1单片机软件开发工具简介 16
3.2手势姿态数据滤波处理 17
3.3手势姿态数据识别程序设计 17
第四章 系统级联测试 20
4.1手部姿态动作识别测试 20
4.2刺激腕带功能测试 22
结束语 24
本科论文发表情况 25
致 谢 26
参考文献 27
第一章 引言
手势姿态识别是解决虚拟现实（Virtual Reality，VR）领域上非常关键的一种交互方式，不同的实现方式、不同的设备都会让用户得到不同的体验。近年来，随着VR设备备受大众的欢迎和人机交互（HumanComputer In *好棒文|www.hbsrm.com +Q: ^351916072^
teraction，HCI）[1]科学的不断发展，在众多人机交互方式上，手势交互成为最符合人们习惯的交互方式。
1.1国内手势交互发展现状
目前国内使用数据手套与VR设备结合的交互方式研究的文献比较少，但是在手势数据识别的研究方面有许多，例如：基于MEMS传感器手势识别系统[2]；基于表面肌电信号和惯性测量单元的手势[3]；基于深度学习的手势识别[4]。这些研究方法都基于惯性传感器，利用惯性传感器易于佩戴、灵敏度高的特点得到了较好的应用。国内在交互设备上的研究有国内东南大学秦欢欢等人设计的采用双手力觉反馈的人机交互系统设计[5]，如图11所示。这些例子和文献资料以及研究设计方法与实现都为本课题提供较好的参考。但是由于人手的灵巧性、皮肤形状的复杂性、传感器技术的复杂性很大程度的限制了手势交互研究发展，并且使用机械角度测量的方式需要花费大量的时间对手指的运动范围进行调整，不能在较短的时间内保证较高的性能。如何去解决这些不可避免的问题也成为国内关注的焦点。
/
图11 双手力觉反馈的人机交互系统设计
1.2国外手势交互发展现状
国外在手势姿态数据的捕捉上比较成熟的产品有美国Leap公司制造的Leap Motion手势体感控制器，该产品的原理是基于设备中的两个传感器摄像头，摄像头通过不同角度捕捉的画面重建出手掌在真实世界三维空间的运动信息。检测范围大概在传感器上方25mm到600mm之间。该产品大量运用在PC与MAC计算机上主要完成人手与机器的操作交互。由于Leap Motion设备是基于光学感测[6]的方式，在实际使用过程中经常会出现视线被遮挡导致识别精度不足的情况同时也会出现因识别的物体的运动速度过快导致数据丢帧的现象，实物如图12所示类似的产品还有2010年微软推出的Kinect Sensor[7]如图13所示和2015年索尼推出的Eye Toy。在力觉触控反馈方面有使用磁流变液智能材料和CyberGlove公司共同构建的力反馈数据手套[8]，如图14。该研究的手套具有一定的手势识别和力觉反馈功能但设备的体积比较以及重量比较重的原因，在佩戴与使用过程中存在一定的困难。
图12 Leap Motion设备
图13 Kinect Sensor设备
/
图14 Cyber Glove数据手套
1.3课题研究的意义
手势是一种包含较多信息量的人体语言，它能够将物理动作描述成无声的语言以供人们交流，它能传递人的想法、情绪及某些指令信息。相较于其他的交流方式，手势具有自然友好等优点[9]。为了更好的完成人机交互的体验，让人们可以使用手势控制一些设备进行相关的操作，实现人与机器的信息交互。因此如何通过一些传感器、加速度器来完成对人手动作的识别，变得尤为重要。另外手势识别在许多领域中还有很广泛的应用。例如：手语识别领域，可以识别聋哑人的手语翻译成文字;工业领域，模拟操作训练；游戏领域，突破了游戏手柄的有限交互体验。在VR领域手势识别也有着不可或缺的地位，实现虚拟手与现实手的动作同步可以增加VR的沉浸感，并能实现在虚拟现实中完成现实生活场景中的人手捉取动作。
综上所述，手势识别作为一种新型的人机交互方式，它的应用前景是显而易见的。本文为了增强手势交互中的可感知性，加入功能性电刺激(FES)的模块。该模块通过刺激人手的皮肤表层神经来类似的模拟出真实人手的触感。该方法运用在VR上面可以提高VR使用者的沉入式体验。
1.4本论文的主要工作
本文将融合弯曲度传感器、九轴加速度传感器的信息，用于进行动态手势的识别。并在此基础加入功能性电刺激模块，用于手势交互中感觉反馈。手势识别的方法将使用VR的形式表现出来。论文的整体过程包括：1）首先针对该研究领域的文献调查工作，内容包括国内外的设计方法以及实现方式；2）进行硬件设计，将功能性电刺激模块、蓝牙发送模块和数据识别模块集成到一个较小的电路板上；3）完成对硬件性能分析；4）使用上位机对硬件进行软件程序编写，实现对手势数据的采集和处理并通过蓝牙方式传输数据，通过VR可视化的形式实时显示手势动作；5）虚拟场景会根据手势的动作以及物体不同产生一个刺激信号输出到手腕的腕带电路上，腕带在接收到该信号后会根据刺激信号参数输出刺激脉冲人手手臂上从而达到刺激的目的，最后给出不同手势对应的手势数据并对整个系统的可行性进行进一步的分析。
论文的结构如下：
第一章介绍手势识别的国内外研究现状和发展现状，总结出不同设计方法的优缺点，并介绍了手势识别面临的技术难度和挑战；
目 录
第一章 引言 1
1.1国内手势交互发展现状 1
1.2国外手势交互发展现状 2
1.3课题研究的意义 3
1.4本论文的主要工作 3
第二章 手势姿态数据采集系统硬件设计 5
2.1手势姿态数据采集系统的功能需求 5
2.2 手套硬件主控设计 6
2.3手势识别传感器搭建 9
2.4 VR设备平台搭建 12
2.5 功能性电刺激电路 13
第三章 手势姿态手套软件编程设计 16
3.1单片机软件开发工具简介 16
3.2手势姿态数据滤波处理 17
3.3手势姿态数据识别程序设计 17
第四章 系统级联测试 20
4.1手部姿态动作识别测试 20
4.2刺激腕带功能测试 22
结束语 24
本科论文发表情况 25
致 谢 26
参考文献 27
第一章 引言
手势姿态识别是解决虚拟现实（Virtual Reality，VR）领域上非常关键的一种交互方式，不同的实现方式、不同的设备都会让用户得到不同的体验。近年来，随着VR设备备受大众的欢迎和人机交互（HumanComputer In *好棒文|www.hbsrm.com +Q: ^351916072^
teraction，HCI）[1]科学的不断发展，在众多人机交互方式上，手势交互成为最符合人们习惯的交互方式。
1.1国内手势交互发展现状
目前国内使用数据手套与VR设备结合的交互方式研究的文献比较少，但是在手势数据识别的研究方面有许多，例如：基于MEMS传感器手势识别系统[2]；基于表面肌电信号和惯性测量单元的手势[3]；基于深度学习的手势识别[4]。这些研究方法都基于惯性传感器，利用惯性传感器易于佩戴、灵敏度高的特点得到了较好的应用。国内在交互设备上的研究有国内东南大学秦欢欢等人设计的采用双手力觉反馈的人机交互系统设计[5]，如图11所示。这些例子和文献资料以及研究设计方法与实现都为本课题提供较好的参考。但是由于人手的灵巧性、皮肤形状的复杂性、传感器技术的复杂性很大程度的限制了手势交互研究发展，并且使用机械角度测量的方式需要花费大量的时间对手指的运动范围进行调整，不能在较短的时间内保证较高的性能。如何去解决这些不可避免的问题也成为国内关注的焦点。
/
图11 双手力觉反馈的人机交互系统设计
1.2国外手势交互发展现状
国外在手势姿态数据的捕捉上比较成熟的产品有美国Leap公司制造的Leap Motion手势体感控制器，该产品的原理是基于设备中的两个传感器摄像头，摄像头通过不同角度捕捉的画面重建出手掌在真实世界三维空间的运动信息。检测范围大概在传感器上方25mm到600mm之间。该产品大量运用在PC与MAC计算机上主要完成人手与机器的操作交互。由于Leap Motion设备是基于光学感测[6]的方式，在实际使用过程中经常会出现视线被遮挡导致识别精度不足的情况同时也会出现因识别的物体的运动速度过快导致数据丢帧的现象，实物如图12所示类似的产品还有2010年微软推出的Kinect Sensor[7]如图13所示和2015年索尼推出的Eye Toy。在力觉触控反馈方面有使用磁流变液智能材料和CyberGlove公司共同构建的力反馈数据手套[8]，如图14。该研究的手套具有一定的手势识别和力觉反馈功能但设备的体积比较以及重量比较重的原因，在佩戴与使用过程中存在一定的困难。
图12 Leap Motion设备
图13 Kinect Sensor设备
/
图14 Cyber Glove数据手套
1.3课题研究的意义
手势是一种包含较多信息量的人体语言，它能够将物理动作描述成无声的语言以供人们交流，它能传递人的想法、情绪及某些指令信息。相较于其他的交流方式，手势具有自然友好等优点[9]。为了更好的完成人机交互的体验，让人们可以使用手势控制一些设备进行相关的操作，实现人与机器的信息交互。因此如何通过一些传感器、加速度器来完成对人手动作的识别，变得尤为重要。另外手势识别在许多领域中还有很广泛的应用。例如：手语识别领域，可以识别聋哑人的手语翻译成文字;工业领域，模拟操作训练；游戏领域，突破了游戏手柄的有限交互体验。在VR领域手势识别也有着不可或缺的地位，实现虚拟手与现实手的动作同步可以增加VR的沉浸感，并能实现在虚拟现实中完成现实生活场景中的人手捉取动作。
综上所述，手势识别作为一种新型的人机交互方式，它的应用前景是显而易见的。本文为了增强手势交互中的可感知性，加入功能性电刺激(FES)的模块。该模块通过刺激人手的皮肤表层神经来类似的模拟出真实人手的触感。该方法运用在VR上面可以提高VR使用者的沉入式体验。
1.4本论文的主要工作
本文将融合弯曲度传感器、九轴加速度传感器的信息，用于进行动态手势的识别。并在此基础加入功能性电刺激模块，用于手势交互中感觉反馈。手势识别的方法将使用VR的形式表现出来。论文的整体过程包括：1）首先针对该研究领域的文献调查工作，内容包括国内外的设计方法以及实现方式；2）进行硬件设计，将功能性电刺激模块、蓝牙发送模块和数据识别模块集成到一个较小的电路板上；3）完成对硬件性能分析；4）使用上位机对硬件进行软件程序编写，实现对手势数据的采集和处理并通过蓝牙方式传输数据，通过VR可视化的形式实时显示手势动作；5）虚拟场景会根据手势的动作以及物体不同产生一个刺激信号输出到手腕的腕带电路上，腕带在接收到该信号后会根据刺激信号参数输出刺激脉冲人手手臂上从而达到刺激的目的，最后给出不同手势对应的手势数据并对整个系统的可行性进行进一步的分析。
论文的结构如下：
第一章介绍手势识别的国内外研究现状和发展现状，总结出不同设计方法的优缺点，并介绍了手势识别面临的技术难度和挑战；
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/dzkxyjs/771.html
