马丁 李琦 胡意娟
摘要：自2014年Facebook（脸书）用20亿美元收购Oculus（傲库路思）以来，以虚拟现实（Virtual Reality，VR）为代表的一系列商业化产品便逐渐进入普通消费者的生活，与VR相关的各种产业也蓬勃发展，尤其是在娱乐领域，VR的应用潜力巨大。在2018年上映的电影《头号玩家》中，人们戴上头显，穿上体感衣，就能进入虚拟的游戏世界，甚至一举一动都能在游戏世界中得到反馈，强大的沉浸感带来全新的感官体验。运用现有技术能否实现全身沉浸式的体验？电影中的游戏世界到底离我们有多远？要塑造高保真的虚拟世界，除了要有沉浸式的视听，用户在虚拟现实中的交互方式也尤为关键，这也是动作捕捉技术应用于虚拟现实的重要意义。本文围绕虚拟现实和动作捕捉技术，论述虚拟现实中的交互。
关键词：虚拟现实;动作捕捉;游戏世界
1 虚拟现实设备现状
以输出设备为标准，现阶段市场上主流的VR设备大致分為三类：主机端VR头显（头戴式显示器）、移动端VR眼镜和VR一体机。
1.1 主机端VR头显
主机端VR需要连接电脑或者游戏机主机，通过主机强大的性能获得最好的虚拟效果，又分为PC（个人电脑）端头显和游戏主机端头显。
PC端VR头显是以外接个人计算机为运行系统的VR头显[1]。该类设备体验感好，涉及光学、仿真、传感、人机交互等多种技术，发展最成熟，市场占有率高。游戏主机端VR头显是以游戏主机为运行系统的VR头显，与PC端头显相似[1]，但与之不同的是，该类设备通常只兼容特定游戏主机。
主机端VR拥有更好的VR内容资源，可借助主机端高性能的图形计算能力以及合作平台的内容生态，运行品质更精良的VR内容。但受制于PC或游戏主机的体积，主机端VR设备使用场景主要在室内，便携性较差。此外，头显与主机通过连接线相连，这会大大限制用户在操作时的活动范围，用户往往只能保持站姿或坐姿，小幅度移动身体，所以沉浸感时常会被线的牵制感所影响。
1.2 移动端VR眼镜
2014年，谷歌发起虚拟现实平台“Cardboard”（纸盒）计划，用户只需要将智能手机放到内置一对塑料镜片的小型纸箱中，就可以通过眼镜的镜片结构，配合手机内置的陀螺仪以及相应VR内容，获得虚拟现实的基本体验[2]。此后，市场上各个品牌的VR眼镜层出不穷。此类产品相对廉价，使用便捷，但缺点是交互系统薄弱。用户在使用过程中，主要通过操作手机或者设备上的按钮实现与虚拟现实系统的交互，更像是单方面观看，而非真正进入虚拟现实世界。
1.3 VR一体机
VR一体机是具备独立处理器的VR头显，具备独立运算、输入和输出的功能，无需外接设备，它更像是一台装备了虚拟现实系统的微型电脑。用户戴上头显后，无需连接游戏机或电脑，就可体验虚拟现实的世界。且系统自带相应的VR应用，用户可通过手柄进行操作，还可联网下载新内容。不论是画面的质量，还是附带的VR内容，VR一体机的使用体验都比VR眼镜更好，所以其价格也会昂贵很多。最主要的是，借助VR一体机，用户可以实现在虚拟现实中的交互，沉浸感大大增强。虽然在性能方面受硬件限制，VR一体机的功能不如主机VR强大，但是使用时没有连接线的束缚，用户的自由度更高，也便于携带。
2 虚拟现实中交互的壁垒
2.1 交互方式单一
现阶段，虚拟现实技术中的主流交互方式具有一定的局限性。不管是主机端VR还是VR一体机，用户在VR界面中的交互主要是通过操作手柄上的按钮或挥动手柄进行的，所以在控制游戏角色时缺少一定的触感，而且对不太熟悉手柄操作的新用户来说，上手有一定难度。例如，在VR游戏《半衰期：爱丽克丝》的一个场景中，用户可以从桌上拿起一支笔在玻璃上写字。根据经验，拿笔时用户会下意识地伸出食指和大拇指去拿，但这种认知逻辑与实际手柄操作方式是存在矛盾的，也就是说这种手柄交互模式在一定程度上与用户在现实环境下的认知是冲突的，不利于用户的沉浸式体验。
2.2 交互中的空间受限
众所周知，玩家在游戏以及其他应用里的移动是非常重要的交互。在PC游戏中，玩家一般通过键盘上的W、A、S、D键或上下左右键来移动;在主机游戏中，则通过手柄的摇杆来移动。但在VR应用中，受数据线长短和房间大小的限制，用户在体验虚拟现实时，无法进行幅度过大的位移，难以实现现实世界与虚拟世界的同步位移。所以目前在虚拟现实中的位移，主要有两种解决方案。第一，用手柄选定地图的某一方位点，进行位置传送，就像瞬间移动;第二，就像传统游戏手柄，持续操作手柄的摇杆，位置随摇杆的变化而变化。然而这两种解决方案都不是最完美的，在视觉、听觉都处于沉浸状态下时，玩家可能会下意识地想靠走动来探索周边环境，但往往走了几步后就会被数据线牵制，或画面中的人物没有与玩家的移动相匹配，从而产生违和感，打断沉浸的状态。此外，画面的变化与身体的静止也可能导致大脑处理信息时发生认知错乱，从而产生“晕动症”这样的不良身体反应，进而影响沉浸体验[3]。
总体而言，目前虚拟现实中的交互还达不到全身沉浸的效果，依赖于手柄的交互模式缺乏对用户的身体感知。要想突破壁垒，打造电影《头号玩家》中的游戏世界，仍需结合新的技术，如动作捕捉技术。
3 动作捕捉在虚拟现实中的应用
动作捕捉技术并不是一个很新的概念。早在20世纪70年代，计算机技术尚不发达的时候，动画师就通过照相机拍摄演员的连续动作，分解成一系列的关键帧照片，再参考这些照片进行动画绘制，这可能是动作捕捉技术的原型[4]。而动捕技术发展至今，已进入影视特效、医疗康复、运动分析、体感交互游戏等多个领域。惯性动作捕捉系统通过穿戴在人身上的一套惯性传感器来捕捉人体各个部位的加速度、角速度、方向等，然后通过算法将这些数据还原成一套人体动作。
动作捕捉应用在虚拟现实中也效果拔群。2019年6月，游戏公司Valve（维尔福集团）发布了旗舰级VR——Index VR（茵蒂克丝VR），其设备中的指虎手柄运用了手指跟踪技术。与传统手柄不同，玩家戴上手柄后，手指依然可以自由活动，设备对手部动作的细致捕捉能实时反馈到游戏画面中，从而使玩家的动作和游戏中的角色同步。此外，玩家也能通过相应的手部动作在游戏中进行交互，如拿枪、写字、组合物品等，这大大增强了用户体验VR时的沉浸感。凭借高质量的3A大作《半衰期：爱丽克丝》，以及沉浸感更强的交互，Index VR成为VR行业中的佼佼者，这也侧面说明了动作捕捉技术与虚拟现实的完美适配。
若想使沉浸感有质的飞跃，动作捕捉技术需要发挥更大的作用。相应设备势必需要对人的身体进行全方位的适配，如躯干、腿部、足部等，只有将人的全部动作映射至虚拟现实中，才能实现让人完全进入虚拟世界的感官体验。然而要达到全身式的沉浸感，除了在硬件方面需要进一步升级（如头显性能、VR手套、体感衣等），更要解决空间限制问题。要解决这一问题，万向跑步机可能是一个不错的选择。它的空间需求相对较小，能较好地模拟脚步运动，可以将人的方位、速率和里程数据全部记录下来并传输到游戏当中，在虚拟世界中做出对现实的真实模拟，使用户在游戏中实现同步运动，甚至完成一些复杂的姿态，这使得对人体全身的动作捕捉更具意义[5]。然而万向跑步机也有一些弊端，如高昂的价格以及用户的体能限制，此类产品性价比不高，普及尚有难度。
针对交互方式和空间两个痛点，科技公司诺亦腾提出了一些解决方案。
交互方式上，诺亦腾产品线中的诺亦腾Hi5 VR手套（见图1）极大地增强了用户在虚拟现实体验时的沉浸感。与前文提到的Index VR指虎手柄不同，诺亦腾Hi5上没有按键，外观与普通手套几乎毫无差别，但手套中配备了7颗9轴高性能惯性传感器，可达到低于5ms的延迟，精准捕捉全手动作，用户可获得实时自然的交互体验。此外，轻量化的传感器、无感佩戴的体验更增强了用户在VR中的沉浸感。目前市场上已经有不少高质量的虚拟现实应用以诺亦腾Hi5作为核心交互方式，并得到了较好的用户反馈。
空间上，在2016年诺亦腾发布了商用虚拟现实解决方案——Project Alice（爱丽丝项目）。该系统采用光学—惯性混合动作捕捉系统，配合核心计算系统、软硬件管理平台、高性能计算平台部署方案与图形渲染系统等模块，对用户全身的动作信息进行捕捉，并映射至虚拟现实系统，使用户能够在一定的空间内自由走动，进行多人实时互动，并提供虚实结合交互等多种虚拟现实体验。此外，开发者可面向不同专业领域，有针对性地开发出更加丰富的虚拟现实应用内容。自面世以来，该系统已应用于影视游戏开发与制作、文化与泛娱乐体验（见圖2）、体育健康测评与训练、医疗诊断与康复、工业仿真与虚拟教学、商业传播与品牌项目等多个领域。虽然该方案对空间场地的需求较大，尚未解决空间使用成本高的问题，但在技术上，它已经为全身沉浸式的虚拟现实体验打下了基础。
4 技术前景
在未来的VR产业中，设备的轻量化和对用户动作的捕捉将成为行业发生质变的关键。而且随着5G网络的普及，信号传输技术不断发展，能在保持高画面素质的同时，摆脱数据线的束缚，使用户体验上升一个台阶，所以VR一体机可能成为市场的主流，而移动端VR眼镜和主机端VR则会逐渐被淘汰。对用户全身范畴的定位和捕捉，更有助于感官沉浸感的增强，当虚拟场景欺骗的人体感官越多，用户越容易对其产生依赖性，从而真正形成与现实世界相对应的虚拟世界。
此外，除了应用于娱乐方面，高沉浸感的VR技术也会带动社交方式的改变。技术进一步革新，当虚拟世界越来越接近真实，虚拟办公、虚拟课堂，甚至虚拟派对等一些社交领域的全新概念也有机会落地成为现实。届时，人与人之间的联系会变得更加紧密和抽象，甚至从现实世界中剥离。
5 结语
《头号玩家》中的游戏世界并不是遥不可及的。身处技术爆炸的时代，硬件设备中的难关终将得到突破，VR产品也定会代代优化升级，相应的VR内容亦会蓬勃发展，我们完全有理由相信VR技术将从方方面面改变人类的生活方式。
参考文献：
[1] 范丽亚，马介渊，张克发，等.虚拟现实硬件产业的发展[J].科技导报，2019，37（05）：81-88.
[2] 曹磊.国外虚拟现实的现状与趋势[J].竞争情报，2017，13（02）：51-58.
[3] 曹煊.虚拟现实的技术瓶颈[J].科技导报，2016，34（15）：94-103.
[4] 刘昊扬，邓思渊.动作捕捉：面向未来的技术[J].高科技与产业化，2015（11）：62-65.
[5] 苏凯，赵苏砚. VR虚拟现实与AR增强现实的技术原理与商业应用[M].北京：人民邮电出版社，2017：48-49.
作者简介：马丁（1995—），男，浙江杭州人，硕士在读，研究方向：数媒与影像数字化。
李琦（1972—），男，江苏南京人，博士，副教授，研究方向：美学与数据可视化。
胡意娟（1993—），女，河南周口人，硕士在读，研究方向：数媒与影像数字化。
