VR视角–交互大发现时代

版权所有,禁止匿名转载;禁止商业使用;禁止个人使用。


作者:顾煜


  顾煜 腾讯公司 互动娱乐研发部 引擎技术中心负责人 专家工程师

  从2000年起参与游戏开发工作,共开发了十多款针对海外市场的Console游戏,面向平台包括GBA,PS 1/2/3,Xbox/Xbox 360和PC。
  2009年加入腾讯,组建技术团队,负责天涯明月刀客户端技术开发,开发了水银引擎,支持天涯明月刀OL开发。目前负责互娱研发部引擎技术中心工作,支持工作室的客户端技术,针对新游戏平台、新游戏市场和新游戏类型做探索。

  更多原创文章请关注微信公众号:VR新观察


【原创文章】

  这几个月,VR行业处于破冰前夜,Oculus Rift蓄势待发,HTC vive在10分钟预售15000台,PS VR带来了空前强大的游戏软件阵容,三星送出大量Gear VR设备。究竟VR会深度改变我们的娱乐、专业、教育体验,还是只是另一个被炒作的泡沫?

 

图片来源于网络

 

  本文试图从另一个视角切入,和大家深度观察一下VR的交互方式,探索一下VR的可能潜力。

  从这两个月的各类VR新闻来看,我们很有可能处于这些年最大的*交互*技术变革浪潮。我们来看看这样的变革,会对产业造成怎么样的影响。
 

  交互方式,主导了游戏的变化

  本文的第一个观点是:所有游戏、娱乐类型的变化,都和交互方式有着千丝万缕的关系,没有成熟的交互体系,很多类型的游戏只能是昙花一现。

比如:

  · 格斗游戏的兴起,是Capcom在《街霸》系列游戏中摸索出简单实用的必杀技体系,让战斗变得有技术,易学难精。相比而言,过去的格斗游戏,要么系统难于上手,要么深度远远不足,远远没有街霸系列的影响力,无法开创一个时代。

 

图片来源于网络

  · RTS的兴起,离不开Westwood在《沙丘2》中的探索,4E的核心玩法体系,加上简洁易了解鼠标操作,轻松可以发布复杂命令的方式。这些交互的尝试,把RTS打造成新的游戏形态。早期在MD上就有不少游戏有RTS的雏形,比如《凯撒的野望2》,可是不成熟的操作交互方式,注定让着类游戏只能成为小众Geek的游戏。


图片来源于网络

 

  · FPS游戏在主机上的崛起,也是依赖《Halo》对手柄操作方式的优化、加入Aiming Assist的理念,而之前所有的主机FPS游戏,没有一个有类似的成熟交互方式,都只是简单照搬PC游戏的操控方式,转向不便,射击很难精准,只给玩家带来了困扰,怀疑自己智商和肢体协调能力不足。


图片来源于网络

 

  上述的大量交互变革,都是基于成熟的技术,发展出来的 应用级别 的交互革新。但即使是应用级别的交互革新,也创造出很多新的游戏流派,给我们带来了大量的欢乐回忆。

  VR目前带来了更多成熟的交互方式,以头盔的旋转为基础,加入3D空间的手势、体感操作,这一波革新是基础技术层面对传统交互手段的全面超越,势必会带来更多的突破。

  大家也许会有疑问,技术层面的交互革新,近年来一直不断,但似乎没有哪一次真正颠覆过行业。比如在体感交互层面,在ps2的时代就有摄像头识别,Wii的体感设备大红大紫,Kinect的体感识别也是风靡一时,为什么它们最终都是昙花一现,没有真正普及?这就引出了我们的下一个观点。

 

  只有做到极致的交互技术才有价值

  本文的第二个观点是:消费级的人机交互手段,需要做到极致才有使用价值,哪怕只做到95分,也是没有任何使用价值的。

  为了说明这个观念,我们需要先确认一下这个理论的适用范围,仅仅在消费级交互。在专业领域,做到60分,就已经非常好用。比如各类Motion Capture技术,虽然很复杂,也需要无数的后期工作来弥补不足,但是大家一样用得很欢。专业领域,关注*能不能的问题,消费领域,关注好不好*的问题。

  有了前面的共识,我们看两个常见的案例:

  · iPhone的出现,彻底颠覆了我们认为触控屏不好用的印象。在iPhone出现前,主流消费硬件使用电阻屏,配合Windows mobile/塞班的整套UI规范。这套方案,响应不精准,还要用硬物按,按钮都只有几个像素,使用不便。iPhone带来了多点触摸电容屏,同时配合它在UI上一整套新的设计语言,完成了对移动设备交互方式的彻底颠覆。用我的观点,电阻屏以及同时代的UI设计其实做到了95分,如果你能按照整套规范,很规范的使用,也是可以做到误差低,响应及时的,可是95分的技术依然被市场无情抛弃了。


图片来源于网络

 

  · 语音识别技术是另一个我认为做到了95分的交互技术。很多年前IBM做过一个叫做Via Voice的产品,就可以做到语音输入,经过前期各种复杂的学习和矫正,输入非专有名词和人名的时,识别正确率也能达到90%以上。这个交互手段在技术上是非常有意义的,但实用价值非常有限。问题不是在你正确输入的那90%的时候,而是在你错误的那10%,你会发现为了纠正这10%的错误,需要花费更多的时间,要么切换到键盘,要么重说一遍来识别(说不定还是会识别错误)。近年来Siri之类在语义识别、正确率方面有了很大的进步,也不需要提前训练了,我认为基本已经到95%的可用水准了,但是身边依然只有很少人在使用,最多的用处也就是设置一个闹钟。

图片来源于网络

 

  有了这些认识,我们来分析一下为什么以前的体感技术都不给力。ps2/xbox之类的摄像头识别就不多说了,早期产品,也就只能玩个擦玻璃之类的游戏,图一时新鲜。Wii的体感系统在商业上有巨大的成功,刷新了体感在游戏体验中的价值。然而实际用下来也会发现,Wii的判断还不准,经常有抖动,虚拟鼠标的设定也极其糟糕,虽然比较准,但是对人类而言易用性不足,拿一个棒子指着屏幕,小心翼翼的移动,一不小心就错过图标,抖动也非常严重。所以早期wii的游戏主打体感,但后来就不那么强调体感了。



图片来源于网络

 

  我们重点分析一下微软的kinect,当年kinect宣传的确非常惊艳,可以在很低的延迟下捕捉人体骨架信息,直接感觉是跨入了科幻新时代。而实际使用后,就会觉得问题相当多:


图片来源于网络

 

  · 延迟并不小,我们团队在X1上开发无尽之剑kinect版,使用新一代的kinect设备,已经在延迟上有了非常大的改善,但我们发现整个游戏的战斗响应节奏,都会比原来触控屏幕的更慢,因为kinect天生有一定的延迟,所以游戏核心逻辑要做不小的改动。

  · 精确运动感知能力不足,特别是操控菜单的时候,就有和wii一样的感受,我能移动,能选中菜单项,但那个操作敢不敢更自然一点,更精确一点?

  · 识别错误较多。凭心而论kinect的识别已经非常逆天,但周围有人走动怎么办?操作人没有站在合适的位置怎么办?操作人坐下或者躺下怎么办?骨架经常有莫名其妙的抖动。在游戏中只要遇到一次,就非常难受,菜单操作的时候选错东西是常见的,实际游戏中更是要非常小心。

  在这个情况下,能活下来的比较好的体感游戏,也就是那些无惧延迟、不需要精确感知能力、有一定容错的体感游戏,其实只有一种,就是跳舞游戏。但即使是这样的游戏,也会有菜单交互,也会有玩家一边玩体感,一边用手柄操作菜单,而不是全部通过体感搞定。

  我们的结论是,上述那些95分的交互技术,都有一个共性,就是在一部分爱折腾、有理解能力的Geek手里,其实都是很酷炫,代表先进生产力,能正常工作的。但是在学习能力不足普通用户那里,比如我妈,就绝无可能让它们正常工作。即使对学习能力比较强的普通用户,比如我儿子,我也是不放心让他一个人玩Kinect游戏的,因为他时不时会跑来找我,问为什么不识别了。Kinect是一个给Geek玩的技术,你需要知道太多的背后工作原理,比如有识别距离限制,比如骨架识别会抖动,所以你操作菜单的时候最好用什么姿势,响应有延迟,所以不要乱划,那样只会浪费体力。语音交互是另一个给Geek玩的技术,你也需要知道背后原理,为什么名字无法识别?噪音太大会有影响吗?哪些输入用语音更适合?如果不知道这些原理,可以预期你会遇到的只有沮丧。

  既然以前的技术不给力,这一次和VR一起来的交互技术变革,又能把交互做到多好呢?

 

  VR带来的交互技术变革,超越了消费级交互技术的底线

  本文的第三个观点是:这次技术变革中的体感交互,超越了消费级交互技术的底线,有希望能快速普及,革新交互体验。

  这次技术变革,以头部转动的监测和3D手势识别为代表,比起以前的种种体感设备,它们吸取了很多之前的教训,带来更多维度的输入信息,更精确,同时可靠性也大大提高。


  · 吸取教训

   Kinect是一个非常完美的实验室技术,它雄心勃勃的识别人体骨架,事实上也做得非常出色。但是它的性能和可靠性都不够理想,而且它缺乏一些精准确定性的输入。我们可以说体感输入是类似模拟输入,是一个模糊输入的手段,而传统的游戏按键,是数字化的输入,非零即一,是一个确定化的输入手段(严格说,现在的主机游戏手柄,很多按键也是模拟的,只是通常实现的时候都把它们当做数字按键使用)。模糊化和精确化的输入,各有各的用处,但是kinect就缺乏一个精确化输入的手段,导致Kinect菜单交互非常难用,在很多场合无法使用。理论上可以用单手拿着无线手柄来确认,但手柄没有在人体工程学上专门针对这个应用场景设计过,使用起来非常不舒适。

  这一代设备,普遍都带上按钮,在控制射击等各方面,会很方便。同时,这代设备也没有尝试识别全身骨架,只是识别人的位置和手的位置,几个点的识别,远远比全身骨架更容易做到快速精准。


  · 更多维度

  HTC Vive先带来了Room Scale技术,支持在一个较小的空间内精确定位手柄位置,从演示结果,到亲身体验的经历,都是非常惊艳的效果,我们可以在3D空间里操作游戏物体,而不是同以前一样,把3D空间,投影到2D屏幕,然后在2D屏幕上模拟3D操作。 Oculus Rift也不示弱,Oculus的手柄也支持3D空间的体感操作,同时在人体工学上更上一层楼,直观易用的外形,轻便灵巧。游戏手柄从PS2的Dual Shock和Xbox手柄后,已经很久没有本质性的革新了,Oculus Rift的手柄给人一种特别可靠的感觉,让人感觉3D手柄,就应该是这样设计的,小巧精致,按钮都在最舒适的位置,作为新一代的手柄,Oculus Rift在手感上比HTC Vive更精致。 扩展到了3D空间操作后,带来了更多玩法上的革新,在下一部分游戏介绍再来谈一下。

图片来源于网络

图片来源于网络
 

  · 更精确、更快速
  这几个设备都很精确,可以尝试用手柄操作在3D空间里面接其他人抛过来的东西,这个体验是很独特的。他们的精确度和响应延时都达到了非常高的水准,操作自然流畅,在大量评测视频中,我们都可以看见游戏充分利用了3D操作,在3D空间中有着细微的操作动作,比如拉开抽屉、飞刀等等,如果不是对精确性有足够的自信,是断然不敢这样做的。同时,头盔上的转动监测,由于会影响到人体晕动症,也是各个厂家花大量精力去解决的,目前即使在Gear VR这样的低端VR平台上,也已经非常可靠,更不用说Oculus、HTC和PS VR这三家高端VR厂商的产品了。

由于有了可靠的3D体感输入,以及可靠的3D头盔转动监测,两者组合起来,更会带来前所未有的自然体验。


  · 更可靠

  这几个方案,基本都能做到一次调试,多次使用,在我们的观察中,多数人都能比较直观的开始上手,中间也不会有太多问题需要解答,就能顺利的进行游戏,这是在上一代技术中很少见的。我家人就经常在wii上玩高尔夫,表示怎么轻微的挥杆无法被感应,或者是在kinect中,无法选中某个菜单,但是在这一批的技术方案中,很少在游戏过程中,出现识别问题。

可靠性,带来了向消费级技术普及的可能性,也能大大降低大家使用中的不满,让高端用户更沉浸。如此靠谱的体感技术,对人民群众的娱乐体验,又会带来怎么样的冲击呢?

 

  交互大发现时代已经到来

  本文的第四个观点是:交互大发现时代已经到来,更多未知交互都在涌现,可能会带来很多新形态的游戏。

  很多新的游戏形态,都是随着新的交互手段的出现而出现的。当游戏开发者发现有如此好用交互手段以后,脑洞大开,所以我们在近期注意到,大量游戏,都在操控上有了巨大的进步,带来了不同的游戏乐趣。下面介绍几个近期看到的比较有趣的游戏:

  · 少年迷恋Naruto,采购数吨水果意图修炼忍刀:Ninja Trainer

图片来源于网络

 

  平板电脑上的Fruit Ninja大家都不陌生。在2D触摸屏上爽快的切开水果,也算是一种随着触摸屏普及带来的新交互方式。我们可以想象,用手柄或者鼠标来切水果会有多么无趣和糟糕的体验。

有一家小公司,开发了一个Ninja Trainer的游戏,把切水果搬到了HTC Vive。Kinect上很早就有切水果的游戏,但是由于交互技术的局限,只能通过降低重力,来降低难度,否则会因为响应延迟,基本没法玩。切水果的体验相当普通,眼到手不到的情况很普遍。

  在Vive上,这个Ninja Trainer的游戏相当出色,得益于输入方式低延迟和精准性,以及VR环境中观察物体方式更自然,切水果的体验非常好,而且还能做出用刀叉住水果的动作。引用RoadToVR的报告结论,就是这个游戏和kinect版切水果的不同,就是vive版本是真正能玩的。

  RoadToVR报告:http://www.roadtovr.com/ninja-trainer-htc-vive-is-like-kinect-fruit-ninja-except-it-actually-works-really-well/

  来段视频观察一下大叔的销魂演出吧:

  https://www.youtube.com/watch?v=LB9Zrvx_RY

  https://www.youtube.com/watch?v=r3EKpCbMGG8


  · 谜样的音乐拳击游戏,花季少女为何癫狂摇摆貌似误服摇头丸:Audioshield

图片来源于网络


  左勾拳右勾拳、冲击波、元气蛋,你要做的就是在虚拟空间击打不同的音符,快速和精准的体感识别,让传统音乐游戏也有了不同的玩法。

  AudioSheild视频:

  https://www.youtube.com/watch?v=FhSsdsu4yIk
 

  · 精神病闯入飞行管理塔台,胡乱指挥飞行造成坠机惨祸:Final Approach

图片来源于网络

 

  Ipad的飞行管理员类型游戏,通过触屏划线,引导飞机降落,是一个很上瘾的小游戏。在VR世界里,你需要在3D空间规划路线,操控上的提升显而易见,也带来了更多的乐趣和深度。本作也加入了更多有趣的战斗、地勤工作、炮台射击玩法等。

  Final Approach视频
  https://www.youtube.com/watch?v=ALH-f0GOFJI


  · 无知少年挂索飞渡悬崖坠入深渊:Windlands

图片来源于网络


  平台类游戏是很适合VR表现的,因为转头看东西是人的天性,所以跳跃的时候,控制下落在指定的位置,就更容易,人可以低头看地面,不需要做右摇杆控制镜头那样反直觉的事情。传统游戏做了很多镜头逻辑来弥补这些,但依然不够完美。另一个传统游戏不容易做好的事情是发射挂索。由于挂索发射要和镜头绑定,玩家很难在跳跃的短时间里面做好转镜头、瞄准和发射挂索的操作,所以传统游戏也需要做很多的辅助逻辑,让挂索操作更傻瓜化。但在vr环境里,镜头转动绑定头部运动,一切都是顺理成章,直观自然流畅。欣赏一下Windlands吧。

  Windlands视频

  https://www.youtube.com/watch?v=31gy7mF2ptM


  · 逗逼间谍意图扼杀AI觉醒,单枪匹马潜入基地摧毁阿法狗,飞刀大战萌宠机器人:Budget Cuts

图片来源于网络

 

  一个普通的潜入类游戏,真正让他不同寻常的是交互。捡起飞刀,躲在墙角,尾行敌人,我插,机器人倒地。整个游戏画面也不出色,场景也不华丽,就是靠交互方式,撑起了所有的乐趣。

  Budget Cuts视频:
  https://www.youtube.com/watch?v=Q7dVaembmgc


  VR游戏很大的特点,就在于没有办法想当然的脑补。不戴上头盔体验一下,你无法知道它有多酷。好在视频往往拍下了玩家的表现,君不见猥琐大叔笑得花枝乱颤,满口蹦出的都是最高级别的赞美形容词,大家可以被情绪感染一下,提前感受一下VR的魅力。

上面介绍的几个游戏,都是一直就有的游戏类型,当3D体感操作更成熟以后,它们都让传统游戏进化出了不一样的玩法和深度,带来了新的乐趣。谁也不知道,这一波的新操控,会进化出什么新类型的游戏,会不会再造一个Angry Bird的奇迹。

 

结论


图片来源于网络

 

  最近的VR信息铺天盖地,我们可以清晰发现,随着第一代商业级硬件逐渐发售,行业呈现升温状态,让人惊艳的新想法新游戏层出不穷,每天相关消息铺天盖地。

正如大航海时代开启了地理大发现的序幕,我们也很期望VR时代能开启新的交互大发现序幕。每一种新的交互方式,都可能让传统游戏玩法获得新生,新生游戏玩法也在酝酿,期待改变沉闷已久的游戏市场。

 

  注:以上文章仅代表个人观点

 

【专家观点】


  PC端虚拟现实头显哪家强? 多角度对比Rift和Vive

  本期专家  沈黎 


  沈黎腾讯公司 互动娱乐研发部 副总经理

  现任腾讯互娱研发部副总经理,管理腾讯游戏引擎技术中心和美术设计中心的相关工作。
  在加入腾讯之前,曾任Epic Games China的CTO,带领商业游戏引擎研发工作。再之前担任Ubisoft上海工作室的软件部门经理,主导研发了《分裂细胞1 PS2》、《分裂细胞2》、《分裂细胞4》等多款AAA游戏。

  专家观点:

  作为当前最重要的三种VR HMD,Oculus Rift、HTC Vive和Playstation VR各有优缺点。

  从用户体验角度来看,Oculus Rift创新的Touch手柄,是唯一一个同时支持手势识别、运动感应和实体按键的新一代输入设备,而HTC Vive通过使用Valve授权的lighthouse专利技术,提供了更准确的以及更大空间范围内的玩家位置追踪定位,在提供更多的玩法可能性和更舒适的体验的同时,也带来了更大的使用上的限制,另外目前的Vive优于其它两个头显的是它通过前置摄像头提供了see through功能,可以一部分解决阻碍用户长时间体验VR的“与真实世界隔绝”的问题,Sony Playstation VR作为整合进全封闭的Playstation平台的一环,在有高品质第一方软件支持的同时,也可以给所有的用户带来完全一致的体验。

  最终谁是最后的王者或者会不会有新的头显超越它们,现在谁也不能判断,取决于最终商业模式的选择、软件(游戏)的支持、硬件的后续演进等等因素。然而对于软件(游戏)开发者来说,现阶段并不需要去赌谁会最终取得胜利,更多得是应该判断最终VR里会采用的交互方式,针对这种交互方式来设计自己的软件(游戏)。

 

  在2016年,Oculus Rift、HTC Vive和PlayStation三大高端虚拟现实头显都将进入消费者市场。目前除了面向索尼家用游戏主机PS4的PSVR还没有公开发售日期和价格之外,另外两款PC端VR头显都已经启动预售,在美国售价分别为599美元和799美元,其中VR在中国大陆地区的预购价格更高达6888元。

  如果消费者对VR感兴趣,拥有足够充分的资金预算,哪一款PC端虚拟现实头显更值得选择?著名英文科技媒体CNet英国站副主编内特·拉尔夫(Nate Ralph)近日从PC配置需求、游戏、体验感等角度对HTC Vive和Oculus Rift两款VR头显进行了比较。VR弗伦德对原文主要内容进行了编译整理。

图片来源于网络

 

  虚拟现实大战已经打响,到挑边站队的时候了。

  我们左手边是Oculus Rift。这款头显曾经在Kickstarter获得240万美元融资,是目前公众辨识度最高的虚拟现实头显之一。在两年前,Facebook以20亿美元价格收购了其研发商Oculus VR。
我们右手边是HTC Vive。虽然Vive进入市场时间较晚,但得到了来自Valve的支持。Valve公司曾开发PC游戏史上数款最佳游戏作品,还创办了PC游戏分销平台Steam。

  在美国、英国和澳大利亚,Oculus Rift售价分别为599美元、499英镑或649澳元。HTC Vive在上述三个国家的售价则是799美元、689英镑和899澳元。接下来,让我们看看这两款头显之间的区别。
 

  我将得到什么?


  预购Rift的消费者将得到头盔、支持头部跟踪的无线传感器、Oculus Remote遥控器、一只Xbox One手柄。

图片来源于网络

 

  Oculus未来将推出Oculus Touch:一对掌持式无线运动控制器。笔者在Oculus Connect 2峰会期间试用过Oculus Touch,虽然需要花一点时间适应,但它们确实为玩家提供了一种在虚拟现实环境下与游戏交互的好方法。遗憾的是到目前为止,Oculus还没有公布Oculus Touch的价格和发售日期。

 


HTC Vive的手柄(
图片来源于网络


  HTC Vive价格约比Rift高出200美元。预购用户将获得头盔、两个无线虚拟现实控制手柄、两个室内传感器(空间定位器)、《工作模拟2050》和《奇妙装置》两款游戏,以及虚拟绘画软件《Tilt Brush》。
  笔者曾有幸体验过上述3款游戏,都挺有趣。对HTC Vive来说,专门的手柄显然是其竞争优势之一,因为游戏开发者知道玩家会通过什么操作方式体验他们的产品。与位置追踪控制器相比,玩家使用Xbox One进行操作将无法体验到同一水平的沉浸感,而在Oculus Touch正式发布后,还很难说有多大比例的Rift用户会购买。


  我将玩到些什么(游戏)?


  Oculus承诺在2016年,市面上将出现超过100款支持Oculus Rift头显的游戏,包括《我的世界》、《摇滚乐队》、《无处可逃》、《攀爬》等。与此同时,Oculus正为大约20款游戏提供研发资金支持,它们将由Rift平台独占。
 

图片来源于网络
Oculus Rift头显将配送一只Xbox One手柄

  截止至目前,Valve公司确认将登陆HTC Vive的游戏大作数量还不多。数款游戏将登陆两大PC端VR头显(如《工作模拟》),未来还有计划登陆PSVR。就现阶段来说,根据游戏数量来选择VR平台的做法似乎不太成熟,但在游戏储备的比拼方面,Oculus优势明显。


  我需要怎样的PC配置?


  在PC配置需求方面,Oculus Rift和HTC Vive差别不大。不赘述。

图片来源于网络

 

  我应该选择哪一款?


  两款头显旗鼓相当。HTC手柄操作带给我的体验让我感到震惊,而对Rift来说,在Oculus Touch正式发售的日子里,玩家将依赖于Xbox One手柄——Touch将有可能改变玩家与Rift游戏进行交互的方式。话虽如此,HTC Vive和Rift都将成为主流VR游戏平台,到今年年底,玩家将能够使用Rift头显体验到超过100款不同的游戏。

Oculus Touch(图片来源于网络

 

  我有哪些其他选择?


  HTC Vive和Oculus Rift都是面向PC的虚拟现实头显。但如果你不是电脑游戏玩家,或者不愿意为购买一套游戏装备花太多钱,那么你可以选择移动端VR头显。笔者至今仍是谷歌Cardboard的粉丝,三星Gear VR性能相对更强大,但只支持三星品牌的几款智能手机。在2016年世界移动通信大会(MWC)期间,LG公司也宣布将推出虚拟现实设备360 VR。

  如果你是主机游戏玩家,那就选择索尼公司的PSVR吧。PS平台永远不会缺少优质游戏,不过,索尼目前还没有公开PSVR的售价和发售日期。

  原文:

https://mp.weixin.qq.com/s?__biz=MjM5MTgzNTc1NQ==&mid=402031696&idx=1&sn=b8ea3e75bb226c31bc2c06e194606f4f&scene=25&srcid=03283y7ruSgbBDYR5yHLCco3&key=710a5d99946419d92db24ac79b57694a83f58c3138db0896665e136bc41d919f943a419707cecf4198d3ebba5bd7568e&ascene=1&#wechat_redirect

 

  室内三维数据生产及室内定位导航背后的核心技术

  沈黎 腾讯公司 互动娱乐研发部 副总经理

  专家观点:

  SLAM技术也可以在VR/AR里有非常有趣的应用,在VR中,可以利用SLAM的实时地图构建来整合现实世界的三维信息到虚拟世界中,在AR中,当虚拟的物体需要叠加在现实世界上时,需要能够感知现实世界的三维信息,才能得到正确的遮挡和渲染。

  Google的Project Tango提供了一个民用的方案,虽然还不是很完美,但是值得长期关注其进展。


  上个月在西班牙巴塞罗那举办的2016世界移动通信大会(NWC 2016)上,谷歌祭出有关Project Tango的新成果,让关注焦点锁定在室内三维数据生产及室内定位导航背后的核心技术SLAM(Simultaneous Localization and Mapping)。

  SLAM含义是“即时定位与地图构建”,自1988年被提出以来主要用于研究机器人移动的智能化。而结合当今技术,对于卫星导航信号严重衰减、甚至完全消失的室内环境中,配备了激光雷达、深度摄像头等关键设备或部件,SLAM技术帮助机器人构建在室内场景中的三维数据生产及环境感知系统,以助力机器人的自主行走。

  在近30年后的今天,如沐春风的SLAM,又迎来了哪些新的机遇?


  门槛降低,SLAM机器人民用市场正待崛起

  比如这次Project Tango在西班牙巴塞罗那加泰罗尼亚国家艺术博物馆的定位导航演示中,你能发现谷歌正在颠覆以往的智能手机,并通过给Tango设备加装普通摄像头之外的一个广角摄像头和一个深度摄像头(TOF)来增强环境感知的能力。

  而更重要的,还是Project Tango利用SLAM让未来的移动终端,在不依赖WiFi或蓝牙的前提下,也能独立感知所在的室内环境;它具体包括如何三维数字化地还原一个室内环境,并且知道自己在这个环境中的准确位置。

图片来源于网络


  在数据采集环节,Tango设备深度摄像头用于构建可量测的室内三维环境。在空间感知环节,将室内三维数据的特征,以可被Tango设备识别的数学逻辑存到云端,设备再根据轨迹、对比所处现实环境和三维数据特征,以及方位自主校正,最终判断所在的位置。

  客观来说,Project Tango提供的室内定位与导航服务,还只是他们践行SLAM的冰山一角。但Project Tango会通过开放API和SDK让SLAM应用更加普及,这的确值得期待。

  SLAM还会有哪些应用?在近一两年时间里,SLAM技术会更快节奏地被包装到一些前沿的科技产品中。这样的趋势已经发生在国内。

图片来源于网络

 

  比如这家名叫塔米科技的公司基于SLAM推出了一款扫地机器人,目前市场价2999元人民币。在初次使用时,机器人会记录家庭环境并将采集到的三维数据进行储存;在随后的作业中,机器人将规划最优清扫路线对清扫各个房间。这款产品的亮点还在于,它能记住充电电源的位置,一旦电量低或完成清扫任务时,它能回到充电处补充电能。

图片来源于网络

 

  还有一家名叫思岚科技的公司,你能看出它的命名是取自SLAM的谐音,其主要业务是致力于研发平民价格二维激光雷达套件,并研究机器人室内定位和制图的解决方案。目前思岚科技已经让关键的二维激光雷达部件售价降低到几百元人民币,无疑这在一定程度上进一步拓展了SLAM技术的应用前景。

图片来源于网络

 

  另一家名叫速感科技的创业公司还利用SLAM技术开发了一款智能购物车。除了在购物车上集成二维激光雷达套件,以用于构建和感知商超环境,购物车架上还装有深度摄像头识别购物车的主人,做到自主跟随。商品结算后,购物车也能也返回至设定地点集合。

  速感科技的一位产品负责人告诉3sNews,SLAM技术中关键成本的降低,使其在民用市场的商业化进程进一步加快,作为一家提供解决方案的创业公司,他们目前也开放了核心算法,准备构建机器人智能的生态。


  SLAM的行业级市场,又一片蓝海

  除了应用在机器人行业,得益于即时定位与地图构建的技术原理和优势,在行业应用中,围绕着大型场所的三维数据快速生产和服务的搭建,也让SLAM技术越来越受到关注,一些应运而生的产品和服务,走向了市场。

  所以,尽管室内三维数据应用的市场需求越来越大,但像博物馆、商场、机场等室内公共场所的三维信息化进展并没有想象中的那么快,其最大制约在于依靠传统手段,从前端数据采集到内业处理,再基于数据成品开发室内三维应用,其中每个节点的周期都很长。

图片来源于网络

 

  这些难题,都给了SLAM技术一展拳脚的机会。不必非得搭配IMU、WiFi或蓝牙,SLAM技术依托专业激光雷达、声呐、深度影像采集和识别系统,最终整合在一种推车式的采集设备中;它能在同一时间里定位、采集和拼接室内空间的高精度三维信息,这与以往使用静态激光雷达采集设备采集数据、再通过漫长的人工处理和生产出可用的三维数据相比,效率明显提升。


  虽然提供这种设备、包括打包解决方案的公司,在全球数量还并不多,但市场前景可能是巨大的。而且已有业内人士预测:一套SLAM采集系统一天可采集5万平方米的室内数据,在未来的5年时间里,会有500亿平方米的室内空间将以SLAM技术方式被采集,数据且会以更高效率满足不同应用需要。


  现在通过任何方法获取的三维数据,在其主流的应用趋势上,应当支持现阶段市场需求更强劲的Web应用,兼容HTML5和WebGL,无需安装其他插件和独立的应用程序,为大众移动终端所轻而易举地使用。在效率上引领着室内三维数据的采集方式的SLAM技术,更进一步地促进了室内三维数据的应用。比如下面这些应用案例,无疑都在推动SLAM技术应用的普及和发展。


  ·提高大型公共场所的服务和管理效率

  案例来自占地约20公顷的德国第二大机场——慕尼黑机场。在这里,乘客利用机场的三维室内地图,规划内部的目的地线路;同样,机场工作人员也利用三维地图确定自己的位置,然后在一套内部OA系统中规划执行任务的线路,以节约时间、提高效率。由于室内环境经常变化,面向乘客和工作人员的室内三维地图也需要经常更新,对此机场方面专门购买了基于SLAM技术的推车设备,组建专门的团队,只要有地方发生了格局改变,队伍马上过去采集数据,然后迅速对系统中的数据做出更新。

  ·助力虚拟博物馆的参观服务

  博物馆囿于参观人数限制、管理维护成本高等问题,对于创建高精度、高质量的虚拟三维场馆的需求是迫切的,而且对一些经常改变和优化展品种类及布局的博物院而言,需求还是高频的。所以有SLAM技术和专业设备的支持,在虚拟博物馆的建设需要得到保证后,博物馆官方便能为线下、线上的经营,作出更多有利的决策。

  ·用于建筑施工领域的效率提升和成本降低

  建筑专家和建筑项目管理人员往往需要密切监督所负责的施工建筑的进展情况,但很多时候,他们却并不在现场,以致在一切重要的时刻,可能会延误施工进程,增加项目的成本。但依靠SLAM技术和专业设备,高精度的建筑主题、管网或是材料信息的三维模型数据会及时递交到这些负责人的移动终端上,以便尽快处理问题。另外,通过SLAM技术快速制图的能力,也有助于施工项目阶段性地备份施工数据,所以一旦发生问题,业主可以追溯这些三维信息化的施工进程,进而做到清楚地定责和理赔。

  ·无缝连接室内外的ERP软件

  大型连锁企业,从供应链和物流服务的管理,到线下连锁商店的经营,依赖信息化手段提供支持。而SLAM和有关设备则从线下门店的信息化管理层面,提供支持。而基于室内外一体化的数据,连锁企业可以根据统一的需要,在ERP系统中部署业务,完善从采购、货运、入库、零售的一体化导航,提高效率。

  原文:

http://toutiao.com/i6258991328256852481/?tt_from=mobile_qq&utm_campaign=client_share&from=singlemessage&app=news_article&utm_source=mobile_qq&isappinstalled=0&iid=3801785951&utm_medium=toutiao_android&wxshare_count=5&pbid=12405253878#rd

 


  手势追踪时代-五款Leap Motion方案

  沈黎 腾讯公司 互动娱乐研发部 副总经理

  专家观点:

  VR应用和传统游戏(软件)最大的区别就是玩家在VR应用里成为了三维虚拟世界的一部分,那么玩家本能得就会使用肢体来进行更自然的交互,在肢体动作里,手部的动作也成了最重要的一环。

  Leap Motion最新的Orion软件版本相比之前,通过算法的改进极大得提高了识别的准确度,虽然在双手重叠等复杂情况下还是不能完美识别,但是对于大部分的情况下,都可以得到正确的骨骼信息,在不是要求快速精确操作的情况下已经可以实用。


  Leap Motion Orion软件在一周前更新了配套的手部追踪外设,这大大提高了该设备的性能,能更方便看到双手,并把动作转译到虚拟现实/增强现实体验中。Leap Motion公司打算把这项技术整合至新的头显中,那无控制器虚拟现实将比预想提前到来。以下,五位开发商利用Leap Motion软件创设了令人叹服的手部追踪体验。

1. Warlock VR

 

图片来源于网络

  在2015年Leap Motion 3D 游戏果酱大赛中,Warlock VR斩获第二名。这款游戏由Abnormalia工作室打造,游戏设置包含了一系列的手势魔法咒语。Abnormalia同时也推出了多人游戏模式,名为Warlock Battle。这两款游戏目前都可在Leap Motion开发者库中下载,都很好印证了自然手部追踪技术有助于虚拟现实游戏的发展。


2. Lyra VR

图片来源于网络


  Lyra VR是一款编曲软件,使用手部化身选择“节点”就可以生成旋律。以上视频展示了未使用Orion软件时的体验,但Leap Motionwangy网页显示使用Orion后,运行更加流畅。体验更新后,抓取节点、按下按钮和创作虚拟现实音乐变得更加容易。


3. Geometric

 

图片来源于网络


  Geometric是Leap Motion旗下的一款游戏。演示视频显示Orion支持更高的精确度和更高速的运动。你的手不再像是大船桨,只能粗粗地向前推或指示方向。现在食指可以扳动开关或触发效应。这将使期盼已久的应用如虚拟键盘成为现实。


 

4. AltspaceVR

图片来源于网络


  短语“用你的手说话”的存在是有一定道理的。AltspaceVR的社交属性使其从像Orion这样的软件中受益匪浅。以上视频展示AltspaceVR更新Orion体验的前后对比。最新版比以往的版本更具表现力、交际功能更强大。添加更多的手势语,将使虚拟现实社交朝现实社交迈一大步。


5. Blocks

图片来源于网络


  提及Orion驱动的体验,就不得不提Blocks。着重强调更新后的旗舰体验是有原因的。Demo显示设备在更新软件后,功能变得有多么强大。从手势追踪到与特定物体或现实物体的互动,Blocks的操作很简单,但它向我们 展示自然手势追踪在后Orion时代的发展前景。

  原文:

https://mp.weixin.qq.com/s?__biz=MjM5ODc1Njc5MQ==&mid=405682570&idx=4&sn=9163796b2bd5afbad1fd57c308c1038c&scene=25&srcid=0307k6uQ0dlVYKeft9RgJgnC&key=710a5d99946419d981df5035e46fb17a7edb2a07b38cb2b76c3f3c49d2112b926056987f8119a554596cfd519a3c3a90&ascene=1&#wechat_redirect
 

  Reactive Brush让你在HTC Vive上感受自己的艺术

  沈黎 腾讯公司 互动娱乐研发部 副总经理

  专家观点:

  触感技术可以进一步加强VR体验的带入感,现在出现的几家触感技术,本质上都是提供了有方向感的震动,可以模拟根据控制器运动方向带来的摩擦力和阻力,有理由相信,在下一代的VR控制器上都会集成触感技术,就像震动功能是XBox和PS这类游戏手柄的标配一样。


  不久之前,YiViAn报道了Tactical Haptics的触觉反馈技术。最新Tactical Haptics技术Demo通过VR绘画应用程序展示他们的Reactive Grip反馈技术与HTC Vive的运动控制器的结合。

  根据RoadtoVR报道,早在2013年游戏开发者大会GDC时期,Tactical Haptics就开始在研发Reactive Grip技术,但直到最近他们才在洛杉矶VRLA冬季展上展示它身影。当时Frank He亲自展示了他们最新款内部开发的应用程序Reactive Brush,这个名字恰如其分地描述了这种体验,他用Tactical Haptics的最新原型机——它把Reactive Grip技术和HTC Vive开发版的SteamVR控制器相结合来演示Demo。

图片来源于网络


  也许这种体验比较短暂,但在空中绘画会真的让我觉得是在一个实体表面上绘画。感觉好像拿着一把刷子在某种厚介质上涂抹。我忘了还有一块板在控制器的周围移动,而且画笔在涂抹颜料的视觉去人和我手上的感觉是匹配的。这种感觉很自然,而且在我的意识里控制器和画笔已经合为一体。这简直太不可思议了!

图片来源于网络


  Tactical Haptics已经推出了一个视频演示了这款应用的使用方法,试图说明Reactive Grip技术使怎样把力量反馈感觉转移给用户的。该系统由多个可移动板组成,由根据应用中的动作转换的伺服系统控制,让用户感觉到由自己的动作产生的阻力。然而,就像VR本身一样,这种技术需要你亲身体验去适应它,请相信我们,它绝对是人体输入设备中最有前景的配件之一。考虑到它只是一个demo而且还为如何在VR中如何实现直观的运用控制提供了线索,Reactive Brush本身确实是一种全功能的绘画应用。

  该公司目前准备把开发工具包卖给相关方,以筹集更多的资金来继续开发该技术。

  原文:

https://mp.weixin.qq.com/s?__biz=MjM5ODc1Njc5MQ==&mid=406131514&idx=4&sn=916b99a10a3acc1287007a3c43d9cecb&scene=25&srcid=0313tfMAq9jsA2Toy8aTfR5i&key=710a5d99946419d9fa3d4e8d749384bb3f0f7d1bd856e7c715ed09d1d559f4cc9bdca6746633389f02c078704c49d55e&ascene=1&#wechat_redirect

 

 

  市场观察

  沈黎 腾讯公司 互动娱乐研发部 副总经理

  专家观点:

  大家都说2016年是VR元年,元年的定义是怎样的,或者说这个说法是资本的需求还是市场的引爆开始,我们不去深究。

  但是不可否认的是,虚拟现实是一个虽然大家都不确信他会以怎样的方式进入大众,但是一定会最终成为大众接受的技术,因为他符合我们对于未来的想象,就像在还没有飞机的时候,我们就应该坚信人总有一天能够在天上飞。在当下大量的资本和资源都投入这个领域,所有的人也都关注这个领域的情况下,也有理由相信这个普及的进程不会让我们等得太漫长。

 

  索尼公布PSVR售价399美元10月发售 50款游戏疯狂来袭

  北京时间3月16日凌晨5点索尼在GDC大会期间召开PlayStation VR发布会,公布了最终消费者版本PSVR,确定其售价为399美元,并将于今年10月份发售,届时将有50款左右的游戏作品一同发布。

  全文详情链接>>>

https://mp.weixin.qq.com/s?__biz=MzAxMjUxMDMxMw==&mid=402346893&idx=1&sn=65cd576101d208fff54a74ce5dc0aebd&scene=1&srcid=0328oaqgG50QUawkxC32wtEk&key=710a5d99946419d9416ebca014b11e319576ba14abc2eca24816ceba8e099fa28a716bbb68206f1f139d0b2a3e023ace&ascene=1&

 

  为正式发售造势 HTC Vive将同时发布50余款虚拟现实游戏

  3月15日是2016 Game Developers Conference(游戏开发者大会)开幕的第二天,因为Sony Computer Entertainments(索尼电脑娱乐)的新闻发布会而变得热闹非凡。虚拟现实(VR)头显的制造商Oculus VR与HTC也在为即将发货的Oculus Rift和HTC Vive VR头显进行紧锣密鼓的筹备工作。HTC为了确保Vive VR头显的强势推出,已宣布将有超过50款游戏可供用户体验。

  全文详情链接>>>

https://mp.weixin.qq.com/s?__biz=MzAxMjUxMDMxMw==&mid=402346893&idx=4&sn=1f699a20c74ecff25f94edb18d3c0248&scene=1&srcid=0328hrYDeSHHwjN0UU9Iincg&key=710a5d99946419d98b4b69c5b7a24c5d85d774f18686bf41461718989f7bc19947eeb96372df4a8aa40c5657030a86ee&ascene=1&

 

  网易首款支持VR手游《命运起源》将亮相GDC

  GameLook这次曝光的网易新作名为《命运起源》,网易首款未来题材MMORPG,同时是首个可以支持VR设备的手游,即将作为重点产品下周亮相GDC。据透露,游戏不久后会开放与手游联动的VR试玩demo,支持大多数眼镜类VR设备。

  全文详情链接>>>

https://mp.weixin.qq.com/s?__biz=MjM5NzQwMjI4MA==&mid=408920201&idx=7&sn=6f3ef7f4e35f225d954622c1c78bbc12&scene=1&srcid=0311DbNT8OeXjMscwrlsmLtR&from=groupmessage&isappinstalled=0&uin=MTA2MTEzNDEwMA%3D%3D&key=710a5d99946419d9657b77fffb6d6cadd32a3789d6982f

 

  未来电影新趋势:世界首家VR影院诞生

  刚刚在荷兰阿姆斯特丹出现的虚拟现实影院The VR Cinema。“我们去掉了电影院里的红色联排座椅,在这里你也看不到白色的荧幕。”这家影院在其官方网站上介绍,取而代之的,是一个个独立的可以360度旋转的转椅,让你能任意旋转,感受虚拟现实中世界中的各个视角。当然,还有观影的虚拟现实设备——三星Gear VR加Galaxy S6手机。

  全文详情链接>>>

https://mp.weixin.qq.com/s?__biz=MzI4NTE3ODIyNA==&mid=402796967&idx=1&sn=ae7d020df6a8b2209c924709b29aa4ee&scene=1&srcid=0328leF7f7l2iBADUXCPBjhf&key=710a5d99946419d9ec8476b3d438c4bb9fd7f925e115d4701cd75beee742b8e6855b3a904a33439c704a27d973122019&ascene=1&

 

  阿里巴巴全面布局VR“Buy+”计划

  3月17日,阿里巴巴宣布成立VR(虚拟现实)实验室,并首次对外透露集团VR战略。据介绍,阿里将发挥平台优势,同步推动VR内容培育和硬件孵化。在内容方面,阿里已经全面启动Buy+计划引领未来购物体验,并将协同旗下的影业、音乐、视频网站等,推动优质VR内容产出。在硬件方面,阿里将依托全球最大电商平台,搭建VR商业生态,加速VR设备普及,助力硬件厂商发展。

  全文详情链接>>>

https://mp.weixin.qq.com/s?__biz=MzA5OTUxMzIxNw==&mid=401428466&idx=1&sn=d255a3524928ceb6139afeeeb457790c&scene=1&srcid=0328cV92ObThoIRR0z5i5KHK&key=710a5d99946419d902a5c182698134c21e47e9ea75507ec14869792a2cdcf5314cbe30de52fc6e3e7499d3524dfe821a&ascene=1&


更多原创文章请关注微信公众号:VR新观察


 


  • 分类:(原创)文章
  • 标签: 交互 VR
举报 分享

想免费获取内部独家PPT资料库? 观看行业大牛直播?

立即扫码加群

评论(4)

4个评论