眼动追踪会成为VR的技术标准 这是历史给我们的机会
七鑫易维是一家专注于做眼控技术的VR技术公司,11月2日下午,七鑫易维发布了眼球追踪模组aGlass。aGlass拥有“全场视角追踪、高精度、低延迟”的全球领先技术优势。全场视角追踪范围达到人眼转动极限,垂直30°、水平50°,高精度达到国际领先水平<0.5°,追踪速度高达380Hz,延迟低于5毫秒。
此外,七鑫易维的眼球追踪模组,拥有注视点渲染的技术特性。同等硬件性能条件下,可以使渲染效率提高7倍以上,节省87%的像素数据量。这数据意味着,现有的硬件即足以负担VR所需的性能,用户使用VR的成本将大大降低。
近日,黑匣专访了七鑫易维副总裁彭凡,以下是采访内容:
黑匣:您怎么定义VR?怎么给小白用户解释VR?
彭凡:我有一个比较抽象的定义,我认为,VR是重构了一个全新的环境的体验,它是给你一个全新的空间信息、环境感知。否则,如果只是戴着眼镜看3D电影,在我的定义里都不算是VR。比如你戴上眼镜,看到一个3D渲染的样板间,你在其中走动,等于说你感知到了一个新的环境、空间,这个就是VR。但如果只是一块屏幕,你戴着眼镜看里面的3D图像而已,那就假VR,其实就是现在很多山寨VR眼镜的功能。
VR与360°是强相关的,如果说没有全景,那VR也就没有太大意义了。
黑匣:什么时候开始想要把眼动追踪技术用到VR的领域?
彭凡:其实最开始是因为谷歌眼镜推出的时候,我们觉得说,这种穿戴式智能眼镜可能会是一个跟眼动技术很好的结合点,但是谷歌眼镜没有成功,然后接着Oculus就火了。AR没有火,VR火了,出现了全球都比较认可的产品,所以我们就想着把这个产品与VR进行结合,看看会产生什么新的价值。最后,我们就发展成三个主攻的方向:注视点渲染、数据收集,然后还有眼控交互功能。但是这个结合有技术上的难度,所以虽然我们在2013年就开始做,但其实直到今年才把产品做出来。
七鑫易维眼控技术应用领域
黑匣:所以13年是你们开始尝试VR的起点?
彭凡:是的,那个时候Oculus刚刚上Kickstarter,然后我们觉得眼球追踪技术与VR还蛮有结合度的。然后我们就买了一台Oculus来尝试。我们算是最早关注VR的一批企业。
黑匣:为什么觉得眼动追踪技术适合VR?
彭凡:其实眼球追踪这个技术可以应用的领域并不算多。现在你再回头看,当时想要在手机上加上眼球追踪是很难的,这里面涉及到很多技术问题,比如传感器、设备体积的问题。当时的我们,想要的是为眼球追踪记住找到一个可以与消费者结合的点,全球最大众化的电子消费品就是手机,但是手机的市场还没有到。PC也有可能,但是至少PC的市场也没有到,并且正在走下坡路。所以,当时实际上,是我们的技术在等一个新的产品品类。所以当头戴式设备出来以后,我首先关注到的就是谷歌眼镜,但是谷歌眼镜失败了。
然后Oculus就出来了,当时我们就判断,这个东西与游戏的结合度这么高,那么和眼控的结合可能也会很有意思。不过那个时候我们并不能确定VR会不会火,当时只是出于关注的心态,买了一个回来体验。
黑匣:所以我们是已经有了技术,只不过在等待一个有市场、可以应用的设备对吗?
彭凡:应该是找一个领域,不能说找一个设备,对于我们来说,什么设备不关键,我们更看重的是某一个领域是否能够爆发,比如说头戴式设备、虚拟现实领域。
黑匣:所以我能不能说,就算VR没有火起来,如果适合你们的技术,还是会去研究?
彭凡:对,但同时我们也要做好准备,这个技术的爆发时间就得往后延。这个是很正常的,一个整个大的行业都没起来,你是其中做核心技术的公司,就必须要耐心等着。
黑匣:那在没有做VR之前,你们的眼控技术是和什么设备结合的?
彭凡:我们自己做了一款眼控仪,是给医院用的,比如渐冻人和高位截瘫等患者。通过USB线连接电脑,就可以用眼睛打字、上网。这个设备我们已经做了有三五年,到现在还是赚钱的。
黑匣:和VR比,哪个更赚钱?
彭凡:眼控仪还是一个很小众的市场,这个设备单价很高,一年下来,总销量数额并不大,此外它的应用领域也决定了它注定是小众的。但是VR就是不一样了,虽然VR现在也算不上大众,但是VR一上量,可能就是百万级、甚至上千万这个级别。当然,其实我们也想把眼控的技术做在手机里, 已经有手机厂商我们在合作了,不过手机上比较难,时间上肯定会往后拖。
黑匣:为什么手机上使用眼控技术很难?
彭凡:手机上要求高啊,手机有不同的使用场景,距离、光线的变化都会增加对技术的要求。不像眼控仪,或者说VR好了,你使用的场景基本是固定的。
黑匣:那如果使用场景是固定的,现在的技术能不能实现与手机的结合?
彭凡:可以的,(眼控)这个技术放在手机上玩游戏、用眼睛拍照对焦都没问题,我们实验室其实已经做出来了。手机这个市场是很客观的,不光我们,几乎所有做传感技术、交互技术的公司,都想与手机进行结合,因为大家都想进入一个市场容量足够大的行业里。但难点在于两个方面,一个是成本,一个是功耗。
黑匣:2012年就开始关注相关,为什么2016年才出成品?
彭凡:时间主要花在了技术的迭代、算法的优化上。大概在2014年的时候,我们其实已经做了一个款自己的头盔,PlayGlass,其实是一个手机盒子,我们做这个其实也是希望去了解设备的结构, 然后再去研究出用在头盔上的眼控技术的一套算法,2015年的时候算法已经比较成熟了,所以我们在2016年的第一季度就推出了成品,给OculusDK2做了一个配件。
黑匣:为什么后来主要偏向给HTC VIVE做眼控的模组?
彭凡:Oculus从DK2过渡到CV1的时候,我们发现它的设备有一些小的问题。然后2016年4月份,HTC VIVE发布,我们试用过后发现,这款头盔的体验可以算目前最好的,我们当然希望把这个眼控的模组放在最好的设备上,因为这样对眼控效能的发挥也最大。
aGlass眼控模组:注视点渲染、数据收集
彭凡:最难的部分,是去做一个可以量产、销售的产品。很多国外的一些公司,德国的、美国的,他们做一些实验室的DEMO还行,但一旦量产化就会出问题,成本太高,根本无法生产。而且他们的产品更适合DEMO的使用,并不适合直接卖。 而我们考虑的是,无论DEMO做得有多好,最关键的是你得把这个东西卖到开发者或者用户手里,得让他们能用起来。
黑匣:所以量产的这个难度主要是在生产部分吗?
彭凡:每个环节都有难点。包括硬件的设计,比如说眼控模组放在哪里、设备的空间、尺寸等等。生产也是一个大难点,中国已经算生产力比较强了,但是七鑫易维的产品对于生产商来说还挺难的,因为他们从来没有做过类似的产品, 新模具要开、工人要培训。
黑匣:之前黑匣采访指挥家,他们有提到使用了七鑫易维的aGlass模组去做一个眼动的数据收集系统,那么这个aGlass的模组主要的应用领域包括哪些?
彭凡:一是注视点渲染,这个功能就非常适合于像指挥家,还有一些游戏公司使用,比如说如果你最终的产品想呈现的效果充满很多细节,那就对计算要求非常高。这个时候注视点渲染功能就能极大的减轻设备对图像解析能力的要求,我们曾经试验过指挥家的一个DEMO,在970的显卡上跑, 只能跑40帧, 但是用了aGlass模组这个注视点渲染功能之后,一打开,就是90帧。这个对于游戏公司来说就很关键,因为这个模组可以让他们的内容在跑满帧的情况下运行,那效果当然也是最好的。
七鑫易维眼控VR注视点渲染
指挥家他们除了这个功能以外,还发现了一个很有价值的,就是说数据的收集,因为他们的客户有很多房地产商, 他们就关心客户比较喜欢看哪、对哪些装饰感兴趣,通过眼控模组,可以把这些数据收集起来。
彭凡:就是在中央焦点的区域内是全高清的,然后周边是逐渐降低分辨率,然后它会根据我视线的移动来重新确定中央焦点。
黑匣:移动的过程中,不会出现延迟吗?
彭凡:现在我们的技术已经没有延迟了。我们现在可以最高做到380赫兹的采样率。理论上,我们采样一张图片大概只需要三到四毫秒, 那么3到4毫秒的这个瞬间, 你的眼睛是感觉不出来的。或者更简单的说,你不可能上3、4毫秒就变换一个焦点,你的眼球也受不了。头动有一个数据是20毫秒,20毫秒之内,正常使用,20毫秒以上,用户就会头晕、感觉到画面延迟。眼动的要求更高,要在10毫秒以内,但是现在我们最高能做到5毫秒左右。
黑匣:这个模组现在还没有针对消费者市场?
彭凡:现在我们的这个模组还是一个配件,之所以做成配件,是因为现在HTC还没有内置进去。之前我们去HTC开会的时候,得到他们销售的数据是四十几万台,目前这部分用户,如果他们想要使用眼动的功能,就只能找我们来购买。但下一代HTC VIVE,可能就会直接内置我们的眼动模组。
黑匣:与HTC的这个合作进行到哪一步了?
彭凡:开始在RD的生产线上尝试了。
眼控技术如何在资本寒冬里活下来:成为标准
黑匣:七鑫易维在VR元年有什么重要的节点?
彭凡:总体来说,今年我们公司发展的还不错。做了一轮新的融资,然后再VR这个领域,拿出了aGlass这个模组,然后也有了直接内置的前段方案。这一年,我们从没产品到有产品,再到有方案,从研发的角度来说,公司做得还不错。
此外,我们比较幸运。今年有很多VR企业因为资本的问题死掉了,但是我们找到了认可眼控技术投资人。毕竟我们公司现在一百多人的规模,不可能光靠着卖医疗设备的收入,来维持运行。
黑匣:作为从业者,您觉得为什么有的企业熬不过资本寒冬,但是比如你们就可以活下来?
彭凡:其实我也一直没有搞明白这个问题。但我个人认为,首先,想在现在这个行业中活下来,你不能只有概念。按照投资的逻辑来讲,我觉得有个现象很奇怪,一些小的创业公司动不动就喊要做平台,公司没几个人,核心技术啥也不懂,其实就是一个做手机盒子的公司,然后他们喊着要做平台,挂掉也不奇怪。
所以说,你需要的是核心的技术、资源,然后要有自己的核心的商业模式。不过商业模式在现在这个阶段看,还看不出什么。所以我觉得可能就是所谓的寒冬吧,其实是对于那些没有核心技术的企业来说的。它们不能再靠着一个市场总体的火而活下来了,要想活下去,必须拿出点真东西来。
当然,我能理解有些做内容、做平台的公司是想提前布局,不要错过机会,但是你这么做就要承担相应的风险,做好准备赚不了钱。这是很现实的,今天谁敢说,在VR领域,有赚到钱的公司?特别是做技术的、做交互的,我认识的没有一家赚钱的。
黑匣:2017年VR会比今年还火吗?
彭凡:我觉得明年应该比今年还好点,因为我在公司还要负责投资,接触下来,我觉得行业对明年还是更有信心的,虽然今年已经倒了一批,但这是市场正常的优胜略汰。之所以说大家现在还不懂这个行业的运作规律,归根结底是因为没有标准。一旦VR有了行业标准,比如说PC上几个巨头把它确定下来,对于投资人、内容开发商来说,路子就明晰很多。
比如现在最乱的这个移动平台,又是一体机、又是19.9块的手机盒子,就是因为没有一个标准去做淘汰。明年一旦高通把VR SDK一发布,谷歌把白日梦的平台做好,自然而然就会有厂商跟进去优化体验,到时候也不会有19.9的手机盒子这种乱象了。
黑匣:这个标准,具体是指?怎么建立?
彭凡:这个有很多层面。比如说显示器的标准,2K、OLED是标准吗?没有人敢说。但现实情况是,如果你的分辨率没到2K、刷新率没到90,体验肯定是不行的。所以随着巨头公司比如Oculus、HTC、包括小米华为做起来之后,他们会把标准提高,最后就会形成一个业内标准。就是说,没有2K、90赫兹,你的设备都上不了台面。或者说明年直接上4K、90赫兹,虽然现在4K的跑不了90赫兹,但是技术总归会发展。
所以这就是标准吧,但是这个标准怎么样能够顺畅地去运行呢?这背后就需要很多技术公司做技术支持,七鑫易维就是一个技术公司。因为我们的眼动追踪,就可以优化显卡、优化计算机性能,降低了它的整个数据渲染数据量。那对于PC来说,它渲染到4K 90赫兹就有了可能。这个可能性一达到,眼球追踪就会成为一个标准。
交互领域也是同理。手势识别、眼动追踪、声控,这些技术如果能优化到使用顺畅,就会成为标准。其实过程很简单,一旦这些技术落到旗舰机上,就已经是一个标准了。
黑匣:那VR行业建立一套完善标准的过程还有多长时间?
彭凡:快的话一年,慢的话两年。取决于VR行业发展的快慢,我们是在2017年,还是2018年才能把这个东西完善。这当中存在一个博弈的过程,比如说谷歌和高通现在都在推移动端的标准,但是他们也会受挫。比如高通现在和小米、华为的合作中,人家企业也不傻,不可能随随便便的就采用一个什么技术。小米不敢直接上一体机不是吗?所以,高通内部也要优化。如果明年高通能出一个VR的SDK,或者说拿出一个专门为VR优化过的821芯片,改变目前移动端2K、60赫兹的数据,提高到2K、90赫兹,然后谷歌又能把底层的系统做好了,那2017年,移动VR的标准就建立了。
黑匣:在国内,像七鑫易维这样做技术支持的公司多吗?
彭凡:前一两年还没看到,今年开始有一些公司。不过我看到的很多都是高校出来的,还处于早期。我们目前发现最最主要的竞争对手主要是德国的.
黑匣:所以其实在行业里面,七鑫易维这个技术是一个类似于独角兽的存在?这是优势吗?
彭凡:当然是优势。我能够比我未来的竞争对手早跑一两年,我能早跑了很多数据,而且我还能培养用户习惯,包括早一点建立与厂商的合作关系,这个一定是历史给我的一个机遇。这是很难能可贵的,在这么关键的一个领域,又是这么关键的技术,关键是竞争对手还不多。你想,这个技术并不是专门为VR准备的,我们做眼动有自己的历史渊源,时间点刚好,可以与VR结合而已。不会有公司新成立,就去养一对科学家专门做眼动技术的。天时地利人和,我们只是以前积累下来的技术,刚好赶上了新行业的爆发点。
七鑫易维还有一个优势,就是我们的竞争敌手,包括美国和欧洲的,他们反应偏慢,他们还在专注在医疗、广告的领域,而且他们研发成本又高。所以我们更要去投入VR领域。所以,我有信心,七鑫易维会成为在VR领域中最好的,或者最好的技术公司之一。
黑匣:把眼动追踪技术和VR结合起来,七鑫易维是第一个吗?
彭凡:是的,算是最早的。aGlass是全球首款VR的眼球追踪模组。
黑匣:作为一个技术公司,在行业刚起步的时候肯定是赚不到很多钱的,对吗?
彭凡:早期一定是这样的。所以我们一定需要风投去维持VR领域的开发,融资就跟关键,我们就好在从2014年开始,融资没有断,高通投了我们3轮,然后还有中兴、国科。还有新的一轮融资我们还没有公布,情况还不错,有几千万。
黑匣:靠着VR市场养活一个技术公司,这个周期还有多久?
彭凡:我们觉得有可能明年就会到来。今年下半年开始,我们就发现,行业中的人越来越懂得眼动追踪技术的价值了。这个很明显,上半年的时候我们拿着方案和别人介绍,这些硬件生产商根本不懂。尤其是国内的很多厂商主要还是跟着国外的厂商走,借鉴、学习,那在国外厂商都没有上眼动追踪技术的时候,他们更不会去关注这个领域。
所以今年四月,我们和英伟达的合作是一个很好的推动,大家开始关注眼动追踪了。明年上半年,如果一个VR企业还没有意识到眼动追踪的重要性,我想他们就已经没有什么机会了。我们相信到明年下半年,会有不少的企业来内置我们的这个眼动追踪模组。
黑匣:所以您认为眼动技术本身就会成为VR的标准?
彭凡:对,就像鼠标之于PC一样,必须要用的。虽然到2016年年底,大家还没有搞明白这个东西怎么玩。但是像指挥家,他们就已经发现了注视点渲染的潜力。所以七鑫易维可以做的努力,就是尽可能的和最优秀的公司合作,比如HTC,因为他们本身就是这个行业的标准。如果HTC说眼动追踪技术很关键,其他公司自然会跟进。
黑匣:你们会担心一旦这个技术火起来,会有别的厂商山寨、抄袭你们的技术吗?
彭凡:这个是必然的。但是眼动追踪这个技术,是有技术门槛的,想要跟进还是需要一到两年的时间,在这个过程中,我们已经往前跑了。所以老实说,是很难跟上我们的。至于国外同样已经在做眼动追踪技术的竞争对手,对于我们的威胁也不是很大,因为他们的成本偏高。在与他们接触的过程中,我发现欧美公司的报价比我们高好几倍,所以这就是我说,是七鑫易维的一个机遇。
2017年,VR会走向大众吗?
黑匣:回到VR的市场上来,目前VR还是小众市场,什么时候才能普及?
彭凡:现在来看,2017年,PC VR应该还是保持现状。因为它其实是一个适合于行业应用的东西嘛,它本身就是从B端开始,再往后走,才会渗透C端,跟早期的可能计算机很像。
但是移动VR应该在明年会快速的发展,因为它具备了一个可消费的能力, 只要优化的更好,可能一瞬间我们每个人就都会买一个手机盒子。至于一体机这个品类,也许会火爆,不过我觉得这里存在一个悖论,如果我手机优化做得很好了,为什么还要买一体机。具体还是要看明年的市场情况。
黑匣:所以现在VR普及的最大问题,还是停留在技术层面?
彭凡:当然,其实没有普及、行业发展慢,根源都是因为技术标准不够高。包括眼控技术,为什么我去年没有那么能力推出来,因为我们也是需要等传感器的,如果市面上没有高速的传感器,我们根本无法保证使用的体验,这个高速的传感器就是今年才出来,我们只能等着。现在整个VR行业都在等硬件、等技术。
黑匣:2017年七鑫易维有什么计划?
彭凡:技术上我们现在在做一个东西,利用深度学习的方法来做,这有可能是全球最早的用这个方法做眼球追踪技术的方案,我们希望2017年能够实现。一旦做成,它可以把眼球追踪的精度提的更高,速度也更快,体积上也会更小,总的来说就是对硬件的要求更低。
市场上,我们会继续与HTC等优秀公司的合作,去逐步地把眼动追踪建立成为VR行业的一个必不可少的技术标准。我们很看重标准这件事,这是历史给的一个难得的机会,为什么不去做呢?