Apple Vision Pro深度解读(一):有哪些革命性创新?

发布时间:2024-03-12 15:33:39 浏览量:182次

Part 01

Apple Vision Pro简介

苹果MR头显Vision Pro发布,XR产业链迎来成长机遇。

苹果自2015 年以来已收购多家初创企业,持续在AR/MR领域扩张,MR相关专利超过5000项,为可穿戴视听、车载、健康等领域提供技术支持。

2023 年6月6日,苹果全球开发者大会WWDC2023发布首款MR头显Vision Pro,售价3499美元,将于明年初在美国发售。Apple Vision Pro是第一款将虚拟世界完全融入现实世界的产品,融合Mac的高性能、iPhone的移动、Airpods及Watch 的可穿戴、以及全新的空间维度。

从硬件端来看,EyeSight技术通过向内的摄像头和外表面柔性OLED屏幕实现佩戴者面部穿透,显示器采用Micro OLED方案,单眼实现超4K,镜片采用三镜式Pancake,搭载M2和R1芯片。

从操作系统来看,VisionOS 是为空间计算全新设计的操作系统,支持低延迟要求。

从内容端来看,Vision Pro的应用场景持续拓宽,与Unity深度合作,并推出全新的膜识别系统Optic ID。


Part 02

硬件与软件全方位超预期:Apple Vision Pro和已有VR产品究竟有什么质的不同?

让我们以技术的角度出发,仔细的看一看Vision Pro究竟和其他的VR产品有何不同。


1. 双自研:芯片系统与操作系统

首先从软硬件基础设施上来说,这是一套自研的计算芯片M2+传感器处理芯片R1和自研Vision OS操作系统,光这两个自研,就已经睥睨一众VR/AR/MR产品了,没有之一。

M2芯片负责12个摄像头的图像处理,苹果的处理器在图像处理能力上比较强,因此12路图像处理可以耗费更小的功率,发热更小,从而需要更小的散热器尺寸和更低的风扇转速。

这是Apple Vision Pro能够轻薄安静的关键。R1自研芯片则专门负责5个传感器和6路麦克风。可以想象这是专门用来处理需要一直在线的信号 - 摄像头在不用的时候可以关闭,从而可以更合理的控制功耗。

自研SoC最大的优势是可以自己把握开发进度,不用受制于供应商,并且可以扩大自家芯片的产量从而降低单片成本。

自研M2+R1芯片

自研Vision OS操作系统的原因是因为这是一个全新的计算平台,所有的UI,交互,甚至通信等底层技术需要重造和优化,以期获得最佳体验。

Vision OS 底层Core OS和MAC OS,和IOS兼容,这就意味着苹果海量2D APP可以直接通过2D转“3D”的方式为Apple Vision Pro所用,这样MR最重要的生态一环就不是从零开始,而是有安装基础超过11亿的活跃iPhone用户作为生态的基础背书。

注意这里的3D还是伪3D,真正的3D应用需要广大开发者进行开发。


2. 双4K Micro-OLED

显示方面,靠眼睛一侧,Vision Pro 采用Pancake+MicroOLED 方案,搭载了单眼超 4K 的显示模组,外加三片式的 Pancake 镜片方案,整个显示系统的总像素数高达 2300 万,超清晰的显示屏为使用者带来更加优质的沉浸式体验。

头显外部也搭载了一块AMOLED 屏幕用于双向透视,有人在附近时Vision Pro 会显示使用者的双眼,不会让使用者与周围的人隔绝从而实现与其他人更好的互动。

双向透视技术EyeSight效果大大超出此前Meta 的研究效果。通过一片前置OLED显示屏,当有人出现在周围时,Vision Pro会自动显示用户的双眼。也让他人知道用户在干什么,是在使用App还是体验完全沉浸。即使在完全沉浸状态中,也能和他人保持交流,当有人经过时,会进入使用者的视野,此时Vision Pro会自动对他人显示用户的双眼。

Vision Pro会自动对其他人显示用户的双眼

有人经过时,会进入使用者视野

因此,Apple Vision Pro从硬件层面上和其它一众VR产品拉开差距的就是这两枚从Sony定制的4K Micro-OLED微型显示屏。 不要小看这颗微型显示屏,就2023年的当下,目前主流的VR产品大部分都在用LCD或者MINI-LED背光,最高分辨率单眼2K。

主流的AR眼镜用的是Micro-OLED,但是最高分辨率依然是单眼2K。甚至在Sony 官网上都看不到4K Micro-OLED的存在。 只能说明这枚微型显示屏是苹果和Sony独家合作开发的,目前还未在其它产品上量产。

光学系统方面,苹果采用了和Quest Pro及Pico 4相似的Pancake技术,但是从苹果发布会的态势看,视场角要更广 - 说明在光学设计方面也有突破。


3. 3D面部扫描,面部追踪和眼球追踪

以上两点之外,还有许多在其它产品上没有看到的微创新,背后蕴含了巨大的技术难度。 例如上文提到的Apple Vision Pro可以自然地显示用户眼睛部分的面部表情这一技术,虽然这个设计我们都设想过,但是实现起来并不容易。

首先从硬件配置上来说,12颗摄像头中包括一颗LiDAR和一组TrueDepth收发模块。在用户使用前可以拿起Apple Vision Pro【正面】对着用户面容进行3D结构光扫描,从而构建用户真实3D面容数据。

在Apple Vision Pro内部,还有两圈IR LED及IR Camera,用于对用户地眼球进行追踪。 结合前面3D面部数据,通过AI融合成逼真的用户实时面部表情。

并且通过Apple Vision Pro 外部曲面玻璃细下额外的OLED 显示屏显示出来。 注意这个是Apple Vision Pro的第三块显示屏,其它VR产品都没有的。


4. 超短的学习曲线,极简却极佳的交互体验

Vision Pro可以称得上是一个非常“苹果”的产品,几乎没有学习成本。根据实际体验,Vision Pro内部的二维app和已有的IOS系统的app操作逻辑和界面完全一致,并且只需要眼和手便可以完成与Vision Pro的全部交互。

例如,打开一个app可以先使用眼睛选择相应的icon,之后只要用两根手指(动作可被眼镜下方摄像头捕获)捏一下便可以进入app。

另外,Vision Pro也具有高精度的虚拟键盘功能,用户甚至可以选择用手移动键盘的位置,如放在腿上后再进行打字输入,体验极佳。


5. 软件及应用:解决目前VR行业一大痛点

注重影视娱乐和其他轻度交互娱乐:Meta此前商业尝试以失败告终主要因为办公、社交等轻量化应用并没有成功,Horizon 平台忠实用户始终局限于重度游戏玩家。

此次苹果更多专注于轻量化应用的开发。visionOS 具有全新的三维界面,使数字内容的外观和感觉存在于用户的物理世界中。通过动态响应自然光和投射阴影,它可以帮助用户了解比例和距离。

为了实现用户导航和与空间内容的交互,Apple Vision Pro引入了一个全新的输入系统,由人的眼睛、手和声音控制。用户只需查看应用程序、点击手指进行选择、轻弹手腕滚动或使用语音听写即可浏览应用程序。

Vision Pro登陆界面

所有App 都摆在用户面前:可以随处摆放,调整大小来适应当前的任务。用户所看到所处的空间和里面的一切,主视图会出现在正前方,所有app也出现在正前方,体验不受显示框限制,可以轻松随意缩放app界面,也可将app放置空间的任何一个地方。

打开新的app不会挤占之前app的空间,而是以使用者为中心出现在新的空间。ipad和iphone上的成千上万款app也能在Vision Pro 上使用。用户可以将APP拉出来从各种角度看。

家居:实现3D 视频拍摄和观影功能。首先是空间照片和视频功能,Vision Pro是苹果的首台3D相机,它也能让用户用3D 和空间音频来播放视频。

其次是娱乐功能,空间电影可以改变任何空间,Vision Pro能够自动调整周围光线,形成优美的光晕同时还有空间音频,为了营造更好的体验,还可将屏幕放大到超过用户房间的维度,任何地方都能成为私人影院,配合airpods还能带来更好的降噪体验。

最后是游戏功能,100多款Arcade游戏在产品发售当天即可享用。

各类APP同时呈现在空间中

应用:30英尺巨幕电影

应用:3D视频拍摄

办公凸显多任务处理能力:Safari界面更大,文字也非常清晰、Safari能在更大的界面展开所有打开的标签页;打开的app置于三维空间内,例如可以在信息app中拖出三维物体,同时戴着Vision Pro也能看到周围,不影响周围人的互动。

Vision Pro还能与蓝牙配件(比如妙控板和妙控键盘)和Mac协作,可以将Mac的内容也提取到三维空间内。远程办公时,FaceTime带有空间感,在FaceTime中还可借助同播共享与大家分享并使用各种app,Vision Pro上的FaceTime也能与iphone、ipad、mac等流畅配合。

应用:办公视频会议与演讲

应用:办公协作

与Unity、微软、迪士尼等合作打造生态:苹果和Unity合作,将更多3D app带到Vision Pro上,常用的Unity游戏和app可获得完整权限来显示Vision Pro 功能;与迪士尼合作引入更多娱乐内容;与微软合作打造生态,目前Excel、Word 和 Teams等Microsoft应用程序支持Vision Pro。

Zoom、Teams、Webex等流行的视频会议应用程序可以支持虚拟渲染。苹果CEO库克在WWDC23大会上宣布,数十万款iPhone和iPad应用程序能在Vision Pro发售时就绪。

应用:生产线设计


参考资料

JP Morgan Global Equity Research; Goldman Sachs Global Equity Research; 华泰证券研究所; 申万宏源研究所; 东吴证券研究所; VR研发工程师Calvin; Tech Crunch等。


更多关于科技行业前沿动态分析,美国科技巨头和腾讯、阿里等中概互联网大厂的深入分析和Q1财报解读,欢迎私信我们领取资料。


鹿可是谁

鹿可是一家专注服务于互联网科技行业高净值人士的联合家族办公室。

欢迎大家点点【关注】,了解更多行业信息~

免责声明:本文章仅供交流,并非鹿可对任何人的投资邀约或建议。

热门课程推荐

热门资讯

请绑定手机号

x

同学您好!

您已成功报名0元试学活动,老师会在第一时间与您取得联系,请保持电话畅通!
确定