发布时间:2024-03-12 15:33:39 浏览量:182次
苹果MR头显Vision Pro发布,XR产业链迎来成长机遇。
苹果自2015 年以来已收购多家初创企业,持续在AR/MR领域扩张,MR相关专利超过5000项,为可穿戴视听、车载、健康等领域提供技术支持。
2023 年6月6日,苹果全球开发者大会WWDC2023发布首款MR头显Vision Pro,售价3499美元,将于明年初在美国发售。Apple Vision Pro是第一款将虚拟世界完全融入现实世界的产品,融合Mac的高性能、iPhone的移动、Airpods及Watch 的可穿戴、以及全新的空间维度。
从硬件端来看,EyeSight技术通过向内的摄像头和外表面柔性OLED屏幕实现佩戴者面部穿透,显示器采用Micro OLED方案,单眼实现超4K,镜片采用三镜式Pancake,搭载M2和R1芯片。
从操作系统来看,VisionOS 是为空间计算全新设计的操作系统,支持低延迟要求。
从内容端来看,Vision Pro的应用场景持续拓宽,与Unity深度合作,并推出全新的膜识别系统Optic ID。
让我们以技术的角度出发,仔细的看一看Vision Pro究竟和其他的VR产品有何不同。
首先从软硬件基础设施上来说,这是一套自研的计算芯片M2+传感器处理芯片R1和自研Vision OS操作系统,光这两个自研,就已经睥睨一众VR/AR/MR产品了,没有之一。
M2芯片负责12个摄像头的图像处理,苹果的处理器在图像处理能力上比较强,因此12路图像处理可以耗费更小的功率,发热更小,从而需要更小的散热器尺寸和更低的风扇转速。
这是Apple Vision Pro能够轻薄安静的关键。R1自研芯片则专门负责5个传感器和6路麦克风。可以想象这是专门用来处理需要一直在线的信号 - 摄像头在不用的时候可以关闭,从而可以更合理的控制功耗。
自研SoC最大的优势是可以自己把握开发进度,不用受制于供应商,并且可以扩大自家芯片的产量从而降低单片成本。
自研M2+R1芯片
自研Vision OS操作系统的原因是因为这是一个全新的计算平台,所有的UI,交互,甚至通信等底层技术需要重造和优化,以期获得最佳体验。
Vision OS 底层Core OS和MAC OS,和IOS兼容,这就意味着苹果海量2D APP可以直接通过2D转“3D”的方式为Apple Vision Pro所用,这样MR最重要的生态一环就不是从零开始,而是有安装基础超过11亿的活跃iPhone用户作为生态的基础背书。
注意这里的3D还是伪3D,真正的3D应用需要广大开发者进行开发。
显示方面,靠眼睛一侧,Vision Pro 采用Pancake+MicroOLED 方案,搭载了单眼超 4K 的显示模组,外加三片式的 Pancake 镜片方案,整个显示系统的总像素数高达 2300 万,超清晰的显示屏为使用者带来更加优质的沉浸式体验。
头显外部也搭载了一块AMOLED 屏幕用于双向透视,有人在附近时Vision Pro 会显示使用者的双眼,不会让使用者与周围的人隔绝从而实现与其他人更好的互动。
双向透视技术EyeSight效果大大超出此前Meta 的研究效果。通过一片前置OLED显示屏,当有人出现在周围时,Vision Pro会自动显示用户的双眼。也让他人知道用户在干什么,是在使用App还是体验完全沉浸。即使在完全沉浸状态中,也能和他人保持交流,当有人经过时,会进入使用者的视野,此时Vision Pro会自动对他人显示用户的双眼。
Vision Pro会自动对其他人显示用户的双眼
有人经过时,会进入使用者视野
因此,Apple Vision Pro从硬件层面上和其它一众VR产品拉开差距的就是这两枚从Sony定制的4K Micro-OLED微型显示屏。 不要小看这颗微型显示屏,就2023年的当下,目前主流的VR产品大部分都在用LCD或者MINI-LED背光,最高分辨率单眼2K。
主流的AR眼镜用的是Micro-OLED,但是最高分辨率依然是单眼2K。甚至在Sony 官网上都看不到4K Micro-OLED的存在。 只能说明这枚微型显示屏是苹果和Sony独家合作开发的,目前还未在其它产品上量产。
光学系统方面,苹果采用了和Quest Pro及Pico 4相似的Pancake技术,但是从苹果发布会的态势看,视场角要更广 - 说明在光学设计方面也有突破。
以上两点之外,还有许多在其它产品上没有看到的微创新,背后蕴含了巨大的技术难度。 例如上文提到的Apple Vision Pro可以自然地显示用户眼睛部分的面部表情这一技术,虽然这个设计我们都设想过,但是实现起来并不容易。
首先从硬件配置上来说,12颗摄像头中包括一颗LiDAR和一组TrueDepth收发模块。在用户使用前可以拿起Apple Vision Pro【正面】对着用户面容进行3D结构光扫描,从而构建用户真实3D面容数据。
在Apple Vision Pro内部,还有两圈IR LED及IR Camera,用于对用户地眼球进行追踪。 结合前面3D面部数据,通过AI融合成逼真的用户实时面部表情。
并且通过Apple Vision Pro 外部曲面玻璃细下额外的OLED 显示屏显示出来。 注意这个是Apple Vision Pro的第三块显示屏,其它VR产品都没有的。
Vision Pro可以称得上是一个非常“苹果”的产品,几乎没有学习成本。根据实际体验,Vision Pro内部的二维app和已有的IOS系统的app操作逻辑和界面完全一致,并且只需要眼和手便可以完成与Vision Pro的全部交互。
例如,打开一个app可以先使用眼睛选择相应的icon,之后只要用两根手指(动作可被眼镜下方摄像头捕获)捏一下便可以进入app。
另外,Vision Pro也具有高精度的虚拟键盘功能,用户甚至可以选择用手移动键盘的位置,如放在腿上后再进行打字输入,体验极佳。
注重影视娱乐和其他轻度交互娱乐:Meta此前商业尝试以失败告终主要因为办公、社交等轻量化应用并没有成功,Horizon 平台忠实用户始终局限于重度游戏玩家。
此次苹果更多专注于轻量化应用的开发。visionOS 具有全新的三维界面,使数字内容的外观和感觉存在于用户的物理世界中。通过动态响应自然光和投射阴影,它可以帮助用户了解比例和距离。
为了实现用户导航和与空间内容的交互,Apple Vision Pro引入了一个全新的输入系统,由人的眼睛、手和声音控制。用户只需查看应用程序、点击手指进行选择、轻弹手腕滚动或使用语音听写即可浏览应用程序。
Vision Pro登陆界面
所有App 都摆在用户面前:可以随处摆放,调整大小来适应当前的任务。用户所看到所处的空间和里面的一切,主视图会出现在正前方,所有app也出现在正前方,体验不受显示框限制,可以轻松随意缩放app界面,也可将app放置空间的任何一个地方。
打开新的app不会挤占之前app的空间,而是以使用者为中心出现在新的空间。ipad和iphone上的成千上万款app也能在Vision Pro 上使用。用户可以将APP拉出来从各种角度看。
家居:实现3D 视频拍摄和观影功能。首先是空间照片和视频功能,Vision Pro是苹果的首台3D相机,它也能让用户用3D 和空间音频来播放视频。
其次是娱乐功能,空间电影可以改变任何空间,Vision Pro能够自动调整周围光线,形成优美的光晕同时还有空间音频,为了营造更好的体验,还可将屏幕放大到超过用户房间的维度,任何地方都能成为私人影院,配合airpods还能带来更好的降噪体验。
最后是游戏功能,100多款Arcade游戏在产品发售当天即可享用。
各类APP同时呈现在空间中
应用:30英尺巨幕电影
应用:3D视频拍摄
办公凸显多任务处理能力:Safari界面更大,文字也非常清晰、Safari能在更大的界面展开所有打开的标签页;打开的app置于三维空间内,例如可以在信息app中拖出三维物体,同时戴着Vision Pro也能看到周围,不影响周围人的互动。
Vision Pro还能与蓝牙配件(比如妙控板和妙控键盘)和Mac协作,可以将Mac的内容也提取到三维空间内。远程办公时,FaceTime带有空间感,在FaceTime中还可借助同播共享与大家分享并使用各种app,Vision Pro上的FaceTime也能与iphone、ipad、mac等流畅配合。
应用:办公视频会议与演讲
应用:办公协作
与Unity、微软、迪士尼等合作打造生态:苹果和Unity合作,将更多3D app带到Vision Pro上,常用的Unity游戏和app可获得完整权限来显示Vision Pro 功能;与迪士尼合作引入更多娱乐内容;与微软合作打造生态,目前Excel、Word 和 Teams等Microsoft应用程序支持Vision Pro。
Zoom、Teams、Webex等流行的视频会议应用程序可以支持虚拟渲染。苹果CEO库克在WWDC23大会上宣布,数十万款iPhone和iPad应用程序能在Vision Pro发售时就绪。
应用:生产线设计
JP Morgan Global Equity Research; Goldman Sachs Global Equity Research; 华泰证券研究所; 申万宏源研究所; 东吴证券研究所; VR研发工程师Calvin; Tech Crunch等。
更多关于科技行业前沿动态分析,美国科技巨头和腾讯、阿里等中概互联网大厂的深入分析和Q1财报解读,欢迎私信我们领取资料。
鹿可是一家专注服务于互联网科技行业高净值人士的联合家族办公室。
欢迎大家点点【关注】,了解更多行业信息~
免责声明:本文章仅供交流,并非鹿可对任何人的投资邀约或建议。
热门资讯
想将照片变成漫画效果?这篇文章分享了4个方法,包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图,简单操作就能实现,快来尝试一下吧!
2. 华为手机神奇“AI修图”功能,一键消除衣服!原图变身大V领深V!
最近华为手机Pura70推出的“AI修图”功能引发热议,通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗?点击查看!
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
4. AI视频制作神器Viggle:让静态人物动起来,创意无限!
Viggle AI是一款免费制作视频的AI工具,能让静态人物图片动起来,快来了解Viggle AI的功能和优势吧!
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
6. 零基础10分钟生成漫画,教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
9. AI显卡绘画排行榜:4090无悬念,最具性价比出人意料
在AI绘图领域,Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现,以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
同学您好!