剖析 VR、AR、MR：区别、联系及创新应用实践

说明：文中所有的配图均来源于网络

本文对 XR 技术核心内容展开系统梳理，着重剖析了 VR、AR、MR 的定义与实现方案。其中，深入探讨了 AR 的 OST 与 VST 技术路线，以及 MR 的融合机制，助力你全面把握 XR 技术全貌与发展趋势。

XR（Extended Reality）是综合虚拟与现实空间的融合技术，涵盖VR、AR、MR三大类型。其核心在于通过数字信息对现实感知进行拓展或更新，达成用户与虚拟内容、现实场景间的高度交互与深度融合。

1、基本概念介绍

VR（虚拟现实）：构建纯虚拟的世界，用户被完全隔绝于现实世界，中心是“深度沉浸”。

AR（增强现实）：将虚拟元素、信息、动画在现实环境中加以重新视觉扩展，重点是“现实上的增强”。

MR（混合现实）：将虚拟世界与现实世界规划为一个可以相互作用、环境共享的空间，其核心是“虚实融合、物理交互”。

2、XR技术联系

XR包含的VR、AR、MR三类技术，在硬件、数据流、显示、交互上各有侧重，同时又紧密关联，如下图所示：

3、XR发展脉络与趋势

XR并非单一技术演进的产物，而是多条技术路径交汇融合的结晶。计算平台历经迭代，从PC迈向移动端，再发展到边缘计算与云渲染；感知能力不断拓展，由以视觉为主导延伸至多模态传感器融合；网络持续演进，4G到5G/6G助力实现低延迟XR体验；人机交互持续升级，从手柄到裸手，正积极探索脑机接口。

增强现实技术的核心是在现实场景上扩展信息，依据环境采集与展示方式，可分为OST和VST这两种基本实现路径。

1、OST（Optical See Through）原理与特性

OST采用光学双路并行设计，用户借半透镜直接观察现实世界，同时虚拟图像被投射至其眼前。

● 技术特点

现实图像无需处理，可无延迟呈现；虚拟图像要求出光与观感光路精准对齐，否则会产生错位；且因光学透明，虚实遮挡难实现，虚拟物难遮挡现实物。

工作流程

● 应用特征

其更适配室外强光场景下的信息提示，常借助空间定位技术锚定图像，且对显示器的亮度及视场角有较高要求。

2、VST（Video See Through）原理与特性

VST方案借助摄像头拍摄现场环境，经应用程序将虚拟图像与之结合添加后，再反馈至显示屏幕呈现。

● 技术特点

VST无光学通道，观看内容全由数字编辑，能精准控制虚拟遮挡以深度开发，但对硬件和后端处理性能要求高，易产生延迟。

数据流基本流程

● 应用特征

VST适用于需复杂交互与遮挡效果的增强现实，在室内场景表现优于OST，还支持与AI视觉分析、SLAM等系统融合。

3、OST与VST技术格式对比

4、AR内容的空间锚定机制

AR体验的核心是实现“稳定”的虚拟物体放置，而这离不开锚定技术的支持，主要有以下三类：

图像锚定（Image Anchoring）：通过识别预定义的图案，如海报、书本等，实现虚拟物体的精准定位。

平面锚定（Plane Tracking）：能够自动识别水平或垂直平面，使虚拟物体自然融入场景。

空间锚定（World Anchors）：记录特定三维位置，方便后续回访与定位。

ARCore 是 Google 精心打造的增强现实体验开发平台，它借助一系列功能强大的 API，让手机具备感知环境、理解世界以及与信息交互的能力。值得一提的是，部分 API 同时适配 Android 和 iOS 系统，可助力开发者实现跨平台的共享 AR 体验。

ARCore 的运动跟踪技术是其核心亮点之一。它运用手机摄像头识别环境中的兴趣点，也就是特征点，并持续跟踪这些点随时间的移动轨迹。同时，ARCore 会综合分析这些特征点的动态变化以及手机惯性传感器的数据，精准确定手机在空间移动过程中的位置和方向。

除了精准识别关键点，ARCore 还能敏锐检测平坦表面，像桌子、地板等都能被其轻松识别，并且可以估算周围区域的平均光照强度。这些强大功能相互配合，使 ARCore 能够构建起对周围世界的独特认知。

当手机在现实世界中移动时，ARCore 会采用视觉 SLAM 技术，深入理解手机相对于周围环境的位置。它会检测摄像头图像中视觉差异明显的特征点，并依据这些点计算位置变化。随后，将这些视觉信息与设备 IMU 的惯性测量结果相融合，从而精确估算出摄像头相对于周围世界的姿态，包括位置和方向。

环境识别

虚拟现实借助计算机生成全三维空间，让用户深度沉浸其中，用户可借助交互装置完成导航、交互、观察等操作，其核心在于“沉浸性”和“交互性”的融合。

1、VR系统构成模块

空间追踪系统可精准捕捉头部与手部位置变化，达成视角跟踪；图形渲染模块借助游戏引擎（像 Unity）实时生成虚拟世界图像；音频系统能完成 3D 空间音效渲染，提升沉浸感；交互系统则支持控制器、手势、眼动等多种交互操作。

2、虚拟场景设计原则

一致性要求用户行为与视觉反馈精准契合；响应性强调系统需迅速回应用户操作，杜绝延迟感；沉浸性借助视觉、听觉、触觉打造逼真虚拟空间；导航性则通过传送、摇杆、手势位移等方式，为用户提供顺畅的移动与空间感知体验。

3、VR交互方式

空间控制器融合按键操作与空间定位功能；手势识别借助摄像头捕捉用户手部动作；语音识别以语义命令驱动操作行为；眼动追踪通过焦点实现选择与界面交互。

4、VR图形渲染流水线详解

现代 VR 图像多由游戏引擎（如 Unity、Unreal）按以下流程生成：先通过传感器更新用户位置，接着构建视角投影矩阵，再分别渲染左右眼视图，随后进行图像畸变矫正，最后推送至屏幕显示。

混合现实不只是在现实世界叠加虚拟内容，更强调虚拟内容能与现实环境的物理属性，如进行遮挡、碰撞及共享空间等交互。

1、MR实现基础

MR 一般是在 VST 基础上增添多个关键模块。空间定位与建图（SLAM）模块可实时绘制用户所处空间地图；深度传感与理解模块借助结构光、ToF 或 AI 视觉来感知环境深度；虚实遮挡融合模块能判断虚实物体位置以实现逼真遮挡；交互管理模块则可响应手势、眼动、语音命令来操控虚拟物体。

2、MR与VST的融合逻辑

MR 融合 VST 时，沿袭其图像路径并强化深度感知。借助空间锚点，将虚拟内容与真实场景精准映射，达成双向交互，例如碰撞虚拟墙体、用手推动虚拟按钮等。

3、虚实遮挡技术原理

MR 的核心是实现虚拟物体与现实对象间自然的遮挡效果，即虚拟物体能正确遮挡现实对象或被其遮挡。为此，需精准获取真实世界深度图，构建真实物体的三维包围盒，并在渲染管线中借助 Z - buffer 确定遮挡优先级。

4、MR场景中的物理交互

在 MR 环境里，虚拟物体得兼具“视觉真实”与“行为真实”。这要求其受真实物理规则制约，像遵循地面重力、产生碰撞；能实现与现实的自然互动，如推门、拿杯子；还支持跨模态输入，比如用语音操控虚拟助手、以手势拖动现实界面。

END