AR增强现实技术解读

AR增强现实是用户感知现实世界的新技术。

一般认为，AR虚拟现实技术的出现源于虚拟现实技术（Virtual Reality，简称VR）但两者之间存在明显差异。

传统VR技术给用户一种完全沉浸在虚拟世界中的效果，创造另一个世界；AR技术通过听、看、摸、闻虚拟信息，将计算机带入用户的现实世界，增强对现实世界的感知，实现从人适应机器到技术以人为本的转变。

AR从其技术手段和表现形式来看，可以明确分为两类：一类是Vision based AR，即基于计算机视觉AR，二是LBS basedAR，即基于地理位置信息的信息AR。

01 Vision based AR

基于计算机视觉AR利用计算机视觉方法在现实世界和屏幕之间建立映射关系，使我们想要绘制图形或3D模型通常可以显示在屏幕上，就像显示在屏幕上。如何做到这一点？

本质上，我们需要在现实场景中找到一个附着的平面，然后将这个3D场景中的平面映射到我们的2D屏幕上，然后在这个平面上绘制你想要显示的图形，这可以从技术实现手段来看 分为2类 ：

1、 Marker-Based AR

这种实现方法需要提前制定Marker(例如，绘制一定规格形状的模板卡或二维码)Marker在现实中的一个位置相当于在现实场景中确定平面。

然后通过相机对Marker识别和评估姿势（Pose Esti ** tion），确定位置，然后确定位置Marker中心为原点的坐标系称为Marker Coordinates即模板坐标系。

事实上，我们需要做的是改变模板坐标系和屏幕坐标系标系和屏幕坐标系之间的映射关系，这样我们就可以根据这个变化在屏幕上绘制的图形来实现图形的附着Marker上的效果。

理解原则需要一点3D从模板坐标系到真实的屏幕坐标系，射影几何知识需要旋转并平移到相机坐标系（Camera Coordinates）然后从相机坐标系映射到屏幕坐标系。

在实际编码中，所有这些变换都是矩阵，矩阵代表在线性代数中的变换，左乘坐坐标的矩阵是线性变换平移等非线性变换，可以使用齐次坐标进行矩阵操作)。公式如下:

矩阵C的学名是相机内参矩阵，矩阵CTm被称为摄像机外参矩阵，其中内参矩阵需要提前进行摄像机校准，外参矩阵未知，我们需要根据屏幕坐标(xc ,yc)提前定义Marker 估计坐标系和内参矩阵Tm，然后根据图形绘制图形Tm绘制(初始估计Tm不够精确，还需要使用非线性最小二乘进行迭代寻优)。

比如使用OpenGL画画的时候就要到了GL_MODELVIEW在模式下加载Tm图形显示是矩阵。

2、 Marker-Less AR

基本原理与Marker based AR同样，但它可以使用任何具有足够特征点的物体（如书的封面）作为平面基准，而无需提前制作特殊模板。

摆脱模板对AR应用的束缚。

其原理是通过一系列算法(如:SURF，ORB，FERN等)提取模板对象的特征点，并记录或学习这些特征点。

当相机扫描周围场景时，将提取周围场景的特征点，并与记录的模板对象的特征点进行比较。如果扫描的特征点与模板特征点匹配的数量超过阈值，则认为扫描模板，然后根据相应的特征点坐标进行估计Tm然后根据矩阵Tm绘图(方法和Marker-Based AR类似)。

02 LBS-Based AR

其基本原理是通过GPS从某些数据源(如wiki，google）在这个位置附近的物体(如周围的餐馆、银行、学校等。POI通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度，在现实场景中建立目标对象的平面基准(相当于 ** rker)，坐标变换显示等的原理Marker-Based AR类似。

这种AR设备的技术利用GPS实现功能和传感器，摆脱应用Marker用户体验的依赖比用户体验的依赖要好Marker-Based AR更好。

而且因为不需要实时识别Marker性能优于姿态和计算特征Marker-Based AR和Marker-Less AR，因此对比Marker-Based AR和Marker-Less AR，LBS-Based AR移动设备可以更好地应用。

03 AR加强现实系统的组成

1、Monitor-based系统

基于计算机显示器的AR在实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟场景合成，并输出到屏幕显示器中。

用户可以从屏幕上看到最终的增强场景图片。虽然它不能给用户带来太多的沉浸感，但它是最简单的使用AR实现方案。

由于该方案的硬件要求很低，在实验室中AR大量的系统研究人员。

2、Video see-through系统

头盔式显示器（Head-mounted displays-HMD）广泛应用于虚拟现实系统，增强用户的视觉沉浸感。

增强现实技术的研究人员也使用类似的显示技术AR穿透式广泛应用HMD。

根据具体的实现原理，分为基于视频合成技术的穿透性两类HMD（video see-through HMD）基于光学原理的穿透性HMD（optical see-through HMD）。

Video see-through加强现实系统实现方案的实现

3、Optical see-through系统

在上述两个系统实现方案中，计算机输入了两个通道信息，一个是计算机产生的虚拟信息通道，另一个是摄像机的真实场景通道。

而在optical see-through HMD在实现方案中，去除后者。真实场景的图像经过一定的减光处理后直接进入人眼，虚拟通道的信息经过投影反射后进入人眼，两者通过光学合成。

4.三种系统结构的性能比较

三种AR显示技术实现策略在性能上各有优缺点。

在基于monitor-based和video see-through显示技术的AR在实现过程中，真实场景的图像通过摄像机获取，虚实图像的组合和输出在计算机中完成。

整个过程不可避免地会有一定的系统延迟，这是动态的AR虚实注册错误的主要原因之一。

然而，由于用户的视觉完全由计算机控制，该系统延迟可以通过计算机内部虚拟和真实通道的协调来补偿。

而基于optical see-through显示技术的AR在实现过程中，真实场景的视频图像传输是实时的，不受计算机控制，因此不可能通过控制视频显示率来补偿系统延迟。

另外，基于monitor-based和video See-through显示技术的AR在实现过程中，可以利用计算机分析输入的视频图像，从真实场景的图像信息中提取跟踪信息(参考点或图像特征)，辅助动态AR注册过程中虚实场景。而基于optical see-through显示技术的AR只有头盔上的位置传感器可以用来辅助虚实注册。

上海西陆信息科技有限公司 承接各类微信小程序开发制作、小程序定制、APP 网站 开发制作，联系电话 18221533805、15900430334