2021年10月27日

基于AR技术的移动终端导览系统设计与实现

作者 讲解员

人类对现实世界的感知是通过视觉、听觉、触觉和嗅觉 实现的,在客观因素的影响下,部分现实世界的真实信息是 无法被人类正常感知的。为了提高人体感知和察觉的范围和 能力,AR 技术通过计算机仿真模拟的形式将真实信息与虚 拟信息进行叠加并在同一空间内显示出来,从而达到超越现 实体验的效果。本文以某高校的校园导览为业务需求,设计了一种基于 AR 技术的移动终端 Android 系统导览系统。

AR 技术的关键技术

AR 技术就是借助摄像头采集的真实信息与虚拟信息进 行定位展示,其关键技术是跟踪注册技术。跟踪注册技术就 是对摄像头采集对象的特征点和轮廓进行计算,得出二维或三维坐标信息并和坐标传感器的定位信息进行匹配。常用的 跟踪注册技术有基于自然特征的跟踪注册技术和基于视觉标 记的跟踪注册技术。

基于自然特征的跟踪注册技术

所谓自然特征就是将现实场景中的点、线、角作为参照物,然后提取特征值与镜头位置进行匹配,实现镜头跟踪、 虚拟物体注册的功能。这种方法会受到客观场景复杂度的影响,计算量较大,精度较低。

基于视觉标记的跟踪注册技术

视觉标记就是用人工标识的方式在客观场景中选择特征信息,人工标识特征值一般为纯色封闭矩形框,附带图片或文字信息。封闭矩形框一般为黑色,有利于分离背景图,框内的特征信息是人工设定的标识信息,这样即便设备的识别效率有限仍可以根据标识信息提取特征值。随着移动终端的硬件性能不断提升,非纯色标识物业也可以作为框内背景进行精准识别。基于视觉标记的跟踪注册技术尽管效率高,但必须布置标志物的特点并不利于处理户外场景。该技术尽管不需要标志物,但对于室内环境物体较为复杂的场景就显得性能较低。因 此本次导览系统分别在户外和室内使用基于自然特征的跟踪 注册技术和基于视觉标记的跟踪注册技术进行增强现实处理。

系统需求分析

传统的导览方式包括指示牌、解说牌、文字地图、文字介 绍板、宣传折页、导览手册和导游讲解等,目前基于移动终端 的导览方式有 APP、微信公众号、扫码讲解器等。这些导览方 式各有特点,但都存在不够直观、操作复杂等问题。本文以校 园导览系统为例,构建一个基于移动终端的增强现实导览系统, 实现真实环境与虚拟信息的无缝衔接,用户通过观看手机和聆 听手机声音的形式获取户外和室内情景的增强信息,如文字、 图片、音频、视频等。用户通过手机还可以与增强信息进行交互, 解决传统导览方式交互性不高、不够直观等问题,除移动终端外无任何外设,从而能够提高导览系统的便携性和自主性。 导览系统将校园客观环境分为户外和室内两部分。户外 包括建筑物、道路等,导览系统在户外环境下应实现以下功能: 第一,显示建筑物的坐标、文字描述和建模形状;第二,用户可以选择建筑物的多媒体资源进行观看;第三,在距离建筑物较远位置时,可以快速定位建筑位置和查看距离信息。在室内环境要对特定的兴趣目标进行现实增强处理,用户可以在系统内选择兴趣目标进行特定展示、收藏截图、转发朋友圈等操作。

系统总体架构设计

逻辑结构

导览系统利用移动终端的摄像头和传感器感知场景信息,封装传递至服务器后进行定位识别,并将预设的场景兴趣点、定位信息、增强信息发至移动终端,移动终端将上述信息进行叠加显示,形成虚实融合效果后匹配显示给用户查看和互动。

系统层次结构

系统软件层次结构可以分为网络层、业务层和交互层 3 个层次。网络层主要负责手机端与服务器端的网络数据交互,即通过超文本传输协议(Hyper Text Transfer Protocol, HTTP)把客户端信息传输到服务器端,存储到数据库中,并将服务器端处理后的兴趣点的定位信息以及增强信息发给客户端。业务层包括场景获取模块、对数据信息进行封装与解析的数据处理模块、兴趣点的跟踪匹配模块和虚实融合模块,主要用于处理整个系统的业务。交互层主要负责系统的功能交互,用户可以对系统进行相关操作,包括链接跳转、播放视频以及分享兴趣点详情等。交互层建立在移动终端客户端中,主要实现了屏幕展示 和事件互动功能,当用户点击触摸屏对应事件触发后,交互层的相关功能会调用并展示相关增强信息和多媒体数据,实现良好的交互体验。业务层负责处理客户端的请求和封装数据,并将封装数据传递至服务器进行处理,服务器处理封装数据后还要将结 果数据返回至业务层进行解析和响应处理。业务层还要负责将传感器信息与增强信息进行虚实融合叠加处理,将叠加后的数据与兴趣点传递至交互层进行展示。用户点击事件触发的请求信息,也要由业务层负责处理和响应。网络层基于移动终端的网络通信模块实现,主要负责传递业务层封装的场景信息至服务器,并将服务器解析、识别和匹配处理后的信息返回给业务层和交互层。另外,与兴趣点对应的定位信息也要通过该模块的定位传感器实现并实时传递至服务器进行处理。

系统功能模块设计

基于增强现实的导览系统建立在移动终端基础上,将校园分为户外和室内两种场景,为不同场景下的建筑物、道路、 物体设置兴趣点和增强现实信息。用户通过使用移动终端的摄像头、传感器获取定位信息和增强数据,使用屏幕和喇叭查询兴趣点信息。本系统的功能可以分为场景获取、数据封装、网络通信、跟踪注册、虚实融合和用户交互6 个模块。

场景获取模块

场景获取模块使用移动终端的各类传感器和摄像头获取 场景的环境信息,调用的硬件设备包括加速度传感器、定位模块、磁场传感器、温度传感器和摄像头等。获取的场景信 息包括经纬度信息、图片信息和环境信息,交由数据封装模 块进行处理。

数据封装模块

数据封装模块实现了封装和解析功能,对移动终端获取 的场景信息加以封装后以矢量数据的形式传递至服务器,处 理效率更高,服务器处理的匹配数据返回至客户端后也要交 由数据封装模块进行解析和处理。

网络通信模块

网络通信模块借助移动通信网络建立客户端与服务器之 间的数据交互,基于 HTTP 协议进行封装信息和传递解析信 息。由于网络通信模块是基于移动终端客户端的,必须确保客户端所在位置的网络畅通和话费充足。

跟踪注册模块

跟踪注册模块采用自然特征与视觉标记相融合的跟踪注册方法分别对户外和室内场景进行增强信息匹配处理,根据兴趣目标的场景状态生成虚拟信息并传递给客户端展示,用户发出的事件请求也会传递至跟踪注册模块进行处理和响应。

虚实融合模块

虚实融合模块实现了现实增强信息与场景兴趣目标的叠加功能。虚实融合模块拥有多样的兴趣目标增强形式,如图片、文本、视频、音频以及三维动画等。

用户交互模块

用户交互模块基于移动终端屏幕和喇叭实现用户界面和交互功能,用户点击增强信息会弹出交互界面,选择对应的交互需求后响应程序会将请求传递至服务器进行处理,处理后得到的匹配信息会返回至用户交互模块进行展示。

 

智慧展馆里智慧讲解的标配:导览系统  自动讲解器  分区讲解系统