基于AR的数字化博物馆平台研究
社会变迁，保护珍贵文物进而传承历史文化显得尤为重要，但特定时期历史文物由于受人为破坏与自然侵蚀影响难以展现全貌，如何描述与测绘文物已成为现阶段所要研究的重要问题。博物馆既肩负着对自然及文化遗产进行收藏、研究、保护的工作职责，又承担着向群众展览展示藏品的工作职责。因此，利用数字技术手段对博物馆藏品的相关资料信息进行数字化、信息化是当今互联网时代博物馆发展的趋势与方向。增强现实（ＡＲ，ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）技术将真实环境、物体与虚拟场景三者密切联系起来，使用户能够在虚拟三维空间中有效同步地获得沉浸式的交互体验。ＡＲ关键技术包括空间定位、图像识别、物联网与传感器、移动计算等，其基本工作原理是先对真实场景中的标记物利用智能设备内置的摄像头进行识别并对目标的运动进行跟踪，然后将虚拟信息（如图像、文字、三维动画）和现实场景利用空间定位技术进行精确的三维配准，并将虚实结合的信息通过３Ｄ眼镜、ＨＴＣＶＩＶＥ等显示设备进行展示，从而实现人机交互。
利用高光谱成像仪在可见光到短波红外范围内连续遥感成像的技术，为文物的量化保护和修复提供了帮助；通过５Ｇ＋ＡＲ文物修复助手将５Ｇ和ＡＲ技术相结合应用于文物保护修复；以三维扫描技术为手段处理珍贵文物的相关数据，通过建模为复原文物提供依据，助力博物馆文物保护工作。上述研究打破了传统文物保护时空、方式方面的局限性，但要让博物馆的社会性特征与教育性特征发挥得愈加明显，必须要从博物馆观众的角度出发，从认知、体验、互动等多方面更多地开发与创新数字化技术的具体应用。结合新一代人工智能中ＡＲ技术沉浸感强、交互性好的优势，通过数字新媒体技术，针对兰州市博物馆文物保护需求，研究设计并实现基于ＡＲ技术的数字化博物馆平台。该平台从移动终端获取兰州市博物馆内展示文物的相关信息和典故，在终端设备通过图像、视频等形式演绎，实现科技化、创新性的“数字化历史博物馆”。
平台架构
研发平台主要依托于大数据云平台，通过对兰 州市博物馆文物进行数据资源采集（包括文物本体 信息采集、数据信息整理分析等），利用增强现实、逆 向建模、跟踪注册等数字化技术进行数字化还原，从 而实现互联网时代历史文化的数字科技化，用户可 以通过手机、平板、ＨＴＣＶＩＶＥ设备、全息设备等各 种系统平台完成相关文字、图片、音频等交互操作， 获得沉浸式、实时交互、智能互动等优质体验。
逆向建模技术
逆向建模技术主要通过数据获取、数据分割、数据预处理、曲面重构４个过程，把真实文物刻画成符合计算机逻辑表达的数学模型。通过这种方式获得的模型可以对文物保护、虚拟展示等研究起到辅助作用。
（１）数据获取逆向建模的首要环节是进行数据获取，获取数据的精度、完整性对逆向建模有重要影响。数据采集设备的扫描方法按是否与被测物体接触分为接触式扫描和非接触式扫描。该项目因涉及马家窑、石岭下、半山、马厂、辛店５个类型的彩陶器物，根据文物保护要求，此项目实施只能采用非接触式扫描的方式，以减少对文物的损伤。数据获取模块有设备、预览、采集、记录、停止５个操作部分。设备用于判断扫描仪和电脑是否正确连接，从而实现扫描仪与软件之间的数据交换。预览用于确定扫描仪与被测物体近距离扫描范围最大峰值，以备固定扫描仪。采集用于对被测物体进行激光扫描。记录用于实时保存获取到的被测物体的扫描数据。停止在被测物体获取数据缺失、数据扫描完成暂停数据采集时使用。
（２）数据分割ＡｒｔｅｃＳｐａｃｅＳｐｉｄｅｒ三维扫描仪能更准确地捕捉到文物的表面纹理细节，但相应地会产生大量的点云数据（以３０ｃｍ高的陶器为例，产生的原始数据大小约为３ＧＢ）。从ＡｒｔｅｃＳｔｕｄｉｏ８Ｐｒｏｆｅｓｓｉｏｎａｌ软件开始，Ａｒｔｅｃ３Ｄ扫描仪使用的扫描和自动跟踪的算法中加入了对用户的人性化功能设定。Ａｒｔｅｃ３Ｄ扫描仪配备了彩色相机，若用户不想花太多时间调整算法的设置，一般情况下使用几何＋纹理跟踪算法完全可以满足逆向建模项目中的使用。通过Ａｒｔｅｃ３Ｄ扫描仪获取到大量散乱数据。首先，需要将特征点一样的多边形数据进行曲面集合文件合并；然后，通过多个曲面集合文件重建曲面特征模型。点云数据拼接关系的表示方法为：①分析获取到的被测量数据，将获取到的同特征多边形数据进行分类整理，从而得到如图２所示的部分曲面模型数据。②判断每个曲面集合文件所在的坐标位置，并将生成的曲面集合文件序号按分类进行顺序排列。③通过软件提供的１点拼接和ｎ点拼接两种算法来处理大量散乱数据。１点拼接将两片局部点云数据进行调整，保证其大致在同一个视角之内，接下来将重合部分的１个共同特征点选中来实现拼接；ｎ点拼接至少需要３个共同特征点，基于数据不在空间内同一直线上的３个点相匹配的原理来实现。在使用手动拼接过程中，将物体的两片局部点云数据进行选中，调整使其位姿一致，选中ｎ个公共特征点拼合成两片局部点云数据，拼合完成之后把其拟合为一个整体。若存在其他片点云，将其拆解与之前拼合的整体点云进行两两拼接，从而实现将ｎ片局部点云数据拼接成一个完整的数据模型。
（３）数据预处理进行逆向工程时，在完成被测物体模型扫描后将点云预处理放在首位。因为在实际应用中数据按这种方式预处理后会出现数据丢失现象，所以在平台搭建过程中第一步进行了数据分割，接着才是数据预处理。在数据采集中，由于环境因素或人为因素的原因，导致数据的误差生成，点云数据存在噪点，导致被测物体模型曲面重构不够理想，建模质量受光滑性、精度等影响，因此三维曲面模型重建前关键是去除多余的噪点。有些被测物体的形状过于复杂，在扫描时死角无法扫描导致数据缺失，因此必须修补扫描数据。为提高扫描精度，需要对扫描过的大量点云数据的冗余数据进行精简处理。若将被测量物体的数据信息不能一次全部扫描，就需进行多角度、多次数扫描，再对点云数据进行拼接，最终形成完整物体的表面点云数据。对初始扫描数据进行去除非连接项、去除体外噪点、采样等一系列的预处理，从而得到高质量的点云或多边形对象。
（４）曲面重构点多边形数据模型经过表面光滑及优化等处理后，得到光滑的、完整的多边形模型，并将错误的三角面片消除，提高后续拟合曲面的质量。通过对模型数据进行噪点清除、钉状物删除、多边形模型多余三角面片删除、填充内外孔或者拟合孔、自动修复相交区域、消除重叠三角形以及合并多边形对象，并使用布尔运算等步骤进行数据处理，最后通过修改边界（对边界进行编辑、松弛、直线化、细分、延伸、投影、创建新边界等处理）进行模型的曲面重构。
增强现实跟踪注册技术
和方向，跟踪注册技术便是解决这些问题的关键技术。确定虚拟对象显示在真实世界中的确切位置的过程称为注册。在注册的过程中，需要知道当前场景的空间数据等信息，然而虚拟对象的位置和观察者的位置是相对的，那么观察者在场景中的位置、观察者头部的转动角度和头部的运动方向这３个实时信息就需要准确地被检测到，然后根据这些检测信息重建坐标系，重建的过程就称为跟踪。以关键帧跟踪注册算法为例，在使用该算法获得真实场景与用户间的相对位姿信息时，可以合理假设当待注册跟踪物体或景物与用户间的距离较远（如大于５ｍ）时，将物体看成为二维平面。在此基础上，就可利用图像匹配的方法获得摄像机相对于真实场景的六自由度姿态信息。算法的具体步骤包括：（１）建立来自真实场景的不同观察视点的关键帧图像数据库。（２）计算当前帧图像与图像库中的关键帧间的互相关系数，确定与用户当前视点最匹配的关键帧。给定当前帧图像Ｃ（ｘ，ｙ）和关键帧序列图像Ｒ（ｘ，ｙ），利用两幅图像的归一化互相关系数选择与当前帧视点最接近的关键帧，其计算公式为Ｃ×Ｒ（ｉ，ｊ）＝２×∑ｍ，ｎＣ（ｍ－ｉ，ｎ－ｊ）×Ｒ（ｍ，ｎ）ｒ１×∑ｍ，ｎＣ（ｍ－ｉ，ｎ－ｊ）２＋ｒ２×∑ｍ，ｎＲ（ｍ，ｎ）２，（１）其中：ｒ１＝∑ｍ，ｎＣｉ（ｍ－ｉ，ｎ－ｊ）∑ｍ，ｎＲ（ｍ，ｎ）；ｒ２＝ｒ１１；ｍ、ｎ为选取的当前帧图像的大小。确定了关键帧，就可以利用特征匹配算法计算出当前图像帧与关键帧间的单应矩阵，并结合关键帧的标定信息获取当前帧相对于真实场景的绝对位姿信息。（３）采用基于随机树的特征识别分类算法建立真实场景与关键帧间的特征匹配集合。该方法能够对目标物体上的各个特征邻域块进行离线训练，获得随机树叶节点上的特征分类后验概率。在实时运行阶段，利用建立好的随机树对特征点进行模式分类，获得特征点的初始匹配。在离线训练阶段，系统需要获得大量的、多尺度、多视角状态下的特征图像样本，这由人工完成是相当困难的。因此，采用计算机生成的方式，获得多尺度多视角的特征图像样本集合。如果特征点图像的局部邻域是平面模型，可采用仿射变换的方式或近似采用单应矩阵生成训练样本集合。在关键帧图像上提取特征点以及其周围的邻域块，对其进行仿射变换：ｍ′－ｍ′０＝Ａ（ｍ－ｍ０）＋ｔ，Ａ＝ＲθＲ－１φＳＲφ，（２）其中：Ｒθ、Ｒφ分别为旋转矩阵；Ｓ＝ｄｉａｇ｛λ１，λ２｝代表尺度变化；ｔ＝［ｔｕ，ｔｖ］Ｔ是图像上的二维平移矢量；θ和φ的取值范围为［－π，＋π］；λ＝［０．２，１．８］。（４）采用ＲＡＮＳＡＣ（ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎ－ｓｕｓ）方法结合对极几何知识，计算出当前图像与关键帧间的单应矩阵。ＲＡＮＳＡＣ鲁棒算法用于提高特征点的匹配精度，去除野点。然后在平面假设下，利用两图像间的特征匹配，求解单应矩阵，获取图像间的相对姿态参数：ｓｍ珦ｃ＝Ｈｍ珦ｋ，（３）其中：（ｍ珦ｃ，ｍ珦ｋ）为匹配特征点集。（５）根据计算的单应矩阵结合关键帧的标定信息获得当前图像相对于真实场景的绝对姿态信息。
平面文物图像数据采集
多光谱图像超高分辨率微距采集系统具有非常高的分辨率，其精度可达１００亿像素以上，能够采集大幅面古代字画、美术典藏品、大幅面地图及３Ｄ物体等，它具有精度高、速度快、可采集大尺幅壁画等特点。以全自动的采集方式，通过光源与镜头的相互配合并利用数码相机可以改变光线强弱、光线角度及镜头光圈等特点，进而去克服平台扫描仪滚筒电分机的缺点（如扫描繁琐、适应原稿的种类能力不强、扫描幅面受限、拍摄时过分依赖环境光源、无法将原稿中所有材质精确还原并且存在尺寸畸变），多光谱图像高分辨率微距采集系统把传统扫描仪与数码相机的优点选择性的结合起来，并且为馆藏文物的大数据应用奠定良好的技术基础。采集系统利用现代控制技术，变常规固定式滤片为可选择性多光谱截止滤片，实现了多光谱图像获取，创新性的采用了支点寻根定位技术，可进行平面大尺幅及微距和立体文物的超高精度图像的全方位数字化采集。采集系统为文史资料的大数据获取提供技术解决方案，采集精度可达每平方米超百亿像素，满足文物材质、结构、病害无损检测和多参数同时分析的需求，为文物数字化数据存储、价值认知、鉴定、病害分析、保护修复效果评价提供高效、无损分析手段。
数据库设计
通过准确了解和分析用户需求，对进入兰州市博物馆藏品数据库的信息进行统计、查询和知识整合，进行数据库概念结构设计，并将保护、研究和管理藏品的信息不断积累，形成藏品的“生命档案”，后期根据需求进行数据库的运行和维护。在此基础上完成了１套兰州市博物馆数据库建设标准。
平台子系统功能模块设计
平台主要包括３个子系统：（１）博物馆增强现实导览系统。通过增强现实（ＡＲ）技术，搭建基于移动终端的展示平台，增加文物展品的拓展内容，用“图文＋视频＋虚拟动画”的方式使文物变得鲜活起来，打破时间、空间和平面展墙载体的限制，营造自然的混合式体验。平台研发过程中充分利用图像、音频、三维虚拟场景、全景互动等数字化内容及成果，以加强参观者观赏、学习、娱乐为出发点，为其提供沉浸式的交互体验。（２）虚拟博物馆示范（ＶＲ书画展）。博物馆ＶＲ交互体验系统包括４个部分，分别是场景漫游模块、场景交互模块、虚拟导游模块以及寓教于乐的故事模块。整套系统能够让用户在逼真的虚拟场景中身临其境，用户通过环境交互及听故事的方式了解文化历史。基于ＨＴＣＶＩＶＥ的ＶＲ体验解决方案与基于手机端的ＶＲ全景展示方案不同，前者的用户能够在ＶＲ环境中自由移动，真正做到体验虚拟博物馆。通过“次世代”级别的场景建模，最大限度地还原历史场景，并且统合兰州市旅游资源，确保场景氛围符合古兰州市的特点。（３）馆藏文物全息展示系统。在兰州市博物馆东、西展厅中配备了两套全息成像系统，该系统基于立体投射镜成像原理，通过立体成像仪的处理，将获得的视频数据通过全息装置悬浮呈现在投射空间中。
博物馆增强现实导览系统
博物馆增强现实导览系统采用知识探索的模式直观地让用户对藏品的历史背景进行整体了解，同时使用户在参观过程中通过互动增加趣味性，为兰州市博物馆提供推广及信息发布渠道，并向参观者提供数字化增值服务。
虚拟博物馆示范（ＶＲ书画展）研发
通过逆向建模技术构建博物馆虚拟展厅环境，以影视语言和游戏概念设计ＶＲ体验过程，以场景、馆藏文物、文化内涵３个方面活态化艺术展示。通过ＨＴＣＶＩＶＥ虚拟头盔的叠影器虚拟房间构建功能，首先使游客和参观者可以在１∶１的虚拟书画展厅场景中自由行走，观看典型馆藏文物，通过模拟真实环境光，为游客配置虚拟控制开关，增加探索趣味。以艺术与创意双结合的方式，将重点画作的某些元素进行延展创作，让参观者可以与画中的环境和元素产生交融，带来全方位的沉浸式体验，适合于馆际交流、外出巡展及网络推广。 馆藏文物全息展示系统全息图像既可以静态展示，也可以动态展示，观众可以围绕全息装置来观看悬浮在投射空间中的全息图像。
根据兰州市博物馆的研究内容及需求，研发了基于ＡＲ技术的数字化博物馆平台，此平台适用于博物馆参观人群，可定制业务模式推广至文化景区、大型游客集散中心等高密度旅游人群的场所，以“ＡＲ＋旅游”模式提高游客参与性，提升旅游附加值。兰州市博物馆投入使用情况表明，该平台将历史文化与新兴信息科技交汇，使得体验者拥有强烈的参与感，该平台智能高效、与时俱进、真实可互动，可为同类的ＡＲ系统平台研发提供参考。博物馆藏品的ＡＲ活态化展示因投资成本较大和兰州市博物馆场地有限两方面的原因，目前只能采用ＨＴＣＶＩＶＥ的ＶＲ头盔的解决方案，导致参观人数受限，无法做到批量参观。希望兰州市能够在即将建设的大型游客公用设施中协调并预留３００ｍ２以上的场所，统一采用最新的虚拟现实装置实现大批次多人同时参观，未来将会是兰州文化科技与旅游市场结合的亮点项目。