2021年11月2日

虚拟现实技术和增强现实技术在博物馆学习中的应用

作者 讲解员

2020年,教育部、国家文物局联合印发《关于利用博物馆资源开展中小学教育教学的意见》,指出要进一步健全博物馆与中小学校的合作机制,促进博物馆资源融入教育体系,提升中小学生利用博物馆学习的效果。而在博物馆学习中应用VR、AR技术,不仅能丰富展览,还能促进互动。其中,VR被定义为由计算机生成的三维图像和声音展示的现实或想象环境,VR技术常采用多感官刺激让参观者完全沉浸在仿真的虚拟环境中;而AR是在现实的基础上叠加或合成虚拟对象,AR技术常通过移动设备将数字内容叠加到实物上以增强对现实内容的理解。当前,已有不少博物馆将VR/AR技术与自身的展览或展品结合,以增强参观者的互动体验感,从而激发其学习兴趣。例如,在历史博物馆中,VR技术不仅重现了新石器时代的生活场景,还允许参观者与其中的虚拟展品互动。但目前国内对博物馆与VR/AR技术的研究大多聚焦于展品的设计与技术的开发过程,而缺乏对在博物馆学习中VR/AR技术的应用领域、形式和效果等方面的研究与论述。因此,本研究拟通过整理与分析国际范围内在博物馆学习中应用VR/AR技术的实证研究成果,重点回答以下问题:①VR/AR技术在博物馆学习中应用的研究现状如何?②VR/AR技术在博物馆学习中的应用领域有哪些?③VR/AR技术在博物馆学习中的应用形式有哪些?④在VR/AR技术的支持下,博物馆学习的效果如何测量?

博物馆是一个通过获取、保存、研究、传播和展示文化遗产,以达到教育、学习和享受目的的场所。博物馆举办的历史、艺术、科学等主题展览和活动,可作为课堂学习内容的补充。但是,博物馆面临年轻一代参观兴趣不高的问题,故许多博物馆引入数字技术来吸引参观者,AR、VR技术就是当前较受欢迎的数字技术。目前,已有较多研究者通过实证研究,探索了VR/AR技术在博物馆学习中的应用。例如,Oh等在科学博物馆中设计了一个名为ARfract的多用户应用系统,参观者可以通过头戴式AR眼镜和手持设备,沉浸式地观察光的折射现象;Lee等在工业博物馆中利用VR技术构建了虚拟矿井,可为参观者带来身临其境般的矿工工作体验,并通过VR/AR技术增强参观者的博物馆学习体验及其再次参观的意愿。近年来,国内外关于VR/AR技术的学习应用综述大多聚焦于正式学习环境。例如,Akçayır等对AR技术在K-12和高等教育中的应用进行了系统的文献分析,探讨了使用AR技术的优势和挑战;Radianti等从学习知识的领域、设计元素和学习理论三个方面,分析了VR技术在高等教育中的应用;Saltan等论述了在正式教育背景下AR技术可以提高学习成效、参与度、动机和满意度的证据;罗恒等从研究情境、技术特性、教学设计和效果评价四个角度,分析了VR在基础教育中的应用情况;而王雪等采用元分析方法,量化分析VR技术在正式教学环境中的使用效果。但是,关于VR/AR技术在非正式教育场合学习的综述还较为缺乏。

VR/AR 技术在博物馆学习中的研究现状

 ①从文献发表的年份来看,35篇样本文献均发表于2012~2020年间。其中,2012~2017年间每年发表2~3篇,2018年发表6篇,2019年、2020年各发表9篇。②从文献发表的地区来看,英国(6篇)和美国(6篇)排在前两位,欧洲的西班牙、芬兰等国也有少量文献发表;而在亚洲,中国台湾地区(5篇)处于领先地位,日本和韩国也有少量的研究。综上可知,VR/AR技术应用于博物馆学习中的相关实证研究呈现出逐渐增多的趋势,但整体来说发表量还不大,有待研究者在这方面开展更多、更深入的研究;英美两国和中国台湾地区在这方面的研究较多,区域间差异较为明显。
 VR/AR技术在博物馆学习中的应用领域
 (1)博物馆类型文献数据统计结果显示,VR/AR技术常应用于科学博物馆(15篇),其中有1篇为医学博物馆的应用研究;VR/AR技术也较多应用于艺术博物馆(9篇)、历史博物馆(8篇),其中历史博物馆主要涉及考古博物馆(2篇)和军事历史博物馆(2篇);未说明博物馆类型的文献有3篇。由此可见,VR/AR技术已被广泛应用于不同类型的博物馆,在丰富展品信息的同时,使参观者从视听触等多角度感受展览。(2)学科类型文献数据统计结果显示,VR/AR技术在人文类学科(16篇)和理工类学科(17篇)应用的研究数量大致相当。其中,利用VR/AR技术在博物馆中学习历史(8篇)和艺术(8篇)最受研究者关注,而学习物理学(7篇)、医学(4篇)、生物学(4篇)、气象学(1篇)和数学(1篇)的研究也较为常见。VR/AR技术将一些抽象概念可视化,降低了理解的难度,如利用玻尔兹曼分子运动的AR展览学习气体分子运动原理。此外,未明确说明学科类型的文献有2篇。(3)学习内容文献数据统计结果显示,VR/AR技术常应用于陈述性知识的传播(21篇),如学习伯努利原理;分析和解决问题(4篇)次之,一般采取游戏或探险的形式让参观者分析、回答或解决问题;情感体验(2篇)再次之,如体会纳粹大屠杀。此外,VR/AR技术还应用于行为改变(1篇)和操作性知识的学习(1篇),其它、无明确说明的样本文献各为1篇、5篇。

VR/AR 技术在博物馆学习中的应用形式

1)技术类型在选取的35篇样本文献中,有80%(28篇)使用了AR技术,17.1%(6篇)使用了VR技术,还有1篇没有对技术进行明确归类。可见,较多研究使用了AR技术,这可能与AR技术所需设备配置较为便捷有关。而VR技术需要更高级的技术配置,目前其应用范围还不大。(2)设备类型在博物馆学习中使用VR/AR技术最多的是移动设备(16篇),这主要得益于其便携性;其次是头戴式设备(11篇),它能更好地提供沉浸式的学习环境。桌面设备(6篇)和投影设备(3篇)的应用较少,且常与其它设备结合使用。(3)结合形式VR/AR技术与博物馆学习最常见的结合形式是基于导览(14篇),该形式提供与展品相关的信息、图片和音频、3D模型等,以辅助理解学习内容;其次是基于场景的应用(9篇),主要通过VR/AR技术打造完全虚拟或基于现实的数字化场景及展览。此外,互动体验(5篇)包括人机交互和问题回答;增强反馈(5篇)主要是指与展品互动后,利用AR技术展示肉眼不可见的效果以增强体验,如在人作为导体连接形成完整的电路后,会有投影将动画电流投至人体以显示完整的回路。设备类型和结合形式的映射关系,可以看出:移动设备与基于导览的组合方式最为常见,即参观者利用移动设备扫描展品或二维码,获得类似标签功能的文本和图片音频信息——此组合的设备便携易得,技术设施相对成熟,但提供的沉浸度不高。移动设备应用于场景构建是通过与其它类型的设备合作共同完成的,如通过手机播放纪录片和HMD显示虚拟历史场景相结合。移动设备应用于互动体验是通过其应用程序,让参观者回答与展品相关的问题。此外,头戴式设备与基于场景的组合方式也较多,此组合能够营造较高沉浸度的学习场景,在博物馆学习中多以虚拟数字化展览的形式呈现,如参观者通过头戴式设备游览一名收藏家的房屋及其收藏品。头戴式设备与基于导览的组合方式主要是提供一些辅助理解的文本和多维信息——相较于移动设备,头戴式设备可能会使参观者的情感更投入。在互动体验方面,桌面设备与手持设备结合,以达到人机互动的效果;在增强反馈方面,桌面设备用于显示数字增强的内容,以加强参观者与博物馆内物品互动后的反馈;在场景设置方面,桌面设备呈现展品的故事性动画内容,提供了一个游戏化的学习系统;而在虚拟场景的构建方面, 投影设备与头戴式设备共同创设了一个在虚拟世界中探究光折射及其反射路径的学习环境。

VR/AR 技术支持下博物馆学习的效果测量

 在VR/AR技术的支持下,博物馆学习效果测量的维度与方式如表2所示(部分文章对同一维度的不同分类均进行了测量,且测量方式可包含多种,故篇数累计有重复)。在选取的35篇样本文献中,有23篇对概念知识习得进行了测量,进一步分析文献数据可知:研究者通常采用博物馆学习后的知识测验成绩来评估学习者概念知识记忆性习得的情况;部分研究者对学习者在参观过程中的学习单记录情况、与学习设备互动的情况进行了分析;还有一些研究者采用了问卷或访谈的形式。
 对VR/AR技术应用于博物馆学习的建议本研究通过对35篇样本文献的系统整理,分析了VR/AR技术在博物馆学习中的研究现状、应用领域、应用形式和效果测量,也发现VR/AR技术在博物馆学习中存在一些问题,如VR/AR技术较少应用于技能性知识习得、博物馆学习环境的沉浸度不够、测量感知收获的方法比较片面等。对此,本研究提出以下建议,以期为VR/AR技术应用于博物馆学习的研究提供参考:利用VR/AR技术促进博物馆学习中技能性知识的习得一项关于VR技术影响学习效果的元分析研究结果表明,VR技术对知识、技能和能力三种学习结果的正向效果影响基本相当,但相较于陈述性知识,VR技术对学习操作性知识的正向影响更高。本研究发现,目前在博物馆中VR/AR技术更多地用于陈述性知识习得,而其用于动手操作或提升操作技能的研究成果很少。据此,本研究建议设计博物馆学习活动时,应充分利用VR/AR技术在时空方面受限少的特点,创设技能学习的虚实融合场景。例如,利用VR/AR技术创设与文物近距离接触的场景,让参观者学习文物展品的修复与保存技能,使其在习得技能性知识的同时增强与展品的深层次互动和情感联系。未来的博物馆活动设计还可以探索开发以学习者高阶思维技能或社交技能为目标的VR/AR技术应用,以充分发挥博物馆学习的优势。

通过 VR/AR 技术打造高沉浸度的博物馆学习环境

 本研究发现,在博物馆学习中对VR/AR技术应用最多的是移动设备与基于导览的组合方式,通过智能手机或平板电脑查看增强效果的文本、图片、音频等信息,这有点类似于传统展览的标签功能。这种应用方式提供的沉浸感相对较低,因此VR/AR技术营造沉浸式博物馆学习情境的潜力有待进一步发掘——博物馆应该将VR/AR技术应用于创设自然、逼真的学习情境,以加强参观者与博物馆的情感联结,并加大其情感投入。基于此,本研究建议在设备配置方面,应增设高沉浸度的头戴式设备,如HTCVIVE、MicrosoftHoloLens等;在学习环境构建方面,应努力实现以下目标:支持动觉、触觉、听觉、嗅觉等多通道感知;支持多模态交互,使学习者能够利用其身体与学习内容进行自然交互,如通过语言或表情动态呈现学习内容;支持多情境体验,通常应包含该学习内容形成或应用的相关真实场所、实践活动、社会文化等。
 探索合适的测量方法评价感知收获
 问卷测量结果易于统计分析,是实验工作中较为常用的一种测量方法。但是,针对感知收获的测量若仅依靠问卷方式,那么获得的结果将较为片面,原因主要在于:①个体的感知收获具有较强的主观性,如针对感知收获中学习者沉浸度的测量,研究人员与被试对沉浸程度的描述就存在主观性偏差;②问卷测量感知收获往往以参观结束后个体被迫回忆的方式展开,不能对体验过程中的感知变化进行实时测量。因此,未来测量学习者应用VR/AR技术进行博物馆学习的感知收获时,可以结合问卷、实时观察和访谈的方法,以更全面地测量个体的感知收获。同时,研究者可以探索更加客观的记录测量方式,如在VR/AR设备中融入心跳、眼球运动、瞳孔变化等生理信号的记录测量,这些指标都与个体的情绪和感知密切相关,能够实时反馈体验者的情感投入与变化。期待通过更全面、客观地记录并分析实验对象,使VR/AR技术应用于博物馆学习的效果测量更客观、更准确,从而为后续博物馆学习活动的优化设计提供参考。

 

智慧展馆里智慧讲解的标配:导览系统  自动讲解器  分区讲解系统