2021年3月21日

智能语音技术在导游 VR 智慧教学系统中的应用研究

作者 讲解员

智能语音技术是人工智能技术的重要领域,其研究可追溯到 20 世纪 50 年代。随着信息技术的迅速发展,如今的智能语音技术已经非常成熟,并且得到了广泛的应用。导游讲解是导游的核心技能之一,是学生未来从事导游岗位工作的必备技能。导游讲解技能的形成取决于学生的景区景点知识水平、景区导游词写作水平、语言表达能力和即时应变能力。在导游讲解技能中,语言表达能力是导游讲解的核心,是学生学习的难点。基于智能语音技术的导游 VR 智慧教学系统为学生提供了可以进行自主学习与训练的情境,使学生在不断反复的强化训练中提升语言表达能力,进而提高导游词写作能力。
一、智能语音技术概述
智能语音技术是实现人机语言的通信,包括语音识别技术、语音合成技术和语音评测技术。语音识别 (Automatic SpeechRecognition,ASR)技术是指让计算机能够接受、识别和理解人的言语信息,将语音信息自动转换成相应文本信息或命令的技术,实现人机交互的输入;语音合成(Text To Speech,TTS)技术是指让计算机能够像人一样说话,将文本信息自动转换成语音信息的技术,实现人机交互的输出;语音评测(Automatic SpeechCertification,ASC)技术可以实现自动对发音人语音水平评价、缺陷定位和问题分析,是近年来智能语音技术出现的第三个分支。本系统中主要运用了语音识别技术和语音测评技术。
(一)智能语音技术的人机交互原理
智能语音技术的人机交互种类主要包括语音识别、语音合成和语音评测。大部分智能语音系统的人机交互过程一般从语
音识别开始,系统成功接收语音信息后,通过预设的算法将其转换为文本信息,完成人机交互中的输入;在语音信息全部输入后,语音评测技术开始将输入的语音信息和系统语料库进行比对,根据预设的评测标准输出评测结果;语音合成技术则是将文本信息再次转换为人造语音信息,实现人机交互中的输出

(二)智能语音技术在教学中的应用现状
近年来,随着我国语音识别技术和语音测评技术的飞速发展,智能语音技术在语言类教学中得到了广泛的应用,如英语教学中的各类口语学习软件、普通话教学中的普通话水平测试软件等,这些基于智能语音技术的教学软件在很大程度上激发了学生的语言学习兴趣,提升了教学效果。在知网中以“智能语音技术”“智能语音系统”“语音识别技术”“语音评测技术”为搜索关键词,发现与教学相关的文献较少,其中大部分是针对英语教学、普通话教学的研究,没有与导游教
学相关的文献研究。在实际导游教学中,智能语音技术的应用只是作为丰富课堂的一些教学手段,如讯飞输入法的语音转换功能、景区的语音导览服务等,缺少一个功能完整的教学系统。
二、智能语音技术在导游 VR 智慧教学系统中的应用
导游 VR 智慧教学系统是我校自主开发的一款智能导师系统,该系统整合了虚拟仿真资源、多媒体资源、智能语音功能等,其中智能语音功能是本系统最大的特色。利用语音识别技术实现了讲解语音到导游词文本的智能转换,基于知识图谱和语音语料库能够对导游词的智能批改;借助语音评测技术,对导游讲解进行智能评价和即时反馈。
(一)语音识别技术的应用
语音识别系统的搭建包括两个阶段:数据训练阶段、模型匹配识别阶段。在数据训练阶段,首先对提前收集的语音语料库进行信号处理和特征挖掘,得到语音识别阶段所需的语言模型和声学模型。因此,语料库的设计显得尤为重要。

1.语音语料库的设计
语音语料库是指计算机中存储语言音频文件和文字副本的数据库。本系统采用了基于语料库的语音识别系统,本系统中的语音识别属于大词汇量的连续语音识别,在设计这类语音识别系统的语音语料库时,应当有目的地选择恰当的、能尽可能涵盖各种自然语言现象的语料,以提高语音识别的质量和效率。根据导游证考证的要求,我们设计了普通话和英语双语语音语料库。考虑到江苏地区五年制中高职旅游专业学生的普通话水平和英语口语水平参差不齐,适当降低了对发音标准度的要求,在我校旅游管理专业三年级学生中挑选了 6 位学生(3 男和 3 女)朗读了无锡市导游证考证的 11 篇中文导游词范文和 5篇英文导游词范文,这些学生均已通过导游考证且普通话和英语口语处于中等偏上水平,这在一定程度上增强了语音识别的有效性。
2.导游词的智能转换与批改
在传统的导游讲解训练中,导游词写作采用的是“先写后说”的训练方式,学生先写出导游词文本,由教师批改后学生进
行背诵、讲解,这种方式写出的导游词通常比较书面化,学生不容易背诵,讲解时也比较生硬。为了解决这一问题,导游 VR 智慧教学系统设计了基于语音识别技术的导游词智能转换与批改功能。学生利用系统的语音转换功能,将自己口述的导游词语音录入系统并实时转换成文本。系统对这些文本进行智能批改,将语法错误、错别字等问题以不同的形式进行标注,学生根据系统给出的批改结果进行反复的修改与训练,形成更加生动、流畅的导游词。该功能的实现,有效提升了学生的导游词写作能力,创新了“先说后写”的讲解训练模式。
(二)语音评测技术的应用
1.语音评测的基本框架与流程
语音评测首先需要构建语音模型和评分映射模型。该技术基于一个标准发音的语音语料库,在获取标准发音数据后,提取其语音特征,进而构建语音模型,使计算机能够自动判断哪些是标准发音,哪些是不标准发音。语音评测研究包括标准发音模型的建立、发音的音段韵律质量分析和人工评分映射训练等核心内容语音评测的流程是:系统在接受学生的语音输入后,首先提取其语音特征,然后用语音语料库中的语音模型对语音特征进行音段切分(通常采用 Viterbi 算法),接着在音段上计算出各种发音质量测度,最后用训练好的评分映射模型,把发音质量测度转换为直观的分数[7]。
2.导游讲解智能评价
目前导游讲解的评价模式主要采用主观性评价,评分完全依赖教师的主观判断,在实际教学中,这种评测方式存在两个比较明显的问题:(1)主观性评价对教师来说耗时耗力,评价效率较低。(2)尽管有统一的评分标准,但受到教师自身的语言水平、主观喜好等诸多因素的影响,不可避免地会出现评分偏差,从而影响评分的可靠性和公正性。

为了解决这两个问题,系统加入了导游讲解智能评价功能,利用语音评测技术,系统自动对学生的讲解语音进行录制,然后将讲解语音与语音语料库中的标准发音进行分析对比,根据预设的评分标准给出评测分数,并将系统无法识别的语音文字、错误的发音文字等进行标注,学生根据评分和错误提示及时纠正自己的错误,提升导游语言表达能力。在该功能的设计上,我们参考了普通话水平测试系统,本系统中的语音评测目前仅针对学生导游讲解时的讲解流畅度和发音标准度进行评价,考虑到导游讲解的特殊性,后期还应加入针对讲解语调和情绪的评价。语音评测功能可以及时反馈学生的学习情况,能够让学生了解自身存在的问题,从而进行有目的的矫正练习。教师在课上可以借助语音评测功能了解学生的导游讲解水平,学生在课前或课后也可以利用语音评测功能进行讲解训练,既减轻了教师的负担,又增强了评测的可靠性和公正性。
(三)应用效果分析
导游 VR 智慧教学系统在我校旅游管理专业 3 年级 80 名学生的导游讲解实训中进行了初步应用,并取得了一定的效果。
1.语音识别的准确度
经过测试,当学生的讲解比较流利且普通话比较标准时,识别率一般都能达到 95%以上。对于系统不能识别的字符,我们设置了一些特殊符号以提醒学生及时修改;对于一些生僻字、专用词,修改后还可以对语料库进行补充,不断提高语音识别的准确度。
2.语音评测的可信度
为了检测语音评测系统的可信度,我们邀请了 5 位不同年龄和性别的导游教师对学生的导游讲解进行了人工评价,测试
表明:系统智能语音测评结果与人工评分一致性较高。
3.学生满意度调查
在使用导游 VR 智慧教学系统一个学期后,我们对试用了该系统的学生进行抽样调查,结果表明,96%的学生更愿意使用导游 VR 智慧教学系统进行导游讲解训练,94%的学生认为该系统能够有效提高自己的语言表达能力和导游写作能力。

作为一种成熟的新型信息技术,智能语音技术颠覆了传统的导游讲解训练方式和评价模式。本研究针对当前导游讲解训
练中存在的导游词记忆困难、讲解生硬等问题,设计了基于智能语音技术的导游 VR 智慧教学系统,应用效果表明该系统能够有效提高学生的导游语言表达能力和导游词写作能力。目前,该系统在智能语音功能方面尚不完整,缺少语音合成功能。如何借助语音合成技术,实现学生与系统之间的人机对话,创设更加真实的导游讲解训练情境,将是下一步研究的重点。

 

智慧展馆里智慧讲解的标配:导览系统  自动讲解器  分区讲解系统