聋人计算机智能语言康复系统

论文摘要

根据全国残疾人抽样调查表明,我国现有听力语言残疾人约2057万,其中七岁以下约80万,并且以每年2至4万的速度递增。虽然国外有一些聋人语言视觉辅助语音训练软件,但是目前还没有这类系统的汉语语言视觉辅助语音训练系统的报道。因此,适应我国国情的、智能化的聋人训练和康复工具的出现变得十分迫切。 本课题研究的目的是利用语音的双模态特性开发一种人机交互式的可视化汉语语言康复训练软件。在语音分析的同时,为语音训练和学习提供可视化的辅助手段,从而实现利用正常视觉弥补听觉障碍。 由于聋人训练所需词汇量一般不大,而且大多数是孤立的字、词,因此本课题采用动态时间归正技术实现语音识别。 本系统基本功能是提供参考和训练两个语谱显示窗口及一个评分结果示意图。两个显示窗口中,前者是显示作为参考的标准语音语谱图,后者是显示受训者的语音语谱图。通过两个语音的语谱图对比,可以确切地发现受训者发音的问题所在,从而有针对性地纠正发音的错误,有效地指导聋人语言的训练、学习和康复,实现“看图学话”。这大大提高了聋人语言学习和训练的直观性、科学性。与此同时,根据对比数据对受训者的发音进行评分、分级并加记录,最终显示在评分结果示意图中。 限于时间和系统后续处理算法多而且复杂,本文主要进行基础阶段的框架结构设计和提取出聋儿发音与标准发音的共性特征参量进行对比,并将对比结果反映在可视界面中。为今后的二次开发打下坚实基础。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的意义
• 1.2 课题的可行性
• 1.3 系统应用技术和功能
• 1.4 论文完成的主要工作
• 第二章 语音识别概述
• 2.1 语音识别的优点
• 2.2 语音识别的基本原理
• 2.3 语音识别分类
• 2.4 实用语音识别研究中存在的主要问题
• 第三章 系统的基本原理
• 第四章 语音的预处理和端点检测
• 4.1 预处理
• 4.2 端点检测
• 4.3 实验结果
• 第五章 语音共性特征表示与提取
• 5.1 LPC倒谱系数（LPCC）
• 5.2 共振峰频率和带宽
• 5.3 特征提取的具体问题
• 5.4 实验结果
• 第六章 语音强制对齐
• 6.1 模板训练算法
• 6.2 DTW基本原理
• 6.3 实验结果
• 第七章 发音打分
• 第八章 系统界面的设计
• 8.1 系统界面总体结构设计
• 8.2 编程过程
• 8.3 软件特点说明
• 参考文献
• 致谢
• 附录: 程序代码
• 学位论文评阅及答辩情况表