规则与统计相结合的音乐领域命名实体识别

论文摘要

音乐是人类史上一个永恒的主题,是人们情感的寄托和外化。随着互联网的不断发展,人们接触到的音乐信息更是层出不穷,如何从浩瀚的信息中获取感兴趣的内容是亟待解决的问题。因此,人们迫切需要一些自动化工具对音乐领域的海量信息进行处理,音乐搜索、音乐个性化推荐、音乐趋势分析等研究便应运而生。而音乐命名实体(简称音乐实体)如歌手名、歌曲名等是音乐信息中最基本的元素。因此,如何从海量的音乐信息中正确识别出音乐实体是一个非常重要的研究课题,也是其它相关研究的重要基础。音乐实体识别是命名实体识别的一个垂直组成部分。现阶段国内外在命名实体识别方面已经有大量的研究工作,尤其是在人名、地名和机构名的识别上。而在音乐实体识别方面的研究很少,涉及到中文歌曲名、专辑名识别的更少。因此,为了准确、全面地识别出音乐实体,我们需要全方位了解音乐领域中命名实体的特征,并借鉴已有的命名实体识别技术来设计一个中文音乐实体识别系统。本文研究了中文命名实体识别方法在音乐领域相关Web信息中的应用,以便人们能够快速、准确地将分散在不同网页中的音乐实体抽取出来。本文主要在以下两个方面开展了工作:第一,设计了一种分布式网络蜘蛛框架和提出了一种基于DOM的Web主题信息提取方法,并且改进了分词模块,为音乐命名实体的识别做了准备工作。第二,通过对音乐实体及上下文特点的分析,提出了一种规则与统计相结合的音乐实体识别方案。其核心思想为:首先,在分词之前采用基于规则的方法来识别部分明显的音乐实体。然后,在分词之后引入隐马尔科夫模型来识别大部分音乐实体。最后,利用音乐实体库和修正规则,对识别结果进行修正。该方法兼顾了统计与规则两种方法的优点。同时,我们提出了一种新颖、实用的训练语料标注方案,这使得隐马尔科夫模型在音乐实体识别上变得实际可行。本文在上述工作的基础上实现了音乐命名实体识别系统。通过测试发现,该系统具有较高的准确率和召回率,证明本文所提出的方案具有一定的研究意义和实用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 作者所做工作
• 1.4 论文章节安排
• 第二章 命名实体识别概述
• 2.1 命名实体识别的方法
• 2.1.1 基于规则的方法
• 2.1.2 基于统计的方法
• 2.1.3 混合方法
• 2.2 命名实体识别相关模型及算法
• 2.2.1 N-gram 模型
• 2.2.2 马尔科夫模型
• 2.2.3 隐马尔科夫模型
• 2.2.4 数据平滑算法
• 2.3 命名实体识别的评测标准
• 2.4 音乐命名实体识别
• 2.4.1 音乐命名实体识别的概念
• 2.4.2 音乐命名实体识别的难点
• 2.5 本章小结
• 第三章 数据预处理相关技术
• 3.1 网络蜘蛛
• 3.1.1 网络蜘蛛的原理
• 3.1.2 分布式网络蜘蛛
• 3.1.3 汉字编码问题
• 3.2 WEB 主题信息抽取
• 3.2.1 Web 主题信息抽取技术概述
• 3.2.2 基于DOM 的Web 主题信息抽取
• 3.3 分词
• 3.4 本章小结
• 第四章 规则与统计相结合的音乐实体识别
• 4.1 训练语料标注
• 4.2 基于规则的音乐实体识别
• 4.2.1 构建规则库
• 4.2.2 算法描述
• 4.3 基于统计的音乐实体识别
• 4.3.1 隐马尔科夫模型的定义
• 4.3.2 训练隐马尔科夫模型
• 4.3.3 过滤解码算法
• 4.4 音乐实体修正过程
• 4.4.1 音乐实体库的构造
• 4.4.2 修正过程描述
• 4.5 本章小结
• 第五章 音乐实体识别系统的实现与评测
• 5.1 系统总体框架
• 5.1.1 逻辑架构设计模型概览
• 5.1.2 逻辑架构设计使用的模式
• 5.2 系统运行实例
• 5.3 系统的测试及分析
• 5.3.1 实验语料
• 5.3.2 实验设计
• 5.3.3 实验结果
• 5.3.4 结果分析
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 攻硕期间取得的研究成果