中文专家检索关键技术研究

论文摘要

专家检索是当前垂直信息检索研究的热门领域,国际著名检索会议TREC于2005年设立的专家检索任务中,将专家检索任务定义为：给定一个查询主题,然后通过数据库集合返回相关的专家列表和专家详细信息,并对其进行排序。本文围绕中文专家主页识别、中文专家网页非结构化数据提取、专家数据库的自组织等技术进行了一系列的研究和探讨,主要取得了以下几个方面的成果：(1)提出了一种基于J48算法的机器学习方法来对中文专家实体主页进行分类识别。该方法首先人工收集中文专家实体及对应的专家主页面2113个,针对中文专家实体特点,定义与链接和网页内容特征相关的专家实体特征,并对这些特征进行提取,形成训练数据集；然后,采用不同学习算法对在不同特征上的页面进行主页识别,寻找最有效的分类特征和主页识别学习算法。最后,对不同特征、不同算法进行测试,实验结果表明,采用J48算法,结合链接与网页内容特征,中文专家实体主页识别取得了较好的效果,其识别准确率达到了81.05%。(2)提出基于HTML标签字符串异同匹配的模板自动检测方法,针对列表型专家页面及文档型专家页面特点,借助格子理论,利用HTML标签字符串的异同,自动挖掘网页背后的数据模板Wrapper,定格数据区域。数据提取过程自动化,而且不需要事先对页面进行标记,不固定提取格式,通过页面中HTML标签字符串的异同匹配进行数据提取模板的自动检测,获取中文专家网页非结构化数据信息,提高专家网页数据提取准确率和自动化程度。(3)提出了一种解决不同类型数据融合的中文专家数据库自组织方法,针对列表型中文专家数据和文档型中文专家数据,构建专家数据库,解决数据融合问题,并对中文专家数据进行裁剪。同时在用户使用过程中,通过检索反馈优化、编辑优化和新增优化等方法对专家数据库进行优化完善。(4)利用上述研究成果,构建专家检索实验平台,实现中文专家检索原型系统。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 存在问题
• 1.4 本文研究内容
• 1.5 论文的组织
• 第二章 中文专家主页识别
• 2.1 引言
• 2.2 训练数据获取
• 2.3 中文专家实体主页特征选取策略与提取
• 2.3.1 中文专家实体主页特点
• 2.3.2 中文专家实体主页特征选取
• 2.3.3 中文专家主页特征提取
• 2.4 中文专家实体主页分类器的构建与识别
• 2.4.1 中文专家实体主页识别分类器的建模
• 2.4.2 中文专家实体主页识别
• 2.5 实验与结果分析
• 2.6 本章小结
• 第三章 中文专家网页非结构化数据提取
• 3.1 引言
• 3.2 专家网页获取
• 3.3 专家页面分析
• 3.4 中文专家页面非结构化数据提取
• 3.4.1 列表型专家页面数据提取
• 3.4.2 文档型专家页面数据提取
• 3.5 实验与结果分析
• 3.6 本章小结
• 第四章 中文专家数据库自组织
• 4.1 引言
• 4.2 中文专家数据库自组织
• 4.2.1 中文专家数据库的构建
• 4.2.2 中文专家数据库的数据组织
• 4.3 中文专家数据库优化
• 4.4 实验与结果分析
• 4.5 本章小结
• 第五章 面向中文的专家检索原型系统的实现
• 5.1 引言
• 5.2 系统整体框架
• 5.3 专家检索排序方法
• 5.4 中文专家检索原型系统实现结果
• 5.5 本章小结
• 第六章 结束语
• 6.1 论文总结
• 6.2 下一步工作
• 致谢
• 参考文献
• 附录A 攻读硕士学位期间发表论文
• 附录B 攻读硕士期间参与项目
• 附录C 攻读硕士期间申请软件著作权