基于标题特征和词汇关联的文本结构分析

论文摘要

文本结构分析在信息检索、自动文摘、信息抽取等领域扮演着重要的角色。文本结构分析是将含有多个子主题结构的文本按语义划分成多个部分,每个部分为一个语义段,由一个或多个自然段落构成,不同的语义段描述不同的主题结构。本文主要进行结构分析的对象是包含多个子主题的文本,根据不同文体各自的特点,将科技论文和其它文本采用不同的方法分开处理。科技论文一般具有比较清晰的结构信息,可以通过文中的小标题进行主题段的划分,但小标题的种类繁多、格式多样,给计算机的自动识别带来一定的困难。本文在识别具有数字标号的小标题时,对单纯的数字识别法进行了改进,并提出一种基于特征词的识别法,用于识别没有数字标号的小标题。在此基础之上,将两种方法结合起来,采用层次识别机制构建了标题识别系统。实验结果表明,该系统能以较高的召回率和正确率有效地识别小标题,从而识别出文本的结构。对于非科技论文的结构分析,主要使用文本分割方法,根据不同的子主题对文本进行语义划分,将来可应用于主题聚类任务。目前已有文本分割方法大多只利用了文本表层的词汇重现信息,难以准确体现主题的连续性,分析结果并不理想。本文利用知网引入词汇的语义信息,提出了一种词汇关联计算方法,将语义信息映射到词汇语义关联矩阵中,通过矩阵拆分语义信息对传统的向量空间模型进行改进,以适合加入语义信息后TextTiling算法的紧凑度计算。实验结果表明,使用语义信息与单纯使用词汇重现信息相比,能够更好的分析文本结构。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 文本结构分析任务
• 1.3 本文主要工作
• 1.4 论文的组织结构
• 第2章 相关技术及研究现状
• 2.1 基于规则的方法
• 2.1.1 层次分析
• 2.1.2 文本标引
• 2.2 基于统计的方法
• 2.2.1 文本关系图
• 2.2.2 TextTiling算法
• 2.2.3 Dotplotting算法
• 2.2.4 潜在语义分析
• 2.2.5 动态规划算法
• 2.3 性能评价方式
• 2.3.1 F-measure评价方法
• 2.3.2 Pk评价方法
• 2.3.3 WindowDiff评价方法
• 2.4 小结
• 第3章 基于标题特征的文本结构分析
• 3.1 存在问题
• 3.2 改进的数字识别法
• 3.3 基于特征词的标题识别
• 3.3.1 抽取特征词
• 3.3.2 标题判定
• 3.3.3 标题选择
• 3.4 实验和结果分析
• 3.5 标题识别系统
• 3.6 小结
• 第4章 基于词汇关联的文本结构分析
• 4.1 问题提出
• 4.2 知网简介
• 4.3 改进的TextTiling算法
• 4.3.1 预处理
• 4.3.2 利用知网获取语义关系
• 4.3.3 基于语义的紧凑度计算
• 4.3.4 深度计算
• 4.3.5 平滑处理
• 4.3.6 边界选择
• 4.4 实验结果及分析
• 4.4.1 测试语料
• 4.4.2 评价指标
• 4.4.3 实验结果
• 4.4.4 结果分析
• 4.5 小结
• 结论
• 附录I 科技论文的标题识别结果XML框架
• 附录II 摘要模板示例
• 参考文献
• 致谢
• 攻读硕士期间发表（含录用）的学术论文