基于内容的文本分割关键技术

论文摘要

一般而言,稍长的文本往往都会涉及几个主题或同一主题的多个方面,如果能够自动划分出文本的这种语义结构,将语义段落作为基本处理单元,则会极大的改善传统文本处理技术以篇章作为基本处理单元的现象,对文本的分析可以从原来的篇章级别细致到语义段落级别。文本分割技术能够将一篇文本按照语义关系自动识别为具有独立意义的若干个语义段落,并用标记将其区分以备深层分析之用。文本的内容是由词组成的,而词又要放到文本中去理解,词与文本之间是相互制约的。文本为了描述同一核心主题,而频繁的出现相同或相似的词汇,这种词汇集聚现象直观的反映了主题的相似性。人们阅读时也往往通过重复出现的词汇了解文本内容。这里所说的词汇重复也包括词汇的语义重复。本论文通过分析文本分割领域著名的模型来总结基于内容的文本分割模型的设计理念。文本分割的本质是根据主题相似性线索在文本内部找到主题与主题之间的边界位置,使得同一语义段落内部具有最大的主题相似性,而不同语义段落之间具有最小的主题相似性。因此,一个文本分割模型要解决的最根本问题就是主题相似性度量和边界搜索策略。本文提出了综合考虑文本相似度,区域相似度、语义段落长度、基于句对距离的相似度加权策略等多种线索来刻画主题相似性,在此基础上选择合适的边界搜索策略,获得性能上的优势。本文通过研究文本分割领域著名模型,针对其存在的问题,提出自己的解决方案。基于全局的文本相似性,用Dotplotting搜索策略每次分割出一个主题边界,本文提出了MMD模型；基于局部的区域相似性,用动态规则方法在所有决策略中搜索最优解,本文提出了MMF模型；基于词汇潜在的语义关系,尝试挖掘词汇间、文本间在上下文环境中的相互关联的量化关系,从而提高文本相似度计算的质量,本文提出了DLSA模型。针对国际公认的文本分割合成语料不能很好的反映分割模型在自然语料上的性能。本文通过构建真实的文本分割语料,来评测本论文所重点讨论的模型的性能优劣。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 文本分割
• 1.2 研究现状
• 1.2.1 基于词汇浅层信息
• 1.2.2 基于词汇语义信息
• 1.3 研究背景
• 1.4 本文工作
• 1.5 论文组织
• 第2章 文本分割研究内容
• 2.1 分割粒度
• 2.2 相似度计算
• 2.2.1 权重分配
• 2.2.2 计算公式
• 2.3 主题相似性评价
• 2.4 边界搜索策略
• 2.5 终止条件
• 2.6 评测方法
• k评测度量'>2.6.1 P_k评测度量
• 2.6.2 WindowDiff
• 2.7 评测语料
• 2.7.1 合成语料
• 2.7.2 自然语料
• 第3章 基于词汇密度的文本分割模型
• 3.1 Dotplotting模型
• 3.1.1 模型分析
• 3.1.2 Dotplotting搜索策略
• 3.1.3 算法描述
• 3.2 C99模型
• 3.2.1 锐化处理技术
• 3.2.2 分裂式聚类
• 3.2.3 阀值终止条件
• 3.3 MMD模型
• 3.3.1 Dotplotting模型问题分析
• 3.3.2 评价函数设计
• 3.4 实验
• 3.4.1 对比实验
• 3.4.2 锐化窗口性能实验
• 3.5 小结
• 第4章 基于动态规划的文本分割模型
• 4.1 主题相似性线索
• 4.1.1 区域内相似度
• 4.1.2 区域间相似度
• 4.1.3 文本区域长度
• 4.1.4 重现词汇距离
• 4.2 评价函数设计
• 4.2.1 长度因子
• 4.2.2 密度因子
• 4.3 基于动态规划的文本分割建模
• 4.3.1 动态规划引例
• 4.3.2 动态规划原理
• 4.3.3 多维动态规划
• 4.3.4 文本分割问题
• 4.3.5 一维动态规划算法描述
• 4.4 MMF模型
• 1评价函数'>4.4.1 MMF₁评价函数
• 2评价函数'>4.4.2 MMF₂评价函数
• 4.4.3 二维动态规划算法描述
• 4.5 实验
• 4.5.1 重现实验
• 4.5.2 对比实验
• 4.5.3 主题相似性线索有效性实验
• 4.6 小结
• 第5章 基于潜在语义分析的文本分割模型
• 5.1 潜在语义分析基本原理
• 5.1.1 LSA基本原理
• 5.1.2 截断的奇异值分解
• 5.2 DLSA模型
• 5.2.1 语义关系
• 5.2.2 模型训练
• 5.2.3 相似度矩阵
• 5.3 实验
• 5.3.1 对比实验
• 5.3.2 空间维度性能实验
• 5.4 小结
• 第6章 总结
• 6.1 研究工作总结
• 6.2 未来工作展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文