面向新闻报道的话题检测技术研究

论文摘要

话题检测与跟踪(Topic Detection and Tracking,TDT)作为一个新兴的自然语言处理研究方向,它的研究主要涉及了自然语言处理、信息检索、信息过滤、人工智能和机器学习等多个领域,是一个跨学科领域的综合性课题。话题检测与跟踪旨在基于事件对信息进行组织和利用,同时也是为了应对信息过载问题而提出的一项应用研究。TDT是指在新闻专线和广播新闻等来源的新闻数据流中自动的发现话题并把话题相关的内容联系在一起的技术。自1996年TDT概念提出以来,国内外许多研究机构都参与了这一技术的研究。目前TDT研究已经引起了国内外研究者们的广泛关注,逐渐成为自然语言处理领域的一个研究热点。本文以文本形式的英文新闻报道流为处理对象,对话题检测任务进行了深入细致的研究。我们首先介绍了话题检测与跟踪技术的相关概念,以及近年来的发展动向。然后重点介绍了系统相似模型及系统相似度计算方法。本文分析词变体与缩略词在话题检测与跟踪中的作用,研究并实现了一种基于形念学与语义相结合的词变体与缩略词的识别方法。本文针对话题检测研究中存在的“难以区分”的难题,并分析了英语新闻报道内容及书写形式上的特点研究并实现了一种基于语义划分的话题检测技术。实验证明,基于语义划分的话题检测算法对于解决“难以区分”问题非常有效。最后探索了时间信息在话题检测中的应用研究,研究并实现了基于话题持续时间的动念阈值模型,并结合其特点采用了一种比值法来选择和话题最相似的报道。通过在英语语料上对该动态阈值模型进行实验证明基于话题持续时间的动念阈值模型配合比值法的使用大大提高了系统的整体性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 本文的研究背景和意义
• 1.2 本文的主要研究内容
• 1.3 本文的组织结构
• 第2章 话题检测任务的相关技术研究
• 2.1 TDT技术的发展历程
• 2.2 相关基本概念与任务
• 2.3 话题检测的相关研究
• 2.3.1 基于层次聚类算法的话题检测算法
• 2.3.2 基本的在线增量式话题检测算法
• 2.3.3 基于双阈值的话题检测算法
• 2.4 话题跟踪的相关研究
• 2.4.1 基于查询的话题跟踪算法
• 2.4.2 基于分类算法的话题跟踪算法
• 2.5 测试语料与评测方法
• 2.5.1 话题检测与跟踪的评测语料
• 2.5.2 话题检测与跟踪的评测方法
• 2.6 本章小结
• 第3章 话题检测任务的预处理技术
• 3.1 文本标记预处理
• 3.2 报道和话题的表示模型
• 3.2.1 向量空间模型
• 3.2.2 系统相似模型
• 3.3 词变体与缩略词识别
• 3.3.1 词变体与缩略词在话题检测中的作用
• 3.3.2 基于形态学的候选词识别方法
• 3.3.3 基于系统相似模型的语义相似度计算
• 3.4 实验与分析
• 3.5 本章小结
• 第4章 基于语义划分的话题检测方法
• 4.1 语义划分在话题检测中的作用
• 4.1.1 基本概念
• 4.1.2 基于语义划分的话题模型
• 4.1.3 基于语义划分的话题检测方法
• 4.2 时间信息在话题检测中的应用
• 4.2.1 时间信息的相关研究
• 4.2.2 基于话题持续时间的动态阈值计算
• 4.2.3 比值法
• 4.3 实验与结果分析
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢
• 个人简历
• 附录