Web信息抽取与网页摘要的研究与应用

论文摘要

准确地提取出网页的主题内容并生成文档摘要已经成为一个非常重要而有意义的研究方向。随着万维网的飞速发展,在Internet上形成了不计其数的以HTML网页形式存在的信息源,但是Web页面通常含有很多用户并不关心的信息,如广告链接和图像等,它们分布于网页四周,甚至附着在正文旁边,文档主题很不明确,使用户不能迅速定位所需信息,也会增大搜索引擎索引文件的大小,影响搜索的速度和准确率。本文分析了网页与普通文本的不同,根据Web页面的特征,在分析其结构的基础上,提出了网页信息抽取的可行性方法。基于以下三点考虑:在同源的网页集合内噪音节点的频度值很高;正文信息一般由非链接文字组成;与正文相关的链接和文章标题有较近的语义距离。因此,在把网页解析成普通DOM树的基础上,添加了相关度属性和信息熵值属性作为判断依据,不仅提高了准确率,也减小了结果对信息熵阈值的依赖性。用节点频度值而不是信息熵值来进行噪音块的判断,在一定程度上提高了效率。针对8个网站的实验表明,该方法能有效地抽取正文信息,召回率和准确率都在0.96以上,是Web信息抽取的一种有效手段。在以上工作的基础上,针对Web信息检索的需求和Web文档的特点,采用拟人思维,给出了一种以段落结构为指导的自动摘要方法。该方法对段落之间的内容语义关系进行分析,进而划分出文档的主题层次,得到文档的段落结构;在段落结构的指导下,使用特征分析和启发式规则来提取文档的关键词、关键句,生成文档的摘要。在实验评估中,该方法取得了令人满意的摘要质量。将网页信息抽取器应用到公安局“网上作战”系统的一个子系统,即公安网刑侦信息抽取系统与发布系统中,实现公安网刑侦信息的抽取和摘要,并为公安局“网上作战”系统中的其他子系统,如信息比对系统等提供数据支持,取得了不错的效果。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 问题的提出及意义
• 1.2 国内外研究现状与技术分析
• 1.2.1 信息抽取主要技术工具的比较分析
• 1.2.2 中文单文档摘要技术的比较分析
• 1.3 课题的研究意义
• 1.3.1 抽取方法比较分析
• 1.3.2 网页摘要技术的新特点
• 1.3.3 本文研究的提出
• 1.4 本文的工作
• 1.5 论文的组织
• 2 相关技术
• 2.1 信息抽取研究
• 2.1.1 信息抽取发展历史
• 2.1.2 Web信息抽取技术
• 2.2 网页摘要研究
• 2.2.1 自动摘要发展历史
• 2.2.2 自动摘要技术
• 3 网页正文信息的抽取
• 3.1 Web信息抽取
• 3.2 相关技术规范
• 3.2.1 HTML规范
• 3.2.2 XML规范
• 3.2.3 DOM规范
• 3.3 Web信息抽取方法
• 3.4 基于节点频度和语义距离的抽取方法
• 3.4.1 方法的主要思想
• 3.4.2 确定主题区域
• 3.4.3 构建 BF-DOM树
• 3.4.4 网页标题抽取
• 3.4.5 正文信息抽取
• 3.5 实验与分析
• 3.5.1 信息抽取的评价标准
• 3.5.2 实验结果
• 3.5.3 结果分析
• 4 网页文本的自动摘要
• 4.1 摘要系统的模型
• 4.1.1 统计模型方法
• 4.1.2 系统体系结构
• 4.2 摘要系统实现
• 4.2.1 特征词的选取
• 4.2.2 语句的选择
• 4.2.3 篇章结构的分析
• 4.2.4 摘要结果的后期加工
• 4.2.5 多文本摘要
• 4.3 基于段落结构和特征分析的自动摘要
• 4.3.1 段落结构分析
• 4.3.2 关键词提取
• 4.3.3 摘要生成
• 4.4 实验与分析
• 4.4.1 自动摘要的评价标准
• 4.4.2 实验结果
• 4.4.3 与 MS Office自动摘要功能的比较
• 4.4.4 结果分析及应用
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢