利用表格等信息的Web文本分类研究与实现

论文摘要

随着互联网等信息技术的发展和广泛应用,Web已经成为人们获取信息最重要手段之一。如何从这海量的信息资源库中快速、准确地进行分类并提取出有用的信息,变得十分迫切。Web信息抽取技术和Web文本分类技术作为Web信息处理重要的组成部分,现在也越来越得到更多人的重视。本文首先通过对Web信息抽取技术研究,提出了一种基于表格结构的Web表格信息抽取模型,该模型主要有表格定位模块、表格结构预处理模块和表格信息抽取与重构模块三个模块组成,根据Web表格的结构标记和自定义的启发式规则来抽取表格信息。实验结果表明该模型能够很好的用于Web表格信息的抽取,并且可以把不标准的Web表格转换成标准的表格形式,用Excel文件格式来存储。同时为了得到表格信息中的特征信息(关键信息),我们通过观察和研究表格结构的类型,定义了一些启发式规则对表格单元信息类型进行识别,从而区分出表格信息中特征信息和一般单元信息。然后通过对Web文本分类技术和本体理论的研究,我们构建了关于Web表格特征信息知识的领域本体,提出并设计了一种用于Web文本分类的二次分类模型。该模型使用支持向量机方法对测试样本进行第一次分类,由于设定了较高的分类阈值,一次分类后部分测试样本未确定所属类别;对于未确定所属类别的测试样本,我们抽取样本中的Web表格特征信息,与基于领域本体的分类模板进行相似度匹配,进行第二次分类。最后通过实验,我们对比二次分类模型方法和基于支持向量机的分类方法,发现无论是在准确率,还是在召回率上,二次分类模型方法都明显优于只使用支持向量机的分类方法,从而也验证了二次分类模型方法的可行性,更进一步表明我们可以利用Web文本中所包含的多种信息(如Web表格信息等)来对文本进行分类,提高Web文本分类的准确率和召回率。

论文目录

• 摘要
• Abstract
• 目录
• contents
• 1 绪论
• 1.1 课题研究的目的和意义
• 1.2 国内外研究概况
• 1.2.1 国外研究概况
• 1.2.2 国内研究概况
• 1.3 论文的主要研究内容
• 2 Web文本分类方法的研究
• 2.1 Web文本的特点
• 2.2 Web文本分类的过程
• 2.2.1 Web文本分类的定义
• 2.2.2 文本表示
• 2.2.3 自动分词技术
• 2.2.4 特征提取
• 2.3 常用的文本分类方法
• 2.3.1 朴素贝叶斯算法
• 2.3.2 KNN分类算法
• 2.3.3 支持向量机
• 2.4 支持向量机方法的研究和实验结果分析
• 2.5 本章小结
• 3 本体理论
• 3.1 本体概述
• 3.1.1 本体定义
• 3.1.2 本体的分类
• 3.1.3 本体的描述语言
• 3.1.4 本体建模原语
• 3.2 本体构建方法学
• 3.2.1 本体的建立原则
• 3.2.2 本体构建方法
• 3.3 本体构建工具
• 3.3.1 本体构建工具的分类
• 3.3.2 Protégé
• 3.4 本章小结
• 4 Web表格信息抽取
• 4.1 目前的Web信息抽取方法
• 4.2 HTML语言概述
• 4.2.1 SGML简介
• 4.2.2 HTML简介
• 4.2.3 HTML语言结构分析
• 4.2.4 HTML页面的特点
• 4.3 Web表格信息抽取模型
• 4.3.1 Web表格信息抽取概述
• 4.3.2 Web表格信息抽取模型
• 4.3.3 Web表格的定位
• 4.3.4 Web表格结构预处理
• 4.3.5 表格信息抽取与重构
• 4.3.6 模型实验结果分析
• 4.4 Web表格特征信息的抽取
• 4.4.1 表格的结构类型
• 4.4.2 表格特征信息识别
• 4.4.3 表格单元信息类型识别
• 4.5 本章小结
• 5 Web文本分类系统的设计与实现
• 5.1 构建二次分类模型
• 5.2 数据准备
• 5.3 基于领域本体的分类模块
• 5.3.1 构建基于领域本体的分类模块
• 5.3.2 构建领域本体
• 5.3.3 Web表格特征信息的表示
• 5.3.4 引入概念关联度的主题分类模板
• 5.3.5 相似度匹配
• 5.4 实验结果与分析
• 5.5 本章小结
• 6 结论与展望
• 6.1 结论
• 6.2 展望
• 参考文献
• 致谢
• 作者简介及读研期间主要科研成果