基于频繁共现熵的跨语言网页自动分类研究

论文摘要

网页自动分类可有效的提高互联网信息的组织与应用,在建立网页自动分类模型时,需要大量的可信的已标注数据集。相对中文网页来说网页数量增长迅速,已标注数据集缺乏,然而数据集标注又是项费时费力的工作,相对英文网页而言,有较多的已标注的英文网页,中文和英文虽然是不同的语言表述,但中文和英文之间也存在着共同的语义,可以考虑通过英文知识来对中文进行分类。已有研究表明,可以通过已标注英文网页来建立中文网页自动分类模型。在传统的分类模型中,是训练集与待分类数据集的所有共现熵特征作为分类知识进行分类的,然而实际上并不是所有的共现熵特征都能很好地表示分类知识,因此如何更好地选择共现特征是一个关键的问题。针对已标注中文数据集的缺乏,而有已标注英文网页较丰富的情况,本文提出了基于频繁共现熵的分类器,该分类器适用于待分类数据集的批量自动分类,引用了待分类数据集的词特征信息,用频繁共现熵方法选取更能表示分类知识的词特征信息。首先,为了更好把已标注的英文网页信息应用到中文网页分类中,本文使用了Google Translate翻译工具;然后,使用频繁共现熵计算所有共现特征的共现熵值,按其值从大到小进行排序,接着选取不同比例的排序靠前的共现特征作为分类知识,通过已标注英文网页信息训练分类模型,充分应用英文知识对中文进行分类。本文工作和创新点在于:1.提出了频繁共现熵方法,并把该方法应于到跨语言网页分类中,该方法能提取更好的分类特征信息。2.建立了基于频繁共现熵的自适应贝叶斯模型,还有基于频繁共现熵的朴素贝叶斯模型和向量空间模型,并把该模型应用于跨语言网页分类中,同时比较了其余其他分类器的效果,性能与基准模型相比都有相应的提高。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 跨语言文本分类的研究意义及应用
• 1.3 论文组织
• 2 跨语言文本分类的概述
• 2.1 文本分类
• 2.1.1 文本分类的过程
• 2.1.2 文本分类的基本模型
• 2.1.3 文本分类评价指标
• 2.2 跨语言文本分类
• 2.2.1 跨语言分类的研究方法
• 2.2.2 跨语言分类的相关研究
• 2.3 本章小结
• 3 基于频繁共现熵的跨语言网页分类
• 3.1 熵（信息论）的概述
• 3.1.1 熵的定义
• 3.2 频繁共现熵
• 3.3 朴素贝叶斯分类模型（NB 模型）
• 3.4 自适应贝叶斯分类模型（ANB 模型）
• 3.5 本章小结
• 4 实验设计与分析
• 4.1 跨语言网页自动分类流程图
• 4.2 实验数据
• 4.3 实验环境
• 4.4 实验准备
• 4.5 实验结果及分析
• 4.5.1 参数π的选取
• 4.5.2 NB+FCE 模型性能
• 4.5.3 ANB+FCE 模型性能
• 4.5.4 与基准分类模型对比结果分析
• 4.5.5 本文方法的进一步讨论
• 4.6 本章小结
• 5 总结和展望
• 5.1 本文总结
• 5.2 进一步工作
• 参考文献
• 个人简历
• 致谢