基于决策树中文文本分类技术的研究与实现

基于决策树中文文本分类技术的研究与实现

论文摘要

随着互联网技术的迅速发展,网上的文档数据在飞速增长,在这些海量的Web结构页面中蕴藏着巨大潜在价值的知识,如何快速、有效地发现潜在知识,成为数据挖掘技术一个重要的研究方向。文本分类是Web知识发现的一项重要的内容。有了文本分类的工具,用户可以更加方便地阅览Web内容,而且通过限制搜索范围,可以在互联网上尽快查找自己感兴趣的内容。文本分类是对信息的一种最基本的认知形式。目前的文本特征降维算法、改进或创造适应文本数据的分类算法、抽取文本分类规则等方面的研究仍远远不能满足实际的需要。本文主要研究文本特征空间的降维问题、决策树分类算法、决策树剪枝及利用决策树抽取文本分类规则等问题。本文对文本分类中所涉及的特征降维方法、决策树分类、剪枝、文本抽取规则进行了研究。首先,针对文本特征降维提出了一种基于模式聚合和改进卡方原理的降维方法,有效地降低文本维数并提高了分类精度;其次,在决策树常用C4.5分类算法上提出了新的DC4.5分类算法,同时也对决策树的剪枝方法进行了改进;最后,根据对分类过程中几处重要环节的改进,提出新的基于决策树的文本分类规则获取方法,并获得分类精度较高且易于理解的文本分类规则。本文首先对文本分类进行了简介,讲述了文本分类的相关技术,包括文本表示模型、文本特征空间的降维、文本分类方法(KNN,支持向量机,贝叶斯等),再次重点介绍了决策树文本分类方法,针对决策树分类过程中特征降维、分类算法、后期剪枝等环节提出了三种改进的方案。通过上述的改进,使用决策树进行文本分类,大大降低了建树时间,提高了分类正确率,也在一定程度上解决了利用高维属性发现规则的难题。经过测试,表明根据改进方法实现的分类算法既有决策树易于抽取可理解规则的优势又保证了分类精度、提高了分类效率,具有较好的实用价值。

论文目录

  • 摘要
  • Abstract
  • 第1章 绪论
  • 1.1 课题背景和意义
  • 1.2 研究历史与现状
  • 1.3 本文的研究内容
  • 1.4 论文的组织结构
  • 第2章 文本分类概述
  • 2.1 文本分类过程
  • 2.2 文本分类的关键技术
  • 2.2.1 特征选取
  • 2.2.2 阈值策略
  • 2.3 文本分类方法概述
  • 2.3.1 基于关联规则的分类算法
  • 2.3.2 贝叶斯分类
  • 2.3.3 支持向量机分类算法
  • 2.3.4 粗糙集
  • 2.3.5 神经网络
  • 2.4 决策树分类算法概述
  • 2.4.1 决策树的基本概念
  • 2.4.2 决策树的生成
  • 2.4.3 决策树的测试属性选择
  • 2.4.4 决策树的剪枝
  • 2.4.5 决策树的规则抽取
  • 2.4.6 决策树的优缺点
  • 第3章 文本分类的改进与实现
  • 3.1 一种改进的特征降维方法
  • 3.1.1 改进的CHI统计量
  • 3.1.2 基于模式聚合理论的特征降维
  • 3.1.3 关键实现
  • 3.2 决策树算法的改进
  • 3.2.1 C4.5算法
  • 3.2.2 改进的基本思想
  • 3.2.3 算法描述与实现
  • 3.3 决策树的修剪
  • 3.3.1 修剪原则
  • 3.3.2 新的修剪方法
  • 3.3.3 修剪过程与实现
  • 3.4 基于模式聚合和决策树的文本分类规则抽取方法
  • 3.4.1 文本分类的规则抽取
  • 3.4.2 基于决策树的文本分类规则抽取
  • 3.5 本章小结
  • 第4章 实验分析
  • 4.1 聚合特征降维
  • 4.1.1 测试方法
  • 4.1.2 结果及分析
  • 4.2 DC4.5分类算法
  • 4.2.1 测试方法
  • 4.2.2 结果及分析
  • 4.3 改进的剪枝方法
  • 4.3.1 测试方法
  • 4.3.2 结果及分析
  • 4.4 综合测试
  • 4.4.1 测试方法
  • 4.4.2 结果及分析
  • 4.5 本章小结
  • 第5章 结论与展望
  • 参考文献
  • 致谢
  • 相关论文文献

    • [1].清華簡文本復原——以《清華大學藏戰國竹簡》第一、二輯為例[J]. 出土文献 2012(00)
    • [2].召唤、整合与摧毁:群体传播时代网络叙述的副文本[J]. 现代传播(中国传媒大学学报) 2019(11)
    • [3].古义、真义与大义:以诠释范式为中心看中国古代思想文本的意义生成[J]. 复旦学报(社会科学版) 2020(01)
    • [4].广义文本情感分析综述[J]. 计算机应用 2019(S2)
    • [5].非连续性文本教学要聚合与实用[J]. 语文建设 2020(03)
    • [6].论文本的物质性[J]. 山东社会科学 2020(01)
    • [7].基于深度学习的学术文本段落结构功能识别研究[J]. 情报科学 2020(03)
    • [8].Word2vec-CNN-Bilstm短文本情感分类[J]. 福建电脑 2020(01)
    • [9].文本的时空呈现——高校写作教学改革思考之二[J]. 写作 2020(01)
    • [10].语体视角下语篇副文本系统的配置及耦合互文路径差异[J]. 当代修辞学 2020(03)
    • [11].重审“作者已死”:论作为“伴随文本”的作者与作品[J]. 西南大学学报(社会科学版) 2020(03)
    • [12].影视作品及数字媒体文本-类文本共生叙事研究[J]. 西南民族大学学报(人文社科版) 2020(06)
    • [13].金融学文本大数据挖掘方法与研究进展[J]. 经济学动态 2020(04)
    • [14].基于深度学习的自然场景文本检测与识别综述[J]. 软件学报 2020(05)
    • [15].多文本融合下的深度翻译研究[J]. 中国科技翻译 2020(02)
    • [16].伊瑟尔“召唤结构”理论下文学文本审美潜能再创造[J]. 湖北第二师范学院学报 2020(04)
    • [17].全文本视角下文艺类图书出版的意义生成[J]. 出版科学 2020(03)
    • [18].《阿Q正传》译入译出文本的风格计量学对比[J]. 外语研究 2020(03)
    • [19].广义叙述学视域下电子游戏的三种文本初探——以《王者荣耀》为例[J]. 科技传播 2020(12)
    • [20].面向文本的结构——内容联合表示学习模型[J]. 计算机应用研究 2020(S1)
    • [21].明清教材“孝”文本的传播逻辑[J]. 出版广角 2020(15)
    • [22].新型主流媒体的文本互动研究[J]. 传播与版权 2020(07)
    • [23].试论伴随文本对特稿收受与解释的影响——基于《人物》对新冠肺炎疫情的相关报道[J]. 新闻研究导刊 2020(18)
    • [24].让语文课堂充满语文的味道[J]. 文学教育(上) 2019(02)
    • [25].教师培养政策的政策文本研究[J]. 现代经济信息 2019(18)
    • [26].浅析手机取证中的文本分类[J]. 科技与创新 2019(22)
    • [27].住建部、工商总局联合修订《建设工程施工合同(示范文本)》[J]. 建筑技术开发 2017(22)
    • [28].2013版建设工程施工合同(示范文本)已废止,10月1日已执行2017版[J]. 建筑设计管理 2017(12)
    • [29].高校官方微信公众号的文本传播解读[J]. 西部广播电视 2018(16)
    • [30].自然场景图像中的文本检测方法研究[J]. 重庆科技学院学报(自然科学版) 2016(06)

    标签:;  ;  ;  ;  ;  

    基于决策树中文文本分类技术的研究与实现
    下载Doc文档

    猜你喜欢