文本关联规则挖掘方法研究与应用

文本关联规则挖掘方法研究与应用

论文摘要

随着互联网的大规模普及和企业信息化程度的提高,文本信息快速积累,人们迫切需要研究出方便有效的工具从大规模文本信息中提取符合需要的简洁、精炼、可理解的知识,文本挖掘就是为解决这个问题而产生的研究方向。由于文本数据与一般数据库数据有巨大的差异,文本数据是半结构化数据或非结构化数据,因此文本关联规则挖掘与数据库关联规则挖掘在目标上有相似性,但在实现技术上有一定的差异性。本文研究了文本关联规则挖掘的关键技术和方法,并以机械行业用户需求挖掘为背景详细描述了文本关联规则挖掘的过程,完成了如下工作:(1)对各种中文分词器进行了比较,最终采用ICTCLAS分词器对用户需求进行中文分词得到标注词性后的分词结果,通过词性标注可以将汉语中的虚词作为停用词去掉,达到粗降维的目的。通过中文分词和去停用词,得到用户需求的候选特征。(2)对每篇文档统计其候选特征并按频率从大到小排序,当累积频率达到一定阈值时截尾,提取高频词作为文档特征;为了避免将低频专业词汇去掉,建立专业关键词库,将文档中出现的专业词汇作为文档特征选出。汇总所有的文档特征得到文档特征集,采用文档频数法(DF)进行特征降维,将文档频数较高的非专业特征去掉。(3)采用向量空间模型将半结构化或非结构化的用户需求转化为结构化的向量,从而得到文档集的文本特征向量空间模型。(4)以文本特征向量空间模型为输入,利用灰色关联度计算公式计算出专业特征词和非专业特征词之间的关联度。(5)在关联度计算结果的基础上利用专业特征阵进行二次特征降维,选择一定数量的特征词用来描述文档集。最后,对19篇挖掘机用户需求进行了实验,并详细介绍了通过文本挖掘得到的特征词在机构设计信息加工系统中的应用。

论文目录

  • 摘要
  • Abstract
  • 1 前言
  • 1.1 研究背景
  • 1.2 国内外研究现状
  • 1.3 论文研究的主要内容
  • 2 文本关联规则挖掘相关理论
  • 2.1 文本挖掘的基本原理及方法
  • 2.1.1 文本挖掘的概念
  • 2.1.2 文本挖掘的一般过程
  • 2.1.3 文本预处理
  • 2.1.4 特征提取
  • 2.1.5 特征降维
  • 2.2 关联规则挖掘
  • 2.2.1 关联规则挖掘的基本概念与性质
  • 2.2.2 关联规则挖掘的分类
  • 2.2.3 关联规则挖掘算法
  • 2.2.4 基于灰色关联度的关联规则挖掘算法
  • 2.2.5 支持度—置信度框架下关联规则挖掘存在的问题
  • 3 特征词提取及关联度计算
  • 3.1 算法介绍
  • 3.2 特征词关联度计算的实现过程
  • 3.3 数据预处理
  • 3.3.1 用MMAnalyzer分词器进行中文分词
  • 3.3.2 去停用词
  • 3.3.3 用ICTCLAS进行中文分词
  • 3.4 特征提取
  • 3.5 特征降维
  • 3.6 文本特征向量空间模型
  • 3.7 关联度计算
  • 3.8 特征词关联度计算的程序实现
  • 4 二次特征降维
  • 4.1 二次特征降维的思想
  • 4.2 二次特征降维流程
  • 4.3 挖掘机实例
  • 4.4 二次降维的程序实现
  • 5 机构设计信息加工系统介绍及实验
  • 5.1 系统介绍
  • 5.2 挖掘机用户需求挖掘实验过程
  • 5.2.1 实验环境以及实验数据
  • 5.2.2 实验过程及结果分析
  • 5.2.3 挖掘机专业关键词库
  • 5.3 机械装配过程示例
  • 6 结语
  • 6.1 总结
  • 6.2 进一步研究工作
  • 致谢
  • 参考文献
  • 攻读硕士学位期间发表的论文
  • 硕士学位期间参与的科研项目
  • 相关论文文献

    • [1].清華簡文本復原——以《清華大學藏戰國竹簡》第一、二輯為例[J]. 出土文献 2012(00)
    • [2].召唤、整合与摧毁:群体传播时代网络叙述的副文本[J]. 现代传播(中国传媒大学学报) 2019(11)
    • [3].古义、真义与大义:以诠释范式为中心看中国古代思想文本的意义生成[J]. 复旦学报(社会科学版) 2020(01)
    • [4].广义文本情感分析综述[J]. 计算机应用 2019(S2)
    • [5].非连续性文本教学要聚合与实用[J]. 语文建设 2020(03)
    • [6].论文本的物质性[J]. 山东社会科学 2020(01)
    • [7].基于深度学习的学术文本段落结构功能识别研究[J]. 情报科学 2020(03)
    • [8].Word2vec-CNN-Bilstm短文本情感分类[J]. 福建电脑 2020(01)
    • [9].文本的时空呈现——高校写作教学改革思考之二[J]. 写作 2020(01)
    • [10].语体视角下语篇副文本系统的配置及耦合互文路径差异[J]. 当代修辞学 2020(03)
    • [11].重审“作者已死”:论作为“伴随文本”的作者与作品[J]. 西南大学学报(社会科学版) 2020(03)
    • [12].影视作品及数字媒体文本-类文本共生叙事研究[J]. 西南民族大学学报(人文社科版) 2020(06)
    • [13].金融学文本大数据挖掘方法与研究进展[J]. 经济学动态 2020(04)
    • [14].基于深度学习的自然场景文本检测与识别综述[J]. 软件学报 2020(05)
    • [15].多文本融合下的深度翻译研究[J]. 中国科技翻译 2020(02)
    • [16].伊瑟尔“召唤结构”理论下文学文本审美潜能再创造[J]. 湖北第二师范学院学报 2020(04)
    • [17].全文本视角下文艺类图书出版的意义生成[J]. 出版科学 2020(03)
    • [18].《阿Q正传》译入译出文本的风格计量学对比[J]. 外语研究 2020(03)
    • [19].广义叙述学视域下电子游戏的三种文本初探——以《王者荣耀》为例[J]. 科技传播 2020(12)
    • [20].面向文本的结构——内容联合表示学习模型[J]. 计算机应用研究 2020(S1)
    • [21].明清教材“孝”文本的传播逻辑[J]. 出版广角 2020(15)
    • [22].新型主流媒体的文本互动研究[J]. 传播与版权 2020(07)
    • [23].试论伴随文本对特稿收受与解释的影响——基于《人物》对新冠肺炎疫情的相关报道[J]. 新闻研究导刊 2020(18)
    • [24].塞科“经济正常化”文本四问[J]. 世界知识 2020(20)
    • [25].让语文课堂充满语文的味道[J]. 文学教育(上) 2019(02)
    • [26].教师培养政策的政策文本研究[J]. 现代经济信息 2019(18)
    • [27].浅析手机取证中的文本分类[J]. 科技与创新 2019(22)
    • [28].住建部、工商总局联合修订《建设工程施工合同(示范文本)》[J]. 建筑技术开发 2017(22)
    • [29].2013版建设工程施工合同(示范文本)已废止,10月1日已执行2017版[J]. 建筑设计管理 2017(12)
    • [30].高校官方微信公众号的文本传播解读[J]. 西部广播电视 2018(16)

    标签:;  ;  ;  ;  ;  

    文本关联规则挖掘方法研究与应用
    下载Doc文档

    猜你喜欢