基于人工免疫机制的Web文本分类研究

论文摘要

随着Internet的飞速发展,从网络上获取信息已经逐渐成为人们生活工作必不可少的内容。但是由于网络上的信息呈指数增长,内容丰富,种类繁多,如何能够准确、有效的获取感兴趣的信息和知识的问题,已经成为基于Internet的网络信息获取的热点问题。针对网络上的Web文本如何进行自动分类正是本文的研究方向,它不仅仅是有效获取网络信息的方法,也是对于网络信息进行进一步分析和过滤的前提。人工免疫系统作为人工智能领域的重要分支,同神经网络及遗传算法一样也是智能信息处理的重要手段,已经受到越来越多中外学者的关注。人工免疫系统中的克隆选择、高频变异等原理具有动态性、自适应和自学习性,很适合将其用到自动文本分类中进行分类器训练,将人工免疫中的相关原理使用到自动文本分类系统模型中是本文理论研究的一个创新点。此外,针对HTML文档半结构化的特点设计的文档预处理模块和特征提取模块是本文技术研究的一个创新点。本文围绕Web文本自动分类技术和人工免疫系统相关原理和算法展开研究,主要工作包括:(1)对人工免疫系统的自身特殊概念、免疫方法、算法和用于机器学习的免疫模型进行了总结和分析,着重阐述了RLAIS免疫模型及主要算法,分析了该模型的优劣。对Web文本分类的关键技术进行了分析总结,着重分析了中文文本特征提取算法,提出了各算法的优缺点,时间复杂度和空间复杂度。(2)针对HTML文档中标记匹配不严格和标记交叉的现象,提出了对于HTML文档文本主体提取的方法并加以实现。(3)针对HTML文档的结构特点,在特征提取模块中引入文本的位置因子,在TFIDF特征提取方法的基础上调整了相应特征词的权值。(4)在AIRS模型的基础上,利用向量空间模型的向量表示形式,设计了克隆选择分类器(CSC),并通过实验分析了分类器的性能,从理论和实验两个方面验证了CSC的有效性和可行性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景与意义
• 1.2 国内外研究现状
• 1.2.1 人工免疫系统的研究现状
• 1.2.2 Web 文本分类的研究现状
• 1.3 课题研究中的关键技术的现存问题
• 1.4 本文研究工作和内容组织
• 第二章 人工免疫系统原理与模型
• 2.1 人工免疫学的基本原理
• 2.1.1 人工免疫系统的定义和相关概念
• 2.1.2 基本免疫方法
• 2.1.3 形态空间模型
• 2.2 人工免疫常用算法
• 2.2.1 否定选择算法
• 2.2.2 克隆选择算法
• 2.2.3 RAIN 免疫网络算法
• 2.3 RLAIS 免疫模型
• 2.4 本章小结
• 第三章 WEB 文本分类方法研究
• 3.1 WEB 知识发现与文本分类
• 3.2 文本分类过程
• 3.2.1 文本的表示
• 3.2.2 文本的分词
• 3.2.3 文本的特征提取
• 3.3 常见的文本分类方法
• 3.4 本章小结
• 第四章 基于人工免疫机制的克隆选择分类模型
• 4.1 基本原理
• 4.2 系统的结构与算法描述
• 4.2.1 模型的总体设计
• 4.2.2 文档预处理与分词模块
• 4.2.3 特征提取模块
• 4.2.4 克隆选择分类器模块
• 4.4 评估方法和实验结果
• 4.5 本章小结
• 第五章 结束语
• 5.1 全文总结
• 5.2 未来的工作
• 参考文献
• 致谢
• 攻硕期间取得的研究成果