集成Logistic和SVM的分类算法研究

论文摘要

分类是数据分析与机器学习领域的基本问题之一,国内外学者对分类算法的研究已有大量的成果。Logistic回归模型是一种应用最为广泛的多元量化分析技术,其特点是稳健性好,模型的可解释性较强。支持向量机(SVM)是由Vapnik提出的统计学习理论发展而来,它在处理小样本、非线性以及高维数等问题时具有一些独特的优势。目前,SVM已经成为机器学习领域的研究热点。传统的Logistic回归用于二分类的方法一般以0.5为分界点,这样可能存在较大的误判风险,尤其是对于0.5附近模糊区间的样本点。针对logistic回归处理分类问题的不足,本文将支持向量机引入到传统的Logistic回归分类方法中,利用支持向量机的输出结果为Logistic回归提供支持信念,减少Logistic回归中的误判风险,从而提高分类的正确率。本文首先概述了Logistic回归模型的原理、推导和检验,接着详细介绍了支持向量机及其相关理论,包括机器学习的基本理论、统计学习理论、SVM分类算法以及模型参数的选择等。然后,在深入分析Logistic回归和支持向量机理论的基础上,本文构造了一种集成Logistic回归与支持向量机的二分类算法。实证分析表明,本文提出的集成算法具有较好的分类效果。最后,对全文进行了总结,并指出了有待进一步研究的问题。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 研究背景和现状
• 1.1.1 研究背景
• 1.1.2 研究现状
• 1.2 研究内容和目的
• 1.2.1 研究内容
• 1.2.2 研究目的
• 1.3 论文的组织结构
• 2 Logistic回归模型
• 2.1 模型简介
• 2.2 模型原理与推导
• 2.2.1 Logistic函数
• 2.2.2 Logistic回归模型
• 2.3 模型检验
• 2.3.1 似然比检验
• 2.3.2 Wald检验
• 2.3.3 拟合优度检验
• 2.4 本章小结
• 3 支持向量机及其相关理论
• 3.1 机器学习的基本理论
• 3.1.1 机器学习方法简介
• 3.1.2 经验风险最小化
• 3.1.3 复杂性与推广能力
• 3.2 统计学习理论
• 3.2.1 学习过程的一致性
• 3.2.2 学习性能与VC 维
• 3.2.3 结构风险最小化
• 3.3 支持向量机
• 3.3.1 线性支持向量机
• 3.3.2 非线性支持向量机
• 3.3.3 模型参数选择
• 3.4 SVM经典算法
• 3.4.1 选块算法（Chunking）
• 3.4.2 分解算法（Decomposing）
• 3.4.3 序列最小最优化算法（SMO）
• 3.5 本章小结
• 4 集成 Logistic和SVM的二分类算法
• 4.1 Logistic回归和SVM
• 4.1.1 Logistic回归模型
• 4.1.2 支持向量机（SVM）
• 4.2 集成判别分析规则
• 4.3 仿真实验及结果分析
• 4.3.1 数据来源及实验设计
• 4.3.2 LIBSVM软件
• 4.3.3 实证结果与分析
• 4.4 本章小结
• 5 结论与展望
• 致谢
• 参考文献
• 附录