大规模网络中误告警去除和告警聚类方法研究

论文摘要

入侵检测是网络安全防护的重要技术,但目前国内外相关工具产生的安全数据质量很低,需要大量的人工分析。大规模网络中安全数据更是数量巨大,一个100Mbps接入的网络往往每小时可产生10多万条告警,人工根本不可能及时处理。即使安全事件能够产生告警,也往往湮没在大量冗余告警中。如何实时地去除大量冗余告警,提高告警质量是大规模网络安全防护亟待解决的问题。告警事件由规则、源IP、目的IP、源端口和目端口等多个属性构成。误告警是网络正常活动的数据包被普适安全规则匹配而产生的误判警示,这类告警与真实告警非常相似,数量巨大,将给后续关联分析和攻击发现带来极大的困难。可采用告警规则优化、告警周期发现和告警聚合等三种方法来去除误告警,从而大大减少告警的数量,提高告警的质量。规则既能够产生真实告警也会触发误告警,某些规则触发的大量误告警会导致安全成本的急剧增加。规则优化模型从经济效用的角度来分析安全成本与收益之间的平衡关系。根据保护对象的安全需求来优化规则集,决定误告警概率较大的规则是否应该去除。同时根据Bayes网络构造各个规则的误告警概率信息网,利用先验信息对规则产生的告警进行二次分类,减少误告警概率。通过对大规模网络入侵检测系统的告警数据进行分析后发现,一方面某些告警属性的分布具有明显的重尾特性;另一方面这些告警的产生还具有周期性。也就是说,某些告警的属性往往集中在重尾分布的头部,导致这些告警也往往具有较稳定的周期。告警流识别算法能够根据重尾分布的特性识别出主要的告警属性组合,误告警去除算法根据自相关分析和Fouirer分析方法求出各个属性组合产生告警的周期,并通过F检验进行确认,最后制定相应的规则去除周期性告警。实验中能够去除62.5%的原始告警,通过其它相关分析方法发现,去除的这些周期性告警都是误告警。根据告警的源地址和目地址属性模式,可把安全事件分为多对一,一对多和一对一三类。告警聚合根据这三种模式设置时间和数量阈值,对告警动态地进行聚合并产生超级告警。同时判断触发告警的安全事件类型,提出度量指标来评估超级告警的可信度和紧急程度。实验表明:聚合后的告警数量比原始告警减少98%以上。另外还采用切比雪夫公式对告警时间序列、误告警去除后的时间序列、时频转换后的频域序列进行异常检测,提高了检测特定类型安全事件的能力。上述研究为大规模网络误告警去除和安全事件关联分析提供了新的理论支持和方法。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 入侵检测系统的原理和发展
• 1.3 国内外研究现状
• 1.4 研究意义和创新
• 1.5 论文内容安排
• 2 安全数据分析的理论和方法
• 2.1 SATA 机制分析
• 2.2 RCI 告警分析机制
• 2.3 试验平台的建立
• 2.4 本章小结
• 3 基于规则优化的误告警去除方法
• 3.1 基于统计决策的告警分析模型
• 3.2 实验结果和分析
• 3.3 本章小结
• 4 基于行为分析的误告警去除方法
• 4.1 实际环境中告警行为分析
• 4.2 告警数据流统计算法
• 4.3 误告警去除算法
• 4.4 算法复杂度分析
• 4.5 实验结果和分析
• 4.6 本章小结
• 5 告警聚类和评估方法
• 5.1 告警聚类方法
• 5.2 超级告警评估
• 5.3 本章小结
• 6 总结与展望
• 6.1 全文总结
• 6.2 论文贡献
• 6.3 研究展望
• 参考文献
• 致谢
• 附录1 攻读博士学位期间发表论文目录
• 附录2 攻读博士学位期间参加研究的科研项目