分布式全文检索中缓存系统研究与实现

论文摘要

缓存技术是提高响应速度、处理效率及系统性能的关键性技术,在分布式全文检索过程中,具有重要的应用价值。研究分布式全文检索中的缓存技术,具有很高的理论价值和应用基础。本课题通过分析用户查询行为,设计了基于用户查询日志的缓存系统,经实验测试,此系统在提高舆情采集系统查询响应时间和处理效率,以及改善舆情采集系统搜索引擎性能上,具有良好效果。根据舆情采集系统实际情况和具体需求,设计了分布式缓存系统的体系结构,重点包括分布式缓存系统协作机制、数据同步、缓存结构和替换算法等关键环节。在本论文中,设计了双级缓存结构。在此结构中采用了静态和动态两种不同类型缓存,通过统计用户查询行为规律,提取查询热度最高的一部分查询,对缓存数据进行初始化分配。处理用户查询时,检索次序为静态缓存、动态缓存和底层索引库。由于静态缓存中存放热度最高的查询,并采取动态缓存辅助,结合行之有效的缓存替换算法,在命中率、缓存效率和时间开销等指标上,与采用其它缓存结构的分布式缓存系统相比,理论和实验上均有一定优势。同时,通过分析传统缓存替换算法理论基础和优缺点,在LRU算法和LFU算法基础上,提出一个基于评分机制的缓存替换算法。该算法兼顾了静态缓存和动态缓存间替换,以及动态缓存内替换两方面。与单纯采用传统动态缓存替换算法相比,命中率更优。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究背景和意义
• 1.2 国内外研究现状
• 1.3 本文的主要研究内容
• 1.4 论文结构安排
• 第2章 分布式缓存系统体系结构设计
• 2.1 引言
• 2.2 舆情采集系统需求与体系结构分析
• 2.2.1 舆情采集系统需求分析
• 2.2.2 舆情采集系统架构简介
• 2.2.3 舆情采集系统优化分析
• 2.3 分布式缓存系统设计
• 2.3.1 分布式缓存系统拓扑结构
• 2.3.2 缓存系统体系结构
• 2.4 各功能模块
• 2.4.1 查询热度值计算模块
• 2.4.2 双级缓冲区设计与实现
• 2.4.3 缓存操作模块
• 2.4.4 通信协议及差错控制
• 2.4.5 缓存系统协作功能
• 2.4.6 缓存系统数据同步机制
• 2.5 系统测试与实验过程
• 2.5.1 实验环境介绍和搭建
• 2.5.2 测试核心思想
• 2.5.3 实验数据与结果分析
• 2.6 本章小结
• 第3章 基于用户查询日志分析的双级缓存结构
• 3.1 查询重复性及热点分布特征分析
• 3.2 双级缓存结构
• 3.2.1 缓存结构设计思想与具体实现
• 3.2.2 双级缓存结构的特点
• 3.3 缓存数据分布策略
• 3.4 双级缓存结构性能理论分析与实验测试
• 3.4.1 理论分析
• 3.4.2 实验数据及分析
• 3.5 本章小结
• 第4章 基于评分机制的缓存替换算法
• 4.1 传统缓存替换算法分析
• 4.1.1 传统缓存替换算法分类
• 4.1.2 传统缓存替换算法介绍
• 4.2 基于评分机制的缓存替换算法设计
• 4.2.1 缓存对象评分公式
• 4.2.2 缓存对象评分字段初始化与状态变化
• 4.2.3 静态缓存与动态缓存间替换机制
• 4.2.4 动态缓存内替换策略
• 4.3 基于评分机制的缓存替换算法工作流程
• 4.4 实验数据及结果分析
• 4.5 本章小结
• 结论
• 参考文献
• 致谢